PostHog工程师Dylan Martin详述从功能标志转向AI产品工程的经历

PostHog工程师Dylan Martin描述了他从领导功能标志团队转向AI产品工程的经历,称这一转变比职位描述所暗示的要小。他表示,AI产品工程需要为LLM的非确定性行为编写评估,并在人类界面与通过MCP和Skills将能力交给智能体之间取得平衡。
事件版本 1.
Key insights
转变小于预期
Martin表示,从领导功能标志团队转向AI产品工程,感觉并不像职位描述所暗示的那么大。他说,任何工程角色仍然需要理解系统、故障模式以及如何证明正确性。
评估是核心新技能
Martin表示,编写评估是AI产品工程中的一项重要技能,这在传统产品工程中很少出现。评估必须比传统测试更灵活,因为同一个请求可能有多个好的答案,而且LLM的行为是非确定性的。
分析智能体中的回归示例
Martin描述了对一个分析智能体的查询工具进行测试的情况:该工具回答了昨天有多少用户注册,但当被问及按国家划分的同一数字时,它统计的是注册事件而非唯一用户。他表示,评估应该在发布前捕获这类回归。
平衡界面与智能体工具
Martin表示,更难的问题是在面向人类的界面与通过MCP和Skills将相同能力交给智能体之间取得平衡。当必须由人决定智能体应运行哪个工作流时,他更倾向于使用界面,例如可视化功能标志的影响或错误影响哪些用户。