XNews

PostHogのエンジニア、ディラン・マーティン氏がフィーチャーフラグからAIプロダクトエンジニアリングへの移行を詳述

PostHogのエンジニア、ディラン・マーティン氏がフィーチャーフラグからAIプロダクトエンジニアリングへの移行を詳述

PostHogのエンジニア、ディラン・マーティン氏は、フィーチャーフラグチームのリーダーからAIプロダクトエンジニアリングへの移行について、その変化は職務記述書が示唆するよりも小さいと述べた。同氏は、AIプロダクトエンジニアリングでは、非決定論的なLLMの動作に対する評価(eval)を書くこと、および人間向けインターフェースとMCPやSkillsを通じてエージェントに機能を渡すことのバランスを取ることが必要だと語った。

イベントのバージョン 1.

Key insights

予想よりも小さい移行

マーティン氏は、フィーチャーフラグチームのリーダーからAIプロダクトエンジニアリングへの移行は、職務記述書が示唆するほど大きくは感じられなかったと述べた。同氏は、どのエンジニアリング職でもシステム、故障モード、正確性を証明する方法を理解する必要があると語った。

評価(eval)は中核となる新スキル

マーティン氏は、評価(eval)の作成はAIプロダクトエンジニアリングにおける主要なスキルであり、従来のプロダクトエンジニアリングではほとんど話題にならないと述べた。評価は従来のテストよりも柔軟でなければならない。同じリクエストに対して複数の良い回答があり得るし、LLMの動作は非決定論的であるためだ。

分析エージェントにおけるリグレッションの例

マーティン氏は、分析エージェント用のクエリツールのテストについて説明した。そのツールは「昨日何人のユーザーがサインアップしたか」という質問には答えたが、同じ数字を国別に尋ねられると、ユニークユーザーではなくサインアップイベントを数えてしまった。同氏は、評価はこの種のリグレッションをローンチ前に捉えるべきだと述べた。

インターフェースとエージェントツールのバランス

マーティン氏は、より難しい問題は、人間向けインターフェースと、MCPやSkillsを通じて同じ機能をエージェントに渡すことのバランスを取ることだと述べた。同氏は、エージェントがどのワークフローを実行すべきかを人間が決定しなければならない場合、例えばフィーチャーフラグの影響を可視化したり、エラーがどのユーザーに影響するかを確認したりする場合には、インターフェースを好むと語った。

Source posts