アンドリュー・ングが提案する「チューリング-AGI」リモートワークテスト:複数日のリモート作業パフォーマンスを要求

アンドリュー・ングは新しい「チューリング-AGIテスト」を提案しました。これは、AI(または人間)にインターネット接続されたコンピュータを与え、ブラウザとZoomを使用して、複数日のリモート作業タスク(例:カスタマーサービスのトレーニング、その後のフィードバックを伴うライブコール)を割り当て、AIが熟練した人間と同等にパフォーマンスを発揮するかどうかを判断するというものです。彼はこれを従来のチューリングテストと対比させ、ローブナー賞の問題(タイピングエラーのトリック)に言及し、漏洩やゲーム化された公的ベンチマーク(GPQA、AIME、SWE-bench)を批判しました。彼は、リモート従業員テストがAGIに対する一般的な期待により適していると主張し、投稿の最後にはリモートワークのためにAIを雇うことについてのユーモラスなコメントを添えました。