XNews

CursorのクラウドエージェントがSlackのUIをコード生成ビデオとして再構築

CursorのクラウドエージェントがSlackのUIをコード生成ビデオとして再構築

Linuxリモートデスクトップ上のChromeを実行するCursorクラウドエージェントが、実際のSlackを開き、アプリを逆コンパイルすることなく、そのインターフェースをコード生成モーションビデオとして再構築した。エージェントはライブ製品から視覚的パターンとイージングパターンを抽出し、チャンネルとスレッドのアセットを生成し、レンダリングと比較のループで反復した。ワークフローは再利用可能なモーションスキルとしてコード化された。

イベントのバージョン 1.

Key insights

逆コンパイルは関与しない

エージェントは何を構築するかを指示され、ビデオ参照を与えられた後、自身のコンピュータ上で実際のSlackを開き、視覚的パターンとイージング/モーションパターンを抽出した。Slackは逆コンパイルされていない。

ビデオ・アズ・コードが視覚的検証を可能にする

ビデオアセットをコードとして生成することで、正確性は出力がレンダリングまたはコンパイルされ、期待に一致するかどうかに変わります。レンダリングされた出力はモデルによって実際の参照と照合され、その後コードが修正されます。

内側と外側のループ

内側のループでは、エージェントが行動し、実物と比較し、明確な失敗基準に照らして修正し、人間のレビューのために引き渡すまで続けます。外側のループは、人間が参照、好み、アクセスを提供し、成果物、スクリーンショット、分析を判断する場所です。

ワークフローから抽象化への梯子

この道は、タスクを一度実行することから、それをスキルとしてコード化すること、抽象化をSlackを超えて他の製品に一般化すること、そして最終的に外側のループを自動化することへと続きます。

スキルは失敗の修正を捕捉する

エージェントが失敗した場合、原因がデバッグされ、スキルに書き込まれるため、後のエージェントが修正を継承し、そのクラスの問題を排除します。

Source posts