XNews

エージェントツール、スキル、プロンプト転送と評価

エージェントツール、スキル、プロンプト転送と評価

開発者コミュニティは、情報検索、スキル、およびクロスモデルプロンプトのポータビリティのために、複数のエージェントツールとフレームワークを公開しました。

Key insights

OpenNoteインデックスはPostgresとエッジランタイムでエージェントの情報検索を最適化

OpenNoteは、エージェントおよび個人の知識ベース向けに設計された文書検索システムであるインデックスを公開しました。インデックスは、専門のベクトルDBではなくPostgres(pgvector + pg_trgm + tsvector)を使用して、高速なメタデータフィルタリングを活用し、ハイブリッドキーワード + ベクトル検索をサポートし、Cloudflare Workers上でグローバルな低遅延を実現しています。取り込みパイプラインは、不要な再埋め込みを避けるためにチャンクをハッシュ化し、3層のキャッシュと正確な無効化により新鮮さを維持しつつ、P99の遅延を目標閾値以下に保っています。

Claudeの「スキル」は安全な複雑なワークフローのためのプロンプト駆動型モジュール行動

Claudeのスキルシステムの分析によると、スキルはYAMLメタデータとMarkdown指示を含むSKILL.mdディレクトリとして具現化されます。スキルは高優先度のコンテキストプロンプトとして注入され、最小限のツールを事前承認し、コード実行を許可することなくモデルの動作を変更します。このシステムは、スキルメタツールを介した発見、ランタイム注入、およびホットアップデートをサポートします。アーキテクチャは、最小特権の許可ツールと純粋なプロンプト駆動型の動作を通じて安全性を優先しています。

PromptBridgeは再トレーニングなしでモデル間のプロンプト翻訳を自動化

Accentureの論文で説明されているPromptBridgeは、ソースモデルからターゲットモデルへの高品質なプロンプトの定式化をマッピングするためのゼロトレーニングフレームワークを提供します。小規模なキャリブレーションセット(MAP-RPE)を使用してペアの最適プロンプトを生成し、将来のプロンプトを翻訳するためのマッピングを学習することで、最小限の人間の手作業でモデル間のプロンプトポータビリティを可能にします。

エージェント評価は専門家のスコアリングと比較モデルの実行を優先すべき

提案されたエージェント評価パイプラインは、専門家ベースのスコアリングルーブリックを導出し、専門家によって評価されたケースセットを収集し、モデルベースのスコアリング比較のために複数のモデルを実行し、専門家ユーザーによって結果を検証することを推奨しています。この推奨は、技術的なエージェントメトリクスのために非専門家の公共スコアリングに依存することを控えることを奨励しつつ、一般ユーザーからのNPSの価値を認めています。

Source posts