XNews

プロンプトエンジニアリングと画像生成ツールの使用

プロンプトエンジニアリングと画像生成ツールの使用

プロンプトエンジニアリングは画像ツールの動作を明確にします。

Key insights

'画像生成'トグルがツールの呼び出し動作を変更する

ジェミニやChatGPTのようなアプリでの'画像生成'オプションは、チャットアプリケーションがLLMに指示する方法を変更します。チェックされている場合、これはモデルに画像生成ツール(例:'ナノバナナプロ')を呼び出すシステムレベルの指示を追加します。チェックされていない場合でも、LLMは画像ツールが存在することを認識し、文脈に基づいてそれらを呼び出す可能性があります。ユーザーからは、オプションをチェックするとモデルがユーザー入力を画像生成リクエストとして扱うことが強制される一方で、曖昧なコマンドはトグルが選択されている場合でも画像生成を妨げる可能性があるとの報告があります。

チャットアプリは呼び出し可能なツールでLLM APIをラップする

チャットアプリケーションはLLM APIのラッパーとして実装され、モデルに利用可能なツール(検索、画像、動画、研究)を宣言します。LLM API自体は画像とテキストのみを受け入れ、テキストを返すため、アプリケーションはモデルにどのツールを呼び出せるかを通知することで追加の機能を提供します。このラッパーアプローチは、アプリが単純なLLM API呼び出しだけでは達成できないアクション(検索、描画)を実行できる理由を説明しています。

クロスオーバーシーンのためのモジュール式'ポータル×アニメ'プロンプトテンプレート

『リアルワールド×ポータル×アニメキャラクター』のクロスオーバーシーンを作成するための完全にモジュール式のプロンプトテンプレートが共有されました。このテンプレートは、実世界と内ポータルシーンを対比させる楕円形のポータル、視聴者の手を持って通り抜けるキャラクター、カメラアングル(第三者視点)、ぼかしなし、アスペクト比2:3を定義しています。テンプレートには、変数プレースホルダー(Real_World_Scene、Portal_Inner_Scene、Portal_Inner_Character、Art_Style)と、冬の東京の街や半装甲エクソスーツを着たサイボーグ少女などのサンプル値が含まれています。

顔の一貫性を維持するための二段階ワークフロー

顔の一貫性を維持するための推奨方法は、二段階プロセスを使用します。まず、背景を取り除いたクリーンで高解像度のポートレートを生成し(必要に応じて複数の角度)、参照として使用します。次に、その参照画像を使用して後続のレンダリングをガイドします。著者は、'ナノバナナプロ'や'即夢'のような一貫性を持つモデルを推奨し、モデルの能力や参照の難しさに問題がある場合は、カートゥーンや3Dスタイルに切り替えることを提案しています。

ユーザーの指示の曖昧さがツール選択に影響を与える

システムが画像生成をデフォルトにするよう指示された場合でも、曖昧なユーザー指示はモデルが非画像タスク(例えば、テキストの翻訳)を実行する原因となることがあります。システム初期化動作を比較し、モデルが描画ツールまたは他の機能にデフォルトするかどうかを観察するためのテストプロンプトが提供されており、トグルやシステム指示が関与する際の明示的なプロンプト構造の重要性が強調されています。

Source posts