マルチモーダルおよびビデオ/ワールドモデルの進展:ナノバナナ、ランウェイGWM、視覚トークンの改善

ナノバナナとランウェイはマルチモーダル生成を推進しています:画像内テキストの改善とリアルタイムのワールドモデルビデオ編集。
Key insights
ナノバナナがネイティブマルチモーダルトークン予測を通じて画像内テキストレンダリングを改善
ナノバナナプロは、画像とテキストをネイティブマルチモーダルトランスフォーマーアーキテクチャにおける統一されたトークンストリームとして扱うことにより、画像内テキストレンダリングと指示の遵守を著しく向上させています。このモデルは、ピクセルレベルの拡散を行うのではなく、モダリティ間で離散トークンを予測し、PPTスライドや漫画のような複雑な多言語グラフィックスにおいて低い文字エラーを実現します。
ランウェイがリアルタイム編集およびシミュレーション機能を備えたワールドモデルビデオツールを発表
ランウェイは、オリジナル音声編集、連続性を保つマルチショットビデオ編集、オンラインフレーム予測、リアルタイム環境シミュレーション、戦略評価および合成データ生成のためのロボティクスに焦点を当てたシミュレーション失敗シナリオをサポートするGen 4.5および一般的なワールドモデル(GWM1)を発表しました。