リアルタイムのマルチモーダルフレームワークとビデオモデル

Runwayは新しいビデオモデルとワールドモデルを発表し、TENフレームワークはリアルタイムのマルチモーダルエージェントスタックを提供します。- Runwayはオリジナルの音声生成と編集を備えたGen 4.5を発表しました。- ALFは一貫したキャラクターと照明でのマルチショット、可変長のビデオ編集をサポートします。- GWM1ワールドモデルは自己回帰的なフレーム予測とストリームタイム介入をサポートします。- GWMアバターはマイクロ表情を伴う音声駆動のリアルタイムビデオ生成を可能にします。- GWMロボティクスモデルはロボットトレーニングのために成功したインタラクションと失敗したインタラクションをシミュレートします。- TENフレームワークはリアルタイムの音声/ビデオ + LLMエージェントのためのオープンソースのランタイムです。- TENは視覚的グラフエディタ、ポリグロットランタイム、パフォーマンス/レイテンシのためのエッジクラウド統合を提供します。- TENはリアルタイムアシスタントの構築におけるグルーコード、レイテンシ、クロスランゲージの複雑さに対処します。
Key insights
Runwayがオーディオネイティブ編集とワールドモデルによるビデオ生成を拡張
Runwayはオリジナルの音声を生成・編集するGen 4.5ビデオモデル、一貫したマルチショット編集のためのALFモデル、ライブユーザー介入によりフレームごとの予測を可能にする自己回帰型ワールドモデルGWM1を発表しました。また、リアルな動きとマイクロ表情を持つ音声駆動のリアルタイムビデオのためのGWMアバター、ロボティクストレーニングのために成功したシナリオと失敗したシナリオの両方をシミュレートするGWMロボティクスも紹介しました。
TENフレームワークがリアルタイムマルチモーダルエージェントの統合ギャップを狙う
TENフレームワークは、視覚的グラフエディタ(TENデザイナー)、C++、Python、Goを混合するポリグロットランタイム、およびエッジクラウドオーケストレーションを組み合わせた産業用オープンソーススタックを提供します。TENは、STT/LLM/TTSチェーン全体でのグルーコードの複雑さ、レイテンシの蓄積、クロスランゲージランタイムの問題に対処し、割り込み可能で低レイテンシの音声/ビデオアシスタントを実現します。