XNews

prompt2rig、テキストプロンプトをMixamoキャラクターの全身および指のモーションに変換

prompt2rig、テキストプロンプトをMixamoキャラクターの全身および指のモーションに変換

prompt2rigは、入力されたモーション記述を高速ビデオモデルで生成したビデオに変換し、そのクリップから3Dの身体と手のモーションを復元して、ブラウザ上のMixamoキャラクターにリアルタイムでリターゲティングするオープンソースツールです。ローカルGPU上で高精度パスを実行し、片手あたり15の指関節を計算し、アニメーションをBlenderやUnity用のglbファイルとしてエクスポートします。また、各セグメントを前のクリップの最終フレームから継続するストリーミングモードもサポートします。RTX 4090では、5秒のクリップが高速ビデオモデルで約2〜3秒、高精度モーション復元で3〜4秒かかります。

イベントのバージョン 1.

Key insights

パイプラインはビデオ生成とモーション復元を組み合わせる

プロンプトはfal上の高速ビデオモデルに送られ、得られたクリップが処理されてクリーンな3Dの身体と手のモーションが復元されます。MediaPipeが即時のブラウザプレビューを提供し、GVHMRとWiLoRがローカルGPU上で高精度の身体および指のモーションを実行します。

指レベルの詳細とエクスポートのサポート

高精度パスは片手あたり15の指関節を計算します。完成したアニメーションはBlenderやUnityで使用するためにglbファイルとしてエクスポートされます。

ストリーミングモードはセグメントを連続したパフォーマンスに連結する

ストリーミングモードは各セグメントを前のクリップの最終フレームから継続し、セグメントを完全なパフォーマンスに連結します。

RTX 4090での実測速度

RTX 4090での5秒のクリップでは、高速ビデオモデルが約2〜3秒で生成し、高精度モーション復元が3〜4秒かかります。

Source posts