XNews

新しいマルチモーダルモデルのリリース(EgoX、TRELLIS.2、Mistral OCR 3)

新しいマルチモーダルモデルのリリース(EgoX、TRELLIS.2、Mistral OCR 3)

複数のマルチモーダルモデルのリリースにより、第一人称ビデオ、3D変換、先進的なOCRが提供されます。- EgoX(韓国の研究)は、第三者のビデオクリップをリアルな第一人称視点に変換し、見えないカメラ部分を再構築できます。- マイクロソフトは、画像をほぼフォトリアルな3Dに変換するTRELLIS.2をリリースしました。ソースコードとデモが利用可能です。- Mistral AIは、Mistral OCR 3をリリースしました。このドキュメント解析エンジンは、フォーム、スキャン文書、複雑なテーブル、手書きの精度を前のOCR 2より74%向上させます。- Mistral OCR 3はMarkdownを出力し、HTMLタグを使用して複雑なテーブルを再構築し、下流のモデル理解をサポートします。- Mistral OCR 3は低品質のスキャンに対しても堅牢で、フォーム理解(チェックボックス/ラベル)をサポートし、1,000ページあたり2ドルの価格で、バッチAPI割引により1,000ページあたり1ドルになります。- GPT-image-1.5の中国語フォントレンダリング品質はNano Banana Proと比較して改善されました。もしGPT-image 2.0が中国語フォントを完全に修正すれば、情報視覚化やAI PPT生成に使用できる可能性があります。

Key insights

EgoXは第三者のビデオから第一人称視点を再構築

韓国の研究チームがEgoXを発表しました。このAIシステムは第三者のビデオクリップをリアルな第一人称視点のシーケンスに変換し、元のカメラが捉えなかったシーンの部分を再構築できます。このシステムは、観察されていない視点を推測することで信じられる第一人称の画像を生成する能力を主張しており、ビデオアプリケーションのための新しいビュー合成をサポートします。

TRELLIS.2はPBRを用いてほぼフォトリアルな3Dを生成

マイクロソフトのTRELLIS.2は、単一の画像をほぼフォトリアルな3Dモデルに変換します。物理ベースのレンダリング(PBR)を完全にサポートしており、コードとオンラインデモが利用可能であることが報告されています。これは、グラフィックスやインタラクティブなパイプラインでの下流利用のために、高品質な3D再構築と素材のリアリズムに焦点を当てていることを示しています。

Mistral OCR 3は高精度と低コストで企業文書理解を目指す

Mistral AIはMistral OCR 3をリリースしました。このモデルは、テキスト認識を超えて文書構造の理解、すなわちテーブル、フォーム、手書き、埋め込まれた画像にまで及びます。このモデルは、複雑な文書に対してOCR 2より74%の精度向上を達成し、下流のLLM向けにMarkdown/HTML対応の再構築を出力します。価格は1,000ページあたり2ドル(バッチ割引で1,000ページあたり1ドル)で、大規模な企業のデジタル化に適した位置づけとなっています。

Source posts