XNews

WebAI、3Bパラメータの形式推論モデルをオープンソース化

WebAI、3Bパラメータの形式推論モデルをオープンソース化

webAI Intelligence Labは、3億パラメータの形式推論モデル「TwiL-LM3」を公開しました。このモデルは、5つの形式推論ベンチマークのうち4つでOpenAIのGPT-OSS-120Bを上回り、サイズはGPT-OSS-120Bの40分の1、実行速度は2.6倍高速です。webAIの研究所初の形式推論モデルであり、完全にオープンソースで提供されます。

Key insights

小規模モデルでも専門タスクで巨大モデルに匹敵または凌駕可能

TwiL-LM3が120Bモデルに対して5つのベンチマーク中4つで勝利したことは、形式推論がパラメータ数に比例してスケールするわけではないことを示しており、検証や証明支援において効率的で実装可能な推論エンジンへの道を開くものです。

Source posts