XNews

シンキングマシンズ、オープンウェイトモデル「Inkling-Small」を公開

シンキングマシンズは、総パラメータ数2760億のうち120億のアクティブパラメータを持つオープンウェイトモデル「Inkling-Small」を公開した。本モデルは、元のInklingと同等の性能を、4分の1のサイズで実現する。音声と画像に対するネイティブな推論機能を備え、思考の深さを可変に調整できる。NVFP4チェックポイントも提供される。vLLMによるDay 0サポートが行われており、SGLangを使用した場合、DSpark(シミュレーション累積長4)で毎秒648トークン、DSparkなしで毎秒288トークンのデコード速度を達成する。NVIDIA DGX Station上のNVIDIA NeMoによるファインチューニングに適している。

Key insights

Inkling-Small、縮小規模で同等の性能を実現

シンキングマシンズは、総パラメータ数2760億のアーキテクチャ内で120億のアクティブパラメータを持つオープンウェイトモデル「Inkling-Small」を公開した。本モデルは、元のInklingモデルと同等の性能を、4分の1のサイズで実現する。この効率性の向上は、モデルアーキテクチャにおける大幅な最適化を示しており、大規模モデルを実行するインフラを持たない開発者や研究者にとって、より幅広いアクセスを可能にする。リリースにはNVFP4チェックポイントも含まれており、展開オプションがさらに拡大している。

ネイティブなマルチモーダル推論と可変思考の深さがユースケースを拡大

Inkling-Smallは、テキストのみの処理を超え、音声と画像の両方に対するネイティブな推論機能を組み込んでいる。また、可変思考の深さをサポートしており、ユーザーはタスクの要件に応じて計算の深さを調整できる。これらの機能により、本モデルはファインチューニングワークフローを含む多様なアプリケーションに適している。NVIDIAは、NVIDIA DGX Station上のNVIDIA NeMoとの互換性を強調し、特にファインチューニング用途での使用を推奨している。

vLLMとSGLangによるDay 0エコシステムサポートで即時利用が可能に

Inkling-Smallは、公開初日からvLLMによる即時推論サポートを開始した。SGLangを使用した性能ベンチマークでは、DSparkを有効にした場合(シミュレーション累積長4)で毎秒648トークン、DSparkなしで毎秒288トークンのデコード速度を達成した。この迅速なエコシステム統合により、開発者がモデルを採用する際の障壁が軽減され、シンキングマシンズと推論フレームワークのメンテナーとの強力な連携が示されている。

Source posts