Cactus Needle 2、45Mパラメータモデルを14MBに圧縮しデバイス上AIを実現

Cactus Needle 2は、45Mパラメータのモデルを14MBのファイルに圧縮し、28MBのメモリで動作します。ツール指示、デバイス操作、構造化データ抽出を処理可能で、出力は構文制約付きです。信頼度スコアにより不確実なケースをクラウドモデルに振り分けます。Pythonインストール、関数説明ツール呼び出し、軽量ファインチューニングに対応しています。

Cactus Needle 2は、45Mパラメータのモデルを14MBのファイルに圧縮し、28MBのメモリで動作します。ツール指示、デバイス操作、構造化データ抽出を処理可能で、出力は構文制約付きです。信頼度スコアにより不確実なケースをクラウドモデルに振り分けます。Pythonインストール、関数説明ツール呼び出し、軽量ファインチューニングに対応しています。