Parasail、Positron Titanをマルチシリコン推論クラウドに追加
Parasailはマルチシリコン推論クラウドにPositron Titanを追加した。このクラウドは複数種類のAIシリコンを単一のAPIの背後に配置し、ワークロードを適合するハードウェアにマッチングさせる。Titanは汎用DRAMを使用して極めて大規模なモデルを実行するように設計されており、空冷式であるため、電力と冷却が制約された環境に適している。
イベントのバージョン 1.
Key insights
マルチシリコン推論クラウド
Parasailは、単一のチップ種類を中心にスタック全体を構築するのではなく、複数種類のAIシリコンを同じAPIの背後に配置している。ワークロードをそれに適合するハードウェアにマッチングさせる。
Titanは汎用DRAMで大規模モデルをターゲット
Positron Titanは、汎用DRAMを使用して極めて大規模なモデルを実行するように設計されている。空冷式であるため、電力と冷却がより制約された環境で有用である。
多様なAIワークロード向けのハードウェアオプション
Titanは、長時間実行エージェント、エージェントスウォーム、フィジカルAIシステム向けにParasailへ別のハードウェアオプションを提供する。これらのワークロードは標準的な推論リクエストとは異なる。