XNews

Google、第8世代TPUを訓練用(8t)と推論用(8i)に分割、性能3倍

Google、第8世代TPUを訓練用(8t)と推論用(8i)に分割、性能3倍

Googleの第8世代TPUは、訓練用のTPU 8tと推論用のTPU 8iの2つの専門チップに分割される。この分割は、訓練には大規模なデータスループットが必要であり、推論には低レイテンシが求められるという、異なる要件に対応するものである。エージェント時代において、マルチステップ推論タスクはレイテンシ感度を増幅させる。TPU 8tは、9600チップで121エクサフロップス、2PBの共有メモリを実現し、前世代比で3倍のピーク性能を達成し、兆パラメータモデルの事前訓練を対象とする。TPU 8iは、訓練後処理とリアルタイム推論を処理し、通信集約型ワークロードのレイテンシを半減する。

Source posts