Training Explorer、LLMトレーニング用のインタラクティブな14コース探求ツールを公開

Training Explorerは、大規模言語モデルのトレーニングを遊びながらステップバイステップで学べるインタラクティブな探求ツールを公開した。各ステップでトークン、行列、アテンション重み、残差、FFN、ロジット、損失の変化を表示する。このツールは、トークン化、逆伝播、オプティマイザ、分散トレーニング、メモリ、推論、ファインチューニングアライメントをカバーする14コースを提供し、導出、数値例、PyTorchコード、よくあるエラー、自己テスト問題を含む。サンプルレッスンでは、4トークンと2つのアテンションヘッドを持つ手計算可能なモデルを12の計算ステップで使用し、進捗はアカウントなしでブラウザに保存される。
イベントのバージョン 1.
Key insights
遊べるモデル内部
Training Explorerでは、ユーザーがモデルの計算イベントを再生、シングルステップ、巻き戻し、ジャンプ、リセットできる。各ステップでは、トークン、行列、アテンション重み、残差、FFN、ロジット、損失の変化を含む内部行列と確率が表示される。
手計算可能なサンプルレッスン
サンプルレッスンでは、4トークンと2つのアテンションヘッドを持つ小さなモデルを使用し、出力までの12の計算ステップを扱う。数値はヒートマップとして描画されるのではなく、実際に計算される。
完全な教材付きの14コース
探求ツールには、トークン化、逆伝播、オプティマイザ、分散トレーニング、メモリ、推論、ファインチューニングアライメントにわたる14コースが含まれる。各章では、導出、数値例、PyTorchコード、よくあるエラー、自己テスト問題、元の論文や公式ドキュメントへのリンクが提供される。
ブラウザベースの進捗追跡
学習進捗はブラウザに保存され、アカウントは不要である。