TrenTorch:NumPyを使用してゼロから構築する深層学習フレームワーク

TrenTorchは、NumPyのみを使用して完全にゼロから構築された深層学習フレームワークであり、ハーバード大学CS249rのTinyTorchを基に拡張されています。本フレームワークは4つのパート、計20のモジュールで構成されています。パート1ではテンソル、活性化関数、レイヤ、損失関数、自動微分、オプティマイザ、トレーニングループを扱います。パート2では画像分類のための畳み込みを実装します。パート3ではトークン化、単語埋め込み、マルチヘッドアテンション、トランスフォーマーを実装し、GPTスタイルの言語モデルに至ります。パート4では推論最適化(パフォーマンス解析、量子化、KVキャッシュ加速、AdamW、Lion、Muonまでのオプティマイザ)に焦点を当てています。各セクションでは、カスタムフレームワークを使用して歴史的なマイルストーンを再現します。'tren'というコマンドラインツールが進行管理とテストを担当します。著者は、20のモジュールが一度に読めるほど小規模であると主張しています。