スタンフォード大学、秋学期にCS 312「ディープラーニング・アルケミー」コースを開講

スタンフォード大学は、Tatsu Hashimoto氏とSuhas Kotha氏が担当する秋学期のコースCS 312「Deep Learning Alchemy」を発表した。このコースは、ディープラーニングを実践的な実験を通じて学ぶ経験的学問として位置づけている。コースは7つのユニットで構成され、ハイパーパラメータ調整、スケーリング則、オプティマイザ、損失地形、訓練の安定性、アーキテクチャ容量、データ効率の良い汎化を扱う。すべての課題、クイズ、講義ノートは公開されており、録画はStanford Onlineからリリースされる。
イベントのバージョン 3.
Key insights
ディープラーニングの経験的性質
このコースは、ディープラーニングの核心的な知識は大部分が経験的であり、理論では完全に説明できず、論文を読むだけでは代替できないという前提に基づいている。
2つの指導原則
このコースは2つの原則を採用している。錬金術は実践的に学ばなければならないという原則と、予測は理解に等しい、つまり習得には実験を実行する前に実験結果を正確に予測することが必要だという原則である。
カリキュラム構成
7つのユニットは、ハイパーパラメータ調整とスケーリング則から、オプティマイザ、損失地形、訓練の安定性、アーキテクチャ容量、データ効率の良い汎化へと進み、最後は未公開のユニットで終わる。
オープンアクセスと再現性
課題コード、クイズ、講義ノートは公開されており、Stanford Onlineが録画をリリースし、独学者はModalを使ってGPUをレンタルして実験を再現できる。