XNews

斯坦福大学秋季推出CS 312深度学习炼金术课程

斯坦福大学秋季推出CS 312深度学习炼金术课程

斯坦福大学宣布推出CS 312“深度学习炼金术”,这是一门由Tatsu Hashimoto和Suhas Kotha授课的秋季课程,将深度学习视为一门通过动手实验来学习的经验学科。该课程涵盖七个单元,包括超参数调优、缩放定律、优化器、损失景观、训练稳定性、架构容量和数据高效泛化,所有作业、测验和讲义均公开可用,录像由Stanford Online发布。

事件版本 3.

Key insights

深度学习的经验本质

该课程建立在这样一个前提之上:核心深度学习知识在很大程度上是经验性的,无法用理论完全解释,也不能仅靠阅读论文来替代。

两条指导原则

该课程采用两条原则:炼金术必须通过动手实践来学习,预测即理解,这意味着掌握需要能够在运行实验之前准确预测实验结果。

课程结构

七个单元从超参数调优和缩放定律开始,经过优化器、损失景观、训练稳定性、架构容量和数据高效泛化,最后以一个未公开的单元结束。

开放获取与可复现性

作业代码、测验和讲义均公开,Stanford Online发布录像,自学者可以使用Modal租用GPU来复现实验。

Source posts