TrenTorch:使用NumPy从零构建深度学习框架

TrenTorch是一个完全使用NumPy从零构建的深度学习框架,它遵循哈佛大学CS249r课程的TinyTorch并进行了扩展。该框架由四个部分的20个模块组成:第一部分涵盖张量、激活函数、层、损失函数、自动微分、优化器和训练循环。第二部分实现了用于图像分类的卷积。第三部分包括分词、词嵌入、多头注意力和变换器,最终构建了一个GPT风格的语言模型。第四部分聚焦于推理优化:性能分析、量化、KV缓存加速以及优化器(包括AdamW、Lion和Muon)。每个部分都使用自定义框架复现了一个历史里程碑。一个名为“tren”的命令行工具用于管理进度和测试。作者声称这20个模块足够小,可以一口气读完。