Starcloud在轨道上训练大型语言模型;轨道数据中心计划

Starcloud报告了首个在太空中训练的大型语言模型,并概述了其轨道数据中心的雄心。
Key insights
首次在轨道上进行大型语言模型训练
Starcloud利用其Starcloud 1卫星在轨道上运行和训练语言模型,包括在莎士比亚全集上训练nanoGPT,并运行Gemma和Gemini的一个版本。帖子指出,卫星上使用了H100 GPU来支持这些实验。一条来自轨道模型发回地球的测试信息写道:“问候,地球人”,这一信息被视为在轨道模型与地面系统进行通信的一个例子。
轨道计算的能源和冷却优势
帖子强调了轨道计算的优势:直接获取太阳能减少了对地面电网的依赖,并且减少了数据中心冷却所需的水资源,寒冷的环境避免了许多基于地面的冷却限制。帖子声称,轨道太阳能的效率平均比地面系统高出四到十倍,并且卫星在每90分钟的轨道中大约有一半时间能够直接接受阳光,尽管存在日食期间。
Starcloud的五吉瓦轨道数据中心计划
Starcloud阐述了其五吉瓦轨道数据中心的雄心,认为这一规模可以超越美国最大的发电厂。帖子将这一计划视为Starcloud的目标,并指出包括谷歌、SpaceX和蓝色起源在内的大型科技公司也在追求类似的轨道计算和数据中心概念。