最近,斯坦福大学和华盛顿大学的研究人员带来了一个令人瞩目的突破:他们仅花费不到50美元的云算力成本,就成功训练出了一款名为s1的AI推理模型。这一成果在上周五公布后,迅速引发了广泛关注。
s1模型的表现非常出色,尤其是在数学和编程能力测试中,与目前行业领先的推理模型——比如OpenAI的o1和DeepSeek的R1——不相上下。更令人兴奋的是,s1模型、训练数据和代码都已经在GitHub上公开,供全球的研究者和开发者自由使用。
研究人员介绍,s1的开发过程采用了“蒸馏”技术。简单来说,就是从谷歌的推理模型Gemini 2.0 Flash Thinking Experimental中提取其推理能力,并将其应用到一个现成的基础模型上。这种方法曾经被伯克利的研究团队用于开发一个成本约为450美元的AI推理模型,而s1的成本则进一步降低。
这一成果让很多人看到了AI领域的创新潜力。即使没有数百万美元的资金支持,小团队也能在AI技术上取得突破。然而,s1的出现也引发了关于AI模型商品化的新问题。如果一个价值数百万美元的模型可以被低成本地复制,那么AI行业的竞争壁垒又在哪里呢?
对此,大型AI实验室显然感到不满。例如,OpenAI就指责DeepSeek不当收集其API数据,用于模型蒸馏。这种数据收集方式可能会对AI行业的知识产权保护带来新的挑战。
s1的研究团队表示,他们的目标是找到一种最简单的方法,既能实现强大的推理性能,又能延长AI模型的“思考时间”。这种“思考时间”是指AI在回答问题前能够进行更深入的分析和推理。这种能力是OpenAI的o1模型的重要突破之一,而DeepSeek和其他AI实验室也一直在尝试通过各种技术来复制这一能力。
s1的开发过程采用了监督微调(SFT)技术。这是一种相对低成本的训练方法,通过让AI模型模仿特定数据集中的行为来提升其性能。与DeepSeek用于训练其R1模型的大规模强化学习方法相比,SFT的成本更低。
谷歌的Gemini 2.0 Flash Thinking Experimental模型通过Google AI Studio平台向公众免费开放,尽管有每日使用限制。不过,谷歌的使用条款明确禁止反向工程其模型,以防止开发与谷歌自身AI产品竞争的服务。目前,谷歌尚未对此事发表评论。
s1的基础模型来自阿里巴巴旗下的中国AI实验室Qwen,该模型可以免费下载。研究人员为s1创建了一个包含1000个精心策划的问题的数据集,这些问题的答案以及背后的推理过程都来自谷歌的Gemini 2.0 Flash Thinking Experimental。
训练s1的过程非常高效。研究人员使用16个英伟达H100 GPU,仅用了不到30分钟就完成了训练。斯坦福大学的研究人员尼古拉斯·穆尼霍夫(Niklas Muennighoff)表示,目前租用所需的算力成本大约为20美元。
为了进一步提升s1的推理能力,研究人员还采用了一个小技巧:在推理过程中加入“等待”指令。这使得s1能够更仔细地思考,从而得出更准确的答案。
与此同时,2025年,Meta、谷歌和微软等科技巨头计划在AI基础设施上投入数千亿美元。其中一部分资金将用于训练下一代AI模型。尽管如此,这种大规模的投资仍然是推动AI创新的重要手段。然而,目前的蒸馏技术虽然能够低成本地复制现有AI模型的能力,但还无法创造出比现有模型更强大的新模型。
s1的出现不仅展示了AI技术的潜力,也引发了关于行业竞争、知识产权保护以及技术发展方向的深入思考。