外界对米拉·穆拉蒂(Mira Murati)领导的Thinking Machines Lab一直抱有浓厚兴趣——该实验室不仅获得20亿美元种子轮融资,更汇聚了多位OpenAI前研究员组成的全明星团队。周三,该研究实验室通过一篇博客文章首次向外界展示了其重点项目之一:开发能够生成可复现响应的人工智能模型。

Cover Image

这篇题为《克服LLM推理中的非确定性》的研究博文,试图揭示AI模型响应随机性的根源。例如,向ChatGPT多次提出相同问题,往往会得到截然不同的答案。虽然AI学界普遍将当今模型的非确定性视为既定事实,但Thinking Machines Lab认为这是一个可以解决的问题。

该文由实验室研究员贺拉斯·何(Horace He)撰写,指出随机性的根源在于推理处理过程中GPU内核(英伟达计算机芯片内部运行的小型程序)的拼接方式。他认为通过对这一协调层进行精细控制,完全有可能实现AI模型的确定性输出。

强调,除了为企业和科研人员提供更可靠的响应外,实现AI模型的可复现响应还能优化强化学习(RL)训练过程。由于强化学习依赖对正确答案的奖励机制,若答案存在细微偏差就会导致数据噪声增加。而响应一致性的提升将使整个强化学习过程“更为流畅”。据The Information此前报道,该实验室已向投资者表示计划运用强化学习技术为企业定制AI模型。

OpenAI前首席技术官穆拉蒂曾在七月透露,实验室的首款产品将于数月内亮相,并称其“对开发定制模型的研究机构与初创企业具有实用价值”。目前尚未明确该产品是否会采用这项研究成果来实现更可复现的响应。

实验室同时承诺将定期发布博客文章、代码及其他研究成果,既“造福公众,亦提升自身研究文化”。此次发布的博文作为新系列《联结主义》的开篇之作,正是这一承诺的实践。OpenAI创立初期也曾致力于开放研究,但随着规模扩张逐渐转向封闭。大众正密切关注穆拉蒂的研究实验室能否坚守开放承诺。

这篇研究博文为外界窥视硅谷最神秘AI初创企业的技术动向提供了罕见窗口。虽然未明确揭示技术发展方向,但显示出Thinking Machines Lab正致力于攻克AI研究前沿的核心难题。真正的考验在于实验室能否解决这些难题,并基于研究成果开发出匹配其120亿美元估值的产品体系。


文章标签: #人工智能 #机器学习 #强化学习 #模型优化 #OpenAI

负责编辑

  菠萝老师先生 

  让你的每一个瞬间都充满意义地生活,因为在生命的尽头,衡量的不是你活了多少年,而是你如何度过这些年。