非营利性人工智能研究机构Epoch AI的最新分析指出，AI行业可能无法长期维持推理模型的巨大性能提升。这份研究报告显示，最早在2026年，推理模型的进步速度或将显著放缓。
近几个月来，OpenAI的o3等推理模型在数学与编程能力等AI基准测试中取得重大突破。这类模型能调用更多算力解决问题，但代价是任务完成时间较传统模型更长。推理模型的开发需先对传统模型进行海量数据训练，再通过“强化学习”技术为其难题解决方案提供“反馈”。
据Epoch AI透露，包括OpenAI在内的顶尖AI实验室至今尚未在推理模型训练的强化学习阶段投入大量算力，但这一情况正在改变。OpenAI透露训练o3模型的算力投入约为前代o1的10倍，Epoch推测其中大部分算力用于强化学习。该公司研究员丹·罗伯茨(Dan Roberts)近期更透露，未来计划将强化学习的算力优先级提升至甚至超过初始模型训练。
但Epoch AI警告称，强化学习的算力投入存在理论上限。该机构分析师、报告执笔人乔什·尤(Josh You)指出，当前标准AI模型训练带来的性能提升每年增长四倍，而强化学习带来的性能提升每3-5个月就能增长十倍。他预测：“到2026年，推理训练进展很可能会与整体技术前沿趋于同步。”
这份基于AI公司高管公开言论的分析报告同时指出，除算力限制外，高昂的研发成本等因素也可能制约推理模型的扩展。尤在报告中写道：“若研究需要持续的高额成本支撑，推理模型的扩展程度或将低于预期。快速扩展算力很可能是推动推理模型进步的关键因素，这值得密切追踪。”
对于重金投入推理模型研发的AI行业而言，任何关于该技术即将触及天花板的迹象都令人担忧。现有研究表明，运行成本极高的推理模型存在明显缺陷，例如比某些传统模型更容易产生幻觉输出。
