OpenAI发布的一篇新研究论文探讨了为何像GPT-5这样的大语言模型和ChatGPT这类聊天机器人仍会产生幻觉（AI虚构内容），以及是否有方法能减少这类现象。
在一篇总结该论文的博客文章中，OpenAI将幻觉定义为“语言模型生成的看似合理但实则错误的陈述”，并承认尽管已有改进，但幻觉“仍然是所有大语言模型面临的根本性挑战”——且这个问题永远无法被完全消除。
为说明这一点，研究人员表示，当他们向“一款广泛使用的聊天机器人”询问亚当·陶曼·卡莱（Adam Tauman Kalai）的博士论文标题时，得到了三个不同答案且全部错误（卡莱是该论文作者之一）。随后他们询问其生日时，又收到三个不同日期，结果同样全部错误。
为何聊天机器人会错得如此离谱，却又显得如此自信？研究人员认为，幻觉的产生部分源于预训练过程——该过程专注于让模型正确预测下一个词汇，而训练语句并未附加真假标签：“模型接触的仅是流畅语言的正面示例，必须通过近似整体分布来学习。”
他们写道：“拼写和括号遵循一致模式，因此这类错误会随规模扩大而消失。但诸如宠物生日这类任意低频事实，无法仅通过模式预测，从而导致幻觉。”
然而，该论文提出的解决方案更侧重于大语言模型的评估方式，而非初始预训练过程。研究认为当前的评估模型虽不直接导致幻觉，但“设置了错误的激励导向”。
研究人员将这类评估比作鼓励随机猜答案的多选题测试——因为“可能幸运猜对”，而留空则“必然得零分”。“同理，当模型仅以准确率（即答对问题的百分比）作为评分标准时，它们会被鼓励猜测而非回答‘我不知道’。”
因此，提出的解决方案类似于SAT等考试机制——对错误答案扣分或对留空题给予部分分数以抑制盲目猜测。OpenAI强调，模型评估需“加大对自信错误的惩罚力度，同时减轻对不确定表达的处罚，并对恰当的不确定性表述给予部分分值”。
研究人员主张，仅引入“少数几个关注不确定性的新测试是不够的”，必须更新“被广泛使用的基于准确率的评估体系，使其评分机制杜绝猜测行为”。“若主流评分体系持续奖励侥幸猜中的答案，模型就会不断学习猜测行为。”
