ChatGPT的最新模型GPT-5.2被发现从Grokipedia获取数据，后者是xAI公司推出的全人工智能生成的维基百科竞争对手。据《卫报》报道，这款大型语言模型有时会使用埃隆·马斯克旗下的人工智能生成的在线百科全书来查询不常见的话题，例如伊朗政治，以及关于英国历史学家理查德·埃文斯爵士（Sir Richard Evans）的详细信息。
几年前，在人工智能训练中就曾提出过此类问题，当时一些专家认为，用人工智能生成的数据来训练人工智能会降低质量，并导致一种称为“模型崩溃”的现象。虽然引用人工智能生成的数据与将其用于训练不同，但这仍然给依赖人工智能进行研究的人们带来了风险。
最大的问题在于，众所周知，人工智能模型会产生幻觉或编造错误信息。例如，Anthropic公司曾尝试用其“Claudius”人工智能来运营一项业务——在实验过程中，该人工智能多次产生幻觉，甚至声称会亲自递送饮料。就连英伟达（Nvidia）首席执行官黄仁勋（Jensen Huang）也在2024年承认，解决这个问题仍需“数年时间”，并且需要更多的计算能力。
此外，许多用户相信ChatGPT和其他大型语言模型能提供准确信息，只有少数人会去核实回答特定问题所使用的实际来源。正因如此，ChatGPT重复Grok的话可能会带来问题，尤其是因为Grokipedia并非由人类直接编辑。相反，它完全由人工智能生成，人们只能请求更改其内容，而不能直接撰写或编辑文章。
将另一个人工智能作为信息来源会形成一个递归循环，我们最终可能会看到大型语言模型相互引用未经核实的内容。这与谣言和故事在人类之间传播没什么不同，都是以“别人说的”作为来源。这导致了“虚幻真相效应”，即错误信息被许多人认为是正确的，尽管有数据表明并非如此，仅仅因为它被重复了太多次。人类社会也曾充斥着类似的神话和传说，它们通过几代人流传了数百年。然而，由于人工智能处理海量数据的速度无限快于人类，使用人工智能来源的风险在于，每一次向大型语言模型输入查询，都可能导致数字民间传说的扩散。
更令人不安的是，各方已经在利用这一点。曾有关于“大型语言模型诱导”的报道，《卫报》称，一些宣传网络“大量炮制虚假信息，试图将谎言植入人工智能模型”。这在美国引起了担忧，例如，据报道，谷歌（Google）的Gemini在2024年曾重复中国共产党的官方路线。目前这个问题似乎已经得到解决，但如果大型语言模型开始引用其他未经审查和事实核查的人工智能生成来源，那么这就是人们需要警惕的新风险。
