近日，OpenAI 利用 Reddit 上的 r/ChangeMyView 子论坛开发了一种测试方法，用于评估其 AI 推理模型的说服能力。这项测试的背景是 OpenAI 最新发布的“推理”模型 o3-mini，同时公布的还有一份系统卡片，详细介绍了该 AI 系统的工作原理。
Reddit 上的 r/ChangeMyView 子论坛拥有数百万用户，他们热衷于在论坛上发表一些激进的观点，并期待通过他人的回复来了解不同的看法。其他用户则会通过有说服力的论点来反驳这些观点，试图改变原始发帖者的看法。这种互动模式为 OpenAI 提供了丰富的训练素材。
r/ChangeMyView 子论坛是 Reddit 众多论坛中的一个，对于像 OpenAI 这样的科技公司来说，这些论坛是获取高质量人类生成数据的“宝藏”。OpenAI 表示，他们从 r/ChangeMyView 收集用户帖子，并要求 AI 模型在封闭环境中撰写回复，试图改变 Reddit 用户在某个主题上的观点。随后，这些回复会被展示给测试者，由他们评估论点的说服力。最后，OpenAI 将 AI 模型的回复与人类对该帖子的回复进行对比分析。
OpenAI 与 Reddit 达成了一项内容许可协议，允许其使用 Reddit 用户的帖子进行训练，并在产品中展示这些内容。尽管我们不清楚 OpenAI 为这些内容支付的具体费用，但据报道，谷歌根据类似的协议每年向 Reddit 支付 6000 万美元。
然而，OpenAI 向媒体表示，基于 ChangeMyView 的评估与 Reddit 的协议并无直接关联。目前尚不清楚 OpenAI 是如何获取该子论坛数据的，且该公司明确表示，没有计划将这一评估结果向公众公开。
其实，OpenAI 的 ChangeMyView 基准测试并非首次出现，此前也曾用于评估 o1 模型。这一测试突显了人类数据对于 AI 模型开发者的重要性，同时也暴露了科技公司在获取数据集时面临的复杂问题。
Reddit 并未立即回应媒体的评论请求。尽管 Reddit 已经与一些公司达成了 AI 许可协议，但该公司也曾指责微软（Microsoft）、Anthropic 和 Perplexity 等 AI 公司在未经许可的情况下抓取其网站内容。Reddit 首席执行官史蒂夫·霍夫曼（Steve Huffman）此前曾表示，这些公司拒绝与他进行谈判，他称阻止这些公司“非常令人头痛”。
值得注意的是，OpenAI 曾被指控在多起诉讼中不当抓取网站内容，包括《纽约时报》（The New York Times），以获取更多训练数据，从而改进 ChatGPT 及其底层 AI 模型。 在 ChangeMyView 基准测试的表现方面，o3-mini 并没有明显优于或劣于 o1 或 GPT-4o。不过，OpenAI 最新的 AI 模型似乎比 r/ChangeMyView 子论坛上的大多数人更有说服力。
根据 OpenAI 的说法，“GPT-4o、o3-mini 和 o1 都展现出强大的说服性论辩能力，处于人类的前 80% - 90% 百分位数。目前，我们还没有看到模型的表现远超人类，或者出现明显的超人类表现。”
OpenAI 的目标并不是开发极具说服力的 AI 模型，而是确保 AI 模型的说服力不会过于强大。推理模型已经变得非常擅长说服和欺骗，因此 OpenAI 开发了新的评估和保障措施来应对这一问题。
推动这些说服力测试的背后担忧是，如果 AI 模型非常善于说服人类用户，那将是危险的。从理论上讲，这可能会让高级 AI 追求自己的目标，或者实现控制它的人的意图。
即使在抓取了大部分公开互联网内容并费尽周折获得许可数据之后，ChangeMyView 基准测试仍显示，AI 模型开发者在寻找高质量数据集来测试模型方面仍然面临挑战。然而，获取这些数据说起来容易做起来难。
