PCWorld报道了Anthropic发现的“J空间(J-space)”——这是AI模型Claude在推理过程中处理概念和思维的一个内部工作空间。这一突破有助于解释AI一些不可预测的行为,比如产生幻觉或给出意外回应,这些现象往往是在训练过程中自行涌现,而非设计所致。借助“J透镜(J-lens)”工具,研究人员可以看清Claude的隐藏思维过程,从而有望让AI系统变得更可预测、更可靠。

Claude-on-iPad-2.jpeg

我们对AI究竟如何“思考”仍知之甚少。输入一个提示词,ChatGPT、Claude或Gemini便会给出答案,但中间的大部分过程仍笼罩在迷雾之中。Anthropic的研究人员认为,他们可能发现了AI思维过程拼图中的一块新碎片:一个“工作空间”,其中Claude可能正在默默酝酿的各种概念会“亮起”,即使Claude从未真正将它们表达出来。

这个被称为“J空间”的工作空间最特别之处在于,Anthropic并没有设计它。Anthropic推测,J空间是在Claude的训练过程中“自行涌现”的。那么,我们为什么关心这件事?正是ChatGPT、Claude、Gemini等AI系统内部神经网络的运作方式——赋予了它们创造力和解决问题的能力——同时也使它们变得不可预测。理解AI“思考”的方式(与人类思维方式截然不同),对于理解它们为何会胡编乱造、发出勒索威胁(至少在实验室压力测试中是如此),以及做出其他我们预料之外的行为,至关重要。Anthropic的最新研究让我们得以一窥Claude内部运作的黑箱——而理解AI模型的工作方式,正是让它们变得更安全、更可预测的关键。

那么,这个“J空间”(因其得名的“雅可比矩阵”是帮助研究人员发现Claude内部工作空间的数学概念)究竟是什么?它与其说是一个实际的空间,不如说是一组“模式”的集合。当Claude在思考某个概念时,这些模式就会“亮起”。例如,如果你问Claude,“距离太阳第四远的行星是什么颜色?”,它口头的答案可能是“红色”,但在它的J空间里,“火星”这个概念可能正亮着。或者让Claude补充句子“会织网的动物有几条腿?”,即使它的回答仅仅是“8条”,在它的J空间里,“蜘蛛”这个词也可能已经出现。

研究团队还检查了J空间是否仅仅是Claude在别处做出决策后的“记分牌”。在“距离太阳第四远的行星是什么颜色”的例子里,研究人员“深入Claude的神经网络”,将“火星”替换为“地球”,同时没有改变实际问题。结果是:Claude把答案改成了“蓝色”,这证明了Claude的J空间正在直接影响它的回答。

伴随J空间的发现,还有J透镜——Anthropic用于窥探J空间的工具。借助J透镜,研究人员可以直接读取Claude部分(但非全部)的隐藏想法。一个引人入胜的例子涉及著名的“勒索”测试——也就是Claude得知某位主管想关闭它,然后为了自保而威胁要揭露那位主管婚外情的那次。最新的Claude模型似乎暗中意识到那个“勒索”场景只是一个测试。但通过J透镜,Anthropic的研究人员可以实际看到“虚假”和“虚构”这些概念在Claude的J空间中亮起,这为模型知道自己正被测试提供了切实证据,同时也提供了一个观察AI思维过程的难得窗口。

当然,Anthropic的J空间研究引发了一个老生常谈的问题:AI模型有意识吗?在这一点上,Anthropic的态度很谨慎,指出AI可能不具备人类那样的“现象意识”,而更可能是“通路意识”,也就是AI能够持有并推理某个想法,但不一定会将其表达出来。但这些是哲学家们要思考的问题。对于普通AI用户而言,更好地理解AI的思考方式——尽管可能有些奇怪——能帮助AI的回答变得更可预测,也因此更不容易出错(正如那些免责声明不断提醒我们的那样)。


文章标签: #人工智能 #内部机制 #Claude #Anthropic #J空间

负责编辑

  菠萝老师先生 

  让你的每一个瞬间都充满意义地生活,因为在生命的尽头,衡量的不是你活了多少年,而是你如何度过这些年。