PCWorldClaude新推出的“电脑使用”功能进行了评测,结果显示这款AI能够控制Mac桌面,但在处理像国际象棋应用这类复杂界面时面临显著限制。

Cover Image

该功能需要广泛的屏幕录制和辅助功能权限,引发了隐私担忧,同时对付费订阅用户而言,其运行速度缓慢且消耗大量token

虽然作为AI技术进步令人着迷,但由于性能问题和高昂的使用成本,目前对大多数用户来说并不实用。

当时,我正坐在我的Mac mini前,屏幕上开着Claude应用,等着它听候差遣。带着相当程度的忐忑,我授权Claude使用其刚刚推出的“电脑使用”功能来控制我的Mac,但我很难决定到底想让Claude在我的电脑上做什么。

最后,我决定让Claude下国际象棋。

Claude,你能打开国际象棋应用吗?”我发出指令。片刻之后,我的Mac屏幕边缘泛起红光,一个弹窗警告说Claude正在控制我的电脑。接着,国际象棋应用的图标在macOS的程序坞中跳动起来,一个棋盘出现了。

“国际象棋打开了!”Claude报告道,“看起来你已经有一局游戏在进行中——该白方走棋了。”

这时我感到一阵兴奋,那种“真的很酷的事情正在发生”的兴奋感,在我初次尝试一些狂野的新AI功能时偶尔会出现。“继续,下一盘棋吧,”我告诉Claude

然后……嗯,什么都没发生。我等啊,等啊,又等了一会儿,直到我发现我那五个小时的Claude使用额度,在Claude仅仅使用了电脑大约30分钟后,就几乎消耗殆尽了。(我是Claude Pro订阅用户,不是Claude Max。)

所以,如果你想知道为什么我只让Claude使用其新的“电脑使用”功能半个小时,原因就在于此。(我稍后会解释Claude在国际象棋上遇到问题的原因。)在我等待Claude使用冷却期结束的时候,我不禁在想:“很酷,但我到底该如何以及为何要实际使用这个东西呢?”

对于像Claude这样的大语言模型来说,“电脑使用”并非一个特别新的功能——至少从2024年起,Anthropic公司就一直在谈论它,而且OpenAIGPT-5.4模型在获得兼容工具访问权限后也能使用电脑。这里的新意在于,Anthropic刚刚在面向消费者的Claude应用中推出了电脑使用功能,这意味着普通用户现在就可以尝试这个(仍处于“研究预览”阶段的)功能。

当然,需要考虑一些注意事项。首先,目前Claude应用上的电脑使用功能仅面向Mac用户,类似于macOS设备率先获得Claude Cowork功能一样。(Anthropic表示,Windows支持“即将推出”。)

其次,你必须是一名付费的Claude ProMax用户才能尝试这个电脑使用功能,这意味着免费用户无缘体验。

第三,允许Claude控制你的Mac所带来的隐私影响相当令人担忧。为了让Claude控制你的鼠标,它需要截取屏幕截图来查看鼠标移动和点击的位置,这意味着它能看到你屏幕上的任何内容——打开的PDF文件(如银行对账单)、聊天窗口、浏览器标签页,应有尽有。

你可以在“设置”>“通用”菜单中找到Claude的“电脑使用”开关,并且你需要授予ClaudemacOS系统级别的“辅助功能”和“屏幕录制”权限。你还必须在Claude打开某个应用之前,授予它对该应用的特定访问权限。

但是,一旦Claude获得了对某个应用的访问权限,它就可以使用其菜单、通过键盘输入文字,理论上可以做任何它想做的事情。Anthropic表示,已经设置了防护措施,以防止Claude进行股票交易、抓取面部图像或做其他令人毛骨悚然的事情,但你仍然应该避免要求Claude启动Quicken这类财务软件。

因此,在我简短的测试中,我让Claude执行了一些相当无害的任务。例如,我要求Claude打开macOS的“备忘录”应用,并创建一个内容为“Hello World”的新备忘录。当Claude接管控制时,我的屏幕边框泛起红光(类似于Chrome浏览器中Gemini开始浏览时发生的情况),我看着备忘录应用打开,Claude创建了备忘录并开始输入文字。

我还尝试了通过Anthropic新的Dispatch功能来使用Claude的电脑控制功能,该功能允许你从Claude移动应用控制远程的Claude桌面会话。“Claude,你能用同一个备忘录,添加一份制作千层面的食材购物清单吗?”我在我的iPhone上输入。

几秒钟后,Claude照做了,在我的Mac桌面上打出了清单。“完成!千层面购物清单现在已经在备忘录里了,包含了所有食材:面条、碎牛肉、意大利香肠、番茄酱/番茄膏/碎番茄、意大利乳清干酪、马苏里拉奶酪、帕尔马干酪、鸡蛋、大蒜、洋葱、橄榄油和干香草。”

接着就是国际象棋实验,Claude在尝试移动一枚棋子时卡住了。“国际象棋应用使用的是3D透视棋盘,这使得精确点击棋子变得棘手,”Claude后来解释道,它还透露了它尝试的所有方法,包括调整“设置”菜单和放大棋盘。所有这些思考以及随后的失败尝试都消耗了token,一旦我发现我那五个小时的使用额度几乎用尽,我就停止了任务。

那么,很有趣,但又如何呢?当我同样可以轻易地在Claude应用中让它列出千层面的购物清单,然后再将清单转移到iPhone的“备忘录”里时,为什么还要让Claude在我的桌面上写一份购物清单呢?而且,如果出于隐私原因我不允许Claude使用我桌面上的Quicken,那么它能使用这个功能又有什么好处呢?

嗯,这些都是非常好的问题。就我个人而言,我还没有看到适合我的Claude电脑使用场景——或者至少,现在还没有。

谁可能会利用Claude的电脑控制能力呢?好的例子可能包括开发人员或其他高级用户,他们希望自动化那些需要在图形桌面界面上点击的重复性任务,或者可能用于用户界面测试。

我想尝试的一个可能性是使用Claude来控制Handbrake,那是我在将视频添加到我的Plex媒体库之前用来处理视频的视频转换应用。这是一个需要大量界面点击的繁琐任务,我可以想象把这个任务交给Claude——也就是说,一旦我的Claude使用额度刷新之后。

Claude的电脑使用能力确实指向了我上周写到的未来:一个我们的PCMacAI智能体控制的未来,我们不再使用应用来执行桌面任务,而是直接要求我们的智能体为我们代劳。

但就目前情况而言,Claude电脑使用(或任何控制电脑的大语言模型)所需的所有鼠标点击、键盘敲击和持续不断的屏幕截图捕捉,都既缓慢又昂贵。此外,还有隐私问题以及提示词注入的风险,即恶意文档或网站试图诱骗Claude泄露敏感数据或篡改其自身的“系统提示”指令。(Anthropic表示,Claude经过训练,能够检测是否正在遭受提示词注入攻击。)

换句话说,Claude的电脑使用功能让我们得以一窥未来,但这个未来——至少对我们大多数人来说——尚未准备好迎接黄金时段。


文章标签: #人工智能 #Claude #Mac控制 #隐私安全 #技术评测

负责编辑

  菠萝老师先生 

  让你的每一个瞬间都充满意义地生活,因为在生命的尽头,衡量的不是你活了多少年,而是你如何度过这些年。