《微软飞行模拟2024》11月登陆PS5平台,多平台策略再推进
阅读全文

锤刻创思寰宇网
“一键执行”(Click To Do)是微软为Copilot+ PC推出的最新人工智能功能与卖点。在Windows Recall因隐私争议而退居二线后,微软正在翻开新篇章——这一次的重点是一个用于调用情景化AI操作的专属快捷方式。
使用该功能时,只需长按键盘上的Windows键并单击鼠标左键,或直接按Windows+Q快捷键即可激活(若未响应,说明您使用的并非Copilot+ PC设备)。
激活后屏幕边缘将出现轮廓线,系统会高亮显示屏幕上所有文本和图像,使其处于可选中状态以便执行操作。更值得注意的是,微软正在持续为这个菜单增加新功能!
该功能最初内置于Windows Recall之中,允许用户对系统自动截取的屏幕快照中的文本执行操作。但随着微软战略调整,它最终独立成为专属功能。在隐私保护层面,该功能堪称Recall的反面典型:它不会在后台运行,必须由用户主动触发。
当您激活功能时,系统会截取屏幕图像供交互操作。选择“总结文本”等操作时,所有处理都通过您PC的神经处理单元(NPU)在本地完成。不过“网络搜索”、“必应视觉搜索”和“询问Copilot”等操作仍需将数据发送至微软服务器处理。值得庆幸的是,除非主动使用这些功能,否则数据不会离开您的设备。
通过光学字符识别(OCR)技术,该功能可扫描当前屏幕并使文本可被选取。例如选中电子邮件地址时,菜单会显示“发送邮件”选项;选中网址时则出现“打开网站”功能(令人欣慰的是,并非所有情况都会强制使用Microsoft Edge浏览器)。
当选中超过10个单词的文本时,系统会调用运行在Copilot+ PC NPU上的Phi Silica语言模型,提供文本总结、创建项目列表或语气改写等操作。这是微软首次尝试在Copilot+ PC上集成NPU驱动的文本处理功能。由于基于屏幕截图,单次能发送给语言模型的文本量有限——这反而可能提升体验,毕竟本地语言模型的性能远不及ChatGPT等云端大模型。
此外还有“询问Copilot”动作可将选定文本发送至微软Copilot人工智能聊天机器人,以及“在Word中与Copilot共同起草”功能来启动AI辅助文档创作。用户也可以将信息发送至云端聊天机器人,但仅限使用微软Copilot(家庭版)或Microsoft 365 Copilot(企业版)。
该功能不仅支持文本操作,还能对图像执行处理。点击图像时可选择“用照片应用模糊背景”、“用照片应用消除物体”或“用画图工具去除背景”等AI图像操作。这些原本分散在不同应用程序中的功能,如今都通过统一界面整合呈现。这里同样设有“询问Copilot”选项,方便用户将图像发送至微软Copilot AI进行对话讨论(不过尚未集成令人印象深刻的超分辨率功能快捷键)。
若因任何原因需要禁用该功能(例如在玩PC游戏时容易误触快捷键),用户可通过设置 > 隐私与安全 > 一键执行路径关闭开关(该功能默认启用,但仅限Copilot+ PC设备,普通Windows 11 PC不会显示此选项)。
微软正持续为该功能添加新特性:即将集成的Copilot提示框允许用户选择文本/图像并输入提示词,通过“询问Copilot”将选中内容与提示词一并发送;未来还将支持图文混合选择、通过设备端大语言模型描述图像、将文本发送至Microsoft Reaching Coach应用程序,以及检测屏幕表格并直接发送至Microsoft Excel。这些功能组合揭示了微软的终极目标:打造“Windows系统内随处可用的AI一键触达”体验。
虽然尚未添加文件集成功能,但文件资源管理器的右键菜单中已涌现出大量“发送至Copilot”等AI工具选项。
就个人体验而言,尽管在使用便携式Surface Laptop时测试了大量半成品的Copilot+ PC功能,但实际使用时仍然更倾向于传统的复制粘贴操作。复制粘贴能适用于任何应用程序,无论是否集成AI工具。且Windows 11内置的截图工具已能完美实现文本提取和图像捕获需求。
或许未来这种情况会改变,或许不会。但可以肯定的是:微软从Recall转向该功能的战略调整是明智之举,若最终获得成功,必将带来巨大回报。