当Cloudflare本周一指控AI搜索引擎Perplexity暗中抓取网站数据并规避网站封禁措施时，这并非简单的AI网络爬虫失控事件。
众多支持者为Perplexity辩护，认为其无视网站所有者意愿的访问行为虽具争议性，但可以接受。随着AI代理在互联网激增，这场争议必将扩大：代表用户访问网站的AI代理，应当被视为机器人还是人类访客？
作为为百万网站提供反爬虫服务的网络安全公司，Cloudflare的测试方案是：建立一个从未被爬取的新域名网站，在robots.txt文件中明确禁止Perplexity的AI爬虫，随后向Perplexity提问该网站内容——结果AI引擎仍给出了答案。研究人员发现，当官方爬虫被拦截时，该引擎会使用“伪装成macOS版Google Chrome的通用浏览器”。Cloudflare首席执行官马修·普林斯（Matthew Prince）在X平台公开指控：“某些所谓‘信誉良好’的AI公司行事堪比朝鲜黑客，是时候公开点名并彻底封禁它们了。”
但舆论对“不当行为”的定性存在分歧。在X和Hacker News等平台上，支持者指出Cloudflare记录的场景实则是用户查询特定网站时，AI对该公开网站的访问。“人类访客有权查看网站内容，为何AI代理通过火狐浏览器代访就构成不同法律性质？”一位开发者质疑道。Perplexity发言人先是否认涉事爬虫归属，指责Cloudflare借题营销，次日又发布辩护声明，称异常访问来自其偶尔使用的第三方服务。
争议核心在于：“自动化爬取与用户驱动获取的技术差异，本质是开放网络信息访问权的争夺。”Perplexity在声明中反诘，“这暴露出Cloudflare系统根本无力区分合法AI助手与真实威胁。”但该公司指控同样有失公允——普林斯特别指出，行业领军企业OpenAI严格遵守robots.txt协议，且采用新兴的Web Bot Auth认证标准（由互联网工程任务组开发、Cloudflare支持的AI请求加密识别方案）。
这场辩论正值机器人活动重塑互联网生态之际。据Imperva上月发布的《恶意机器人报告》，网络流量史上首次出现AI流量（超50%）超越人类活动，其中大型语言模型占主导，但37%的恶意流量（含数据爬取/暴力登录等）同样源自机器人。传统模式下，网站通过验证码等手段封禁恶意爬虫，同时与Googlebot等“善意爬虫”合作——通过robots.txt引导索引规则，换取搜索引擎的流量反哺。
如今格局正在颠覆：Gartner预测到2026年搜索引擎流量将缩减25%。虽然目前用户多在交易决策关键节点点击AI提供的链接，但若如科技界预测——AI代理将全面接管旅行预订、餐厅预约、购物比价等事务，网站封禁AI是否等于自断商机？X平台上的论战生动呈现了这一矛盾：“我需要Perplexity代表我访问任何公开内容！”支持者强调用户主权，反对者则坚持“网站主渴望直接流量与广告收益，而非被AI截胡”。另有观察者悲观预言：“代理浏览终将失败——绝大多数网站主会选择封禁，这远比人们想象的更复杂。”
