人工智能搜索初创公司Perplexity近日陷入争议漩涡，被指控通过技术手段规避网站反爬限制。云服务商Cloudflare报告指出，该公司通过伪装用户身份、切换服务提供商等方式，突破robots.txt协议对网络爬虫的访问限制。
据调查，Perplexity被控采用隐蔽技术爬取受保护内容。Cloudflare专门设置了一个未公开索引的“蜜罐”测试页面，尽管该页面明确设置了爬虫禁令，但仍被发现出现在Perplexity的搜索结果中，证实其存在违规数据收集行为。
Cloudflare严正谴责这种行为违反服务条款和商业伦理，已将Perplexity移出可信爬虫名单，并计划全面加强反爬措施。而Perplexity方面全盘否认指控，称调查结论缺乏实证基础，并指责Cloudflare夸大事实。
这场争端折射出人工智能时代的内容获取争议。随着AI模型商业化程度加深，数据获取的灰色地带问题日益凸显。Cloudflare首席执行官马修·普林斯（Matthew Prince）多次警示AI对内容创作者的潜在威胁，该公司已推出向AI企业收取内容使用费的机制，并开始自动拦截AI爬虫。
