Cloudflare（云基础设施服务商，承载全球20%网络流量）周二宣布推出全新平台，旨在重构网站所有者与AI公司之间的关系。这一名为“按次爬取付费”的机制目前处于封闭测试阶段，其核心理念是让内容创作者重掌数据控制权。
过去一年间，Cloudflare已陆续推出多项工具应对AI爬虫泛滥问题，包括一键屏蔽所有AI爬虫功能及流量监测面板。Cloudflare首席执行官马修·普林斯此前接受采访时表示，这些工具正在为新型内容交易市场奠定基础。
该平台提供三种分级选择：内容创作者可设定单次爬取费率（采用微支付模式），允许免费爬取，或彻底屏蔽AI爬虫。平台还将展示爬虫具体用途——是用于AI训练数据收集、AI搜索应答呈现还是其他目的。
这项创新将Cloudflare置于AI时代内容分发的核心位置。随着谷歌搜索流量衰减与AI聊天机器人崛起，新闻出版商正面临生存危机。当前行业应对策略分化：《纽约时报》等媒体通过法律诉讼维权，部分机构则选择与科技公司签订内容授权协议。但现有模式仅惠及头部出版商，且商业可持续性存疑。
Cloudflare同步宣布：新注册网站将默认屏蔽所有AI爬虫，站长需手动授权特定爬虫访问。这一“默认控制”机制已获康泰纳仕、时代周刊、美联社等知名出版集团支持。
数据显示，传统流量变现模式正在失效：谷歌爬虫的抓取与推荐比为14:1，而OpenAI达到惊人的1700:1，Anthropic更是高达73000:1。更严峻的是，OpenAI与谷歌正在开发能代用户直接获取信息的AI代理，这将彻底颠覆依赖访问量的商业模式。
Cloudflare认为，平台真正价值将在“代理时代”显现。其设想场景包括：研究代理自动获取最新癌症论文，法律助手智能生成案情摘要，甚至美食推荐程序即时筛选苏荷区最佳餐厅——所有操作都通过程序化微支付完成。
参与该平台需双方均为Cloudflare用户，平台充当中立结算方。虽然目前未采用加密货币，但普林斯透露正考虑开发专属稳定币。分析人士指出，要实现这一愿景需要克服两大挑战：说服习惯免费抓取的AI公司付费，以及确保出版商获得合理回报。
