Cloudflare首席执行官马修·普林斯(Matthew Prince)表示,自今年7月宣布“内容独立日”倡议并将相关功能设为默认选项以来,其公司已屏蔽了超过4160亿次AI机器人请求。普林斯在接受《连线》杂志采访时表示,该功能允许网站所有者默认屏蔽AI爬虫,除非AI公司付费以获取其内容访问权限。

Cover Image

普林斯告诉《连线》杂志:“互联网的商业模式一直是生成内容以驱动流量,然后销售商品、订阅服务或广告。但我认为人们尚未意识到的是,AI正带来平台转变。互联网的商业模式即将发生巨大变化。我不知道它将变成什么样子,但这几乎是我醒着时每时每刻都在思考的问题。”

尽管Cloudflare屏蔽了几乎所有AI爬虫,但有一个特定的机器人它无法在不影响客户在线存在的情况下进行屏蔽——那就是谷歌。这家搜索巨头已将其搜索爬虫和AI爬虫合二为一,这意味着选择退出谷歌AI爬虫的用户也将无法被谷歌搜索索引收录。“你无法只退出其中一项而保留另一项,这是一个真正的挑战——这太疯狂了,”普林斯继续说道。“你不应该利用昨日的垄断地位来撬动并获取明日的市场垄断地位。”

由人类生成的内容对于AI公司训练其模型至关重要,因为研究已证明,使用AI生成的数据进行训练会导致模型产出垃圾内容。AI摘要已被证实会减少网站的流量——尤其对那些严重依赖曝光度和浏览量获取广告收入的网站造成冲击——但内容授权协议有助于抵消这种影响,帮助在线出版物保持为创作者和出版商可行的收入来源。

一个内容来源多样、由真实人类创作内容支撑的互联网,也将使Cloudflare受益。其首席执行官告诉《连线》杂志,公司致力于实现一个创作者和企业能在公平竞争环境中发展的未来,因为届时将有更多需要保护的网站,从而为Cloudflare带来更多潜在客户。这使其成为全球最大的内容分发网络之一,截至2022年占据了79.9%的市场份额。然而,这也使得互联网变得脆弱,例如在去年11月,一个配置错误的文件就曾导致互联网的很大一部分瘫痪。

这凸显了当前全球网络基础设施所面临的问题,其仅依赖少数几家大公司——例如AWS、Azure、Cloudflare、CrowdStrike谷歌——来服务整个地球。虽然这些机构使依赖互联网的企业运营变得更加便捷和高效,但这也意味着,只要其中一项服务出现故障,就将在全球范围内造成数十亿美元的损失和严重的混乱。


文章标签: #Cloudflare #AI爬虫 #内容保护 #谷歌垄断 #互联网风险

负责编辑

  菠萝老师先生 

  让你的每一个瞬间都充满意义地生活,因为在生命的尽头,衡量的不是你活了多少年,而是你如何度过这些年。