Cloudflare允许网站以“按爬取付费”的方式向AI机器人收费

Cloudflare正在为出版商提供一个新选项：通过重新启用的HTTP 402支付系统向AI机器人收费以爬取他们的网站。

通过新的“按次抓取付费”系统，网站所有者可以向AI机器人收费以获取他们的内容。该系统为出版商提供了一种替代策略，这与他们当前只有两种选择的政策不同，那就是要么允许AI数据抓取，要么完全阻止AI访问。

“许多出版商、内容创作者和网站所有者现在感觉他们只有两种选择 —— 要么敞开大门让AI消费他们创作的一切，要么自己创建一个封闭的园子，” Cloudflare说道。“但是，如果有另一种方法呢？”

有了按爬取付费（Pay Per Crawl）这种机制，内容创作者现在可以决定谁能进入以及需要付出多少价格。他们可以让一些AI爬虫免费进入，完全阻止其他的，或者收费以供访问。“我们希望内容创作者能对谁可以访问他们的作品有所控制，”Cloudflare说道。“创作者应该坐在驾驶座上。”

此举是在越来越多的反对声中进行的，人们反对AI公司未经许可就使用网络内容。例如，YouTube因允许Google在未通知创作者的情况下进行视频抓取而受到批评。此外，Google的AI概览功能使得像HuffPost和The Washington Post这样的新闻网站的访问量减少了超过50%。

新闻/媒体联盟的主席Danielle Coffey表示：“Google只是强取豪夺内容，并无任何回报，这就是盗窃的定义。”

这个工具是通过一个旧的网络特性来运作的：HTTP响应代码402，代表“需要付款”。如果一个AI机器人试图访问一个页面，服务器现在可以用402回应，并附上一个价格标签。如果机器人同意付款，服务器就会提供内容。

Cloudflare提供了技术基础设施并处理付款。出版商可以为每个爬虫请求设定一个固定价格，甚至可以为不同的机器人应用不同的规则。即使一个机器人没有在Cloudflare注册，它仍然可以被“收费”——基本上阻止了访问，但留下了未来交易的空间。

这个系统未来可能会引领更加灵活的许可证发放和动态定价。正如Cloudflare所述：“通过为创作者提供一个强大、程序化的机制来评估和控制他们的数字资产，我们赋予他们继续创造丰富、多样化内容的能力，这使得互联网变得无比宝贵。”