Cloudflare新政策推动AI公司为出版商的内容付费

Cloudflare刚刚向AI行业发出了一个新的截止日期，将用于传统搜索目的的网络爬虫（例如Google搜索）与用于AI代理和训练的网络爬虫分开。该公司周三宣布，从2026年9月15日开始，Cloudflare的默认设置将阻止“混合用途”爬虫访问任何托管广告的页面。

这意味着默认情况下，混合搜索、代理使用和训练的爬虫将被阻止爬行这些网站，除非网站所有者另外调整设置。该公司表示，这些默认设置的更改将适用于新的Cloudflare客户、现有客户设置的新站点以及所有现有的免费客户。

此举可能会影响人工智能模型提供商访问网络内容以进行培训并帮助支持其代理服务的方式。

Cloudflare指出，大多数网站所有者希望他们的内容可以通过搜索以及人工智能服务被发现，但他们希望得到保护，防止其知识产权被免费泄露。

Cloudflare特别指出，“世界上最大的搜索引擎”（显然是Google参考！）比其他人工智能公司能够访问“多两倍的信息”，因为这家搜索巨头让客户很难在不使用人工智能的情况下保持被发现。

Google过去曾反对这种概括，指出它提供了一个名为Google Extended的机器人，可以让网站所有者选择不将其内容用于培训以及AI产品和服务，例如Gemini Apps和Vertex API。它的使用不会影响网站包含在Google搜索中。然而，这家科技巨头的旗舰产品Googlebot可以进行搜索抓取，包括AI概述和AI模式等AI功能。

Cloudflare联合创始人兼CEOMatthew Prince在宣布这一消息时表示：“既然互联网上的大部分流量都是非人类的，我们必须走得更远、更快地采取行动，以便形成一个可持续的生态系统。”他指的是最近机器人首次超越人类在线流量的里程碑。这种转变预计要到明年才会发生。

“Cloudflare的新工具和合作伙伴关系为网站所有者提供了更高的知名度和商业机会，并使拥有具有明确和透明意图的机器人的人工智能公司受益。我们希望我们提议的默认更改鼓励混合用途爬虫将搜索与代理使用和培训分开，”Prince说。

虽然Cloudflare提供了许多产品来帮助用户初创公司自己的AI系统，但该公司还发布了一系列工具，让出版商在AI时代能够更好地控制其内容。近年来，Cloudfla推出了对抗AI机器人的工具，其中包括一个允许网站向AI机器人收取抓取费用的市场，称为“按抓取付费”。

该公司表示，后者现在也正在演变为“按使用付费”，这将允许出版商在人工智能公司的内容创造价值时向其收费，而不仅仅是在内容被获取时收费。

The change could also help conserve publishers’ bandwidth and compute resources for AI model providers, as Cloudflare’s data suggested that over 50% of crawl traffic from AI crawlers is spent re-fetching unchanged pages.

为了将其付诸实践，Cloudflare最初与Ceramic.ai和You.com这两个合作伙伴合作。当出版商选择加入时，当他们的内容出现在Ceramic的AI搜索结果中或当You.com访问他们的优质内容时，他们就会获得报酬。

Cloudflare表示，其他人工智能公司可以据自己的工作方式定制该模型。