Patreon不再要求人工智能机器人不要抓取数据，而是开始阻止它们

创作者会员平台Patreon正在打击人工智能出于培训目的而抓取其内容的行为。周四，该公司表示正在与互联网基础设施提供商Cloudflare合作，直接阻止对人工智能机器人的访问，这些机器人旨在未经许可据创作者的作品训练其人工智能模型。

该公司表示，加强措施是必要的，因为自2023年首次采取措施阻止人工智能爬虫以来，人工智能抓取已经变得更加复杂。此外，Patreon的付费墙长期以来一直将许多创作者的内容锁定在爬虫无法访问的范围内。但最近，该公司推出了新的发现工具，例如重新设计的Home Feed及其类似推文的Quips，这可以向爬虫程序公开更多内容。

随着越来越多的在线出版商和内容创作者开始了解人工智能如何吸收他们的作品，以使他们的人工智能模型变得更加智能，这些变化随之而来。为了解决这个问题，Cloudflare现在提供了一些工具，允许网站发布者限制AI机器人，其中包括一个允许网站向AI机器人收取抓取费用的市场，称为“按抓取付费”。本月早些时候，它改变了政策，默认情况下，在任何托管广告的页面上都会阻止“混合用途”爬虫，即既对网站内容进行索引又对网站内容进行训练的爬虫。

Patreon表示，它正在扩展与Cloudflare的现有合作，以使用该公司的AI爬行控制技术来更新其AI政策和执行工具。这里的区别在于，Patreon现在主动阻止AI训练机器人，而不是简单地要求AI爬虫不要使用robots.txt文件抓取内容（这是向机器人提供如何使用其网站的说明的标准方法）。

Patreon的一篇博文解释说：“是否同意不应该取决于抓取者是否选择行为。”他提到了更严格的措施。

帖子指出，在测试这些功能时，单个人工智能训练爬虫每周访问Patreon的尝试从“数千次尝试减少到​​零”。这表明AI抓取工具忽略了Patreon的robots.txt文件，并且不顾Patreon的请求而抓取了该网站。

然而，该公司表示，它将允许机器人索引页面并组织可用于将用户发送回Patreon的信息。

Patreon产品负责人德鲁·罗尼 (Drew Rowny) 在声明中表示：“随着人工智能代理变得越来越强大和主流，创作者应该对人工智能公司如何使用他们的作品拥有有意义的发言权。” “在大多数互联网上，创作者必须接受人工智能对其作品的培训，才能吸引和扩大受众。Patreon有不同的愿景：创作者应该能够扩大受众并控制其作品的使用方式。”