《时代》杂志被发现针对人类读者和 AI 爬虫提供完全不同的访问版本,引发数字出版界广泛关注。开发者 Vincent Schmalbach 通过更改 User-Agent 测试发现,常规浏览器访问时网站返回约 303KB 的标准 HTML 页面,而当访问身份切换为 ClaudeBot 或 PerplexityBot 后,服务器返回的仅是约 13KB 的 Markdown 格式内容,响应头中的 content-type 被明确设为 text/markdown。这一设计意味着《时代》正在为 AI 系统量身定制易于解析的文本内容,而非让爬虫自行从复杂网页中提取信息。
更引人注目的是,这些面向 AI 爬虫的 Markdown 页面中还整合了定向广告,由 AI 广告技术公司 Mobian 提供。为了让生成式 AI 更容易读取广告主信息,页面内嵌了问答格式的赞助内容,这些广告明确标注为赞助性质,但在人类读者访问常规页面时完全不会出现。换言之,当用户通过 ChatGPT 或 Perplexity 等 AI 工具搜索《时代》杂志内容时,AI 可能会在回答中无意间"念出"品牌广告,而用户对此毫不知情。
出版商争夺 AI 时代话语权的新打法
这一策略揭示了出版商在 AI 时代 monetization 的全新思路。传统模式下,出版商通过展示广告和订阅获取收入,但 AI 爬虫抓取内容后直接返回摘要,用户不再访问原网页,流量和广告收入随之流失。通过为 AI 爬虫提供特供版页面并嵌入广告,《时代》试图在 AI 搜索结果中保留商业变现能力,将品牌信息直接植入 AI 生成的回答中。
这种做法也引发了关于透明度和伦理边界的讨论。AI 搜索引擎是否应在回答中标注内容来源包含赞助信息,用户是否有权知道 AI 回答中哪些部分受广告影响,目前尚无明确规范。随着越来越多出版商效仿这一模式,AI 搜索生态中的广告透明度问题将成为行业无法回避的议题。《时代》的这一尝试,可能只是出版商与 AI 平台之间博弈的序幕。