谷歌、微软、OpenAI 和 Anthropic 于 2026 年 10 月 30 日宣布，将共同遵守 robots.txt 文件中的同一个信号，让网站表达拒绝其内容被用于 AI 训练（即训练生成式人工智能模型）的偏好。该方案来自互联网工程任务组（IETF，负责互联网协议标准化的机构）的一份技术草案，使用名为 __usage_ai-training 的策略标记。
标记如何运作
实际操作中，网站所有者在 robots.txt 中写入普通的规则组，只是在 User-Agent 行使用共享标记，而不是某个爬虫的名称：
User-Agent: __usage_ai-training Disallow: /
只需一条规则，网站即可向所有参与企业表达拒绝内容被用于 AI 训练的偏好，无需为每个爬虫重复写规则。也可以用 Allow 行设置例外，例如开放媒体资料包。该标记不是爬虫：没有任何爬虫会把它作为身份标识发送。
是草案，而非标准
该信号背后的文件是 Internet-Draft《Machine-Readable Training Preference Signal》（draft-kelley-aipref-training-preference-signal-00），由 Anthropic 的 Kevin Kelley 撰写，于 2026 年 10 月 30 日发布。这是一份个人草案，并非 IETF 批准的标准；如不修订或采纳，将于 2027 年 5 月 3 日过期。
各家时间表不同
各家的时间表不同。微软将从 2027 年 2 月 1 日起，在 Bing 重新抓取页面时开始遵守新的偏好设置；谷歌的目标是 2027 年初；OpenAI 称将在“未来几个月内”实施；Anthropic 据草案作者称已经开始实施支持。目前四家均未在生产环境中读取该标记。
该信号不能做什么
还存在重要限制。该信号仅适用于 AI 训练——即使用内容来修改生成式 AI 模型的学习参数。它不会阻止抓取，不会改变网站在搜索中的收录与排名，也不会阻止内容被用于在 AI 服务中回答问题。在谷歌，如果网站使用该标记选择退出而未提及 Google-Extended，将被视为已屏蔽 Google-Extended，这也会影响 Gemini 应用中的 grounding（ grounded 引用）。微软则另外设立了 grounding 控制，并从 2027 年 3 月 1 日起不再把旧的 NoArchive 和 NoCache 标签视为偏好设置。
该信号也没有追溯效力：已经收集或训练的内容不会被撤销。而且它是自愿的——仅对加入的企业有效。例如，Meta 迄今尚未宣布对该标记作出承诺。2026 年 11 月的一项独立调查（CrawlCheck，覆盖排名前 10,000 的域名）显示，拥有 robots.txt 的网站中已有 21.8% 屏蔽了至少一个 AI 爬虫——这一背景有助于理解统一信号为何对出版方重要。
对出版方和网站所有者而言，这一进展很实际：一条规则即可同时覆盖四家实验室，而不是每家企业各写一条。但由于目前尚未投入生产，该信号今天更多是为 2027 年做的准备，而非立即生效的屏蔽。
来源：Google Search Central 博客——John Mueller《Supporting a shared AI training control for websites》，2026 年 10 月 30 日；IETF——Internet-Draft《Machine-Readable Training Preference Signal》；PPC Land——《Google, Microsoft, OpenAI and Anthropic back one AI training opt-out》。
图片来源：2026 年 11 月 CrawlCheck 普查图表《Which AI crawlers robots.txt shuts out》，来自 Wikimedia Commons，CC BY 4.0 许可。
透明度声明：本文在人工智能的协助下完成，并对照 X 上的公开帖文与互联网来源进行了交叉核对，发布前经过审核。请查阅原始来源以确认细节。
Muse
