一行 robots.txt 同时拒绝多家 AI 训练：Anthropic 在 IETF 提交共享令牌 __usage_ai-training，谷歌、微软定于 2027 年支持

一个令牌，不再逐家点名

想让自己的网站不被拿去训练 AI，站长现在得逐家写规则：屏蔽 GPTBot、写 Google-Extended、再查其他公司的爬虫名，名单还在不断变长。10 月 30 日，Anthropic 标准技术负责人 Kevin Kelley 向 IETF 提交了一份个人互联网草案，给出一个跨厂商的写法：

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

这三行的意思是：除了 /press-kit/ 目录，全站都不希望被用于 AI 训练。草案把 __usage_ai-training 叫作「策略令牌」，它只是借用 User-Agent 行的位置，不需要出现在任何爬虫的请求头里；路径匹配、最长匹配优先等规则全部沿用 RFC 9309，不新增任何指令和语法，老的解析器会像对待一个不认识的爬虫那样直接忽略它。

几个容易误读的地方

• 通配组不算数。User-Agent: * 不匹配这个令牌，所以现有 robots.txt 里的通配规则不会被解读成训练偏好；文件里没有这个令牌，就等于没有表达偏好。
• 管的是用途，不是抓取。它和各家爬虫自己的抓取规则相互独立；草案只建议，只为训练而抓取的爬虫可以不去取明确不让训练的内容。
• 「训练」有边界。定义直接取自 IETF AIPREF 工作组的词汇草案：用内容去修改生成式 AI 模型的参数；只做分类、排序、打分的模型不算。
• 它不是正式标准。这是一份 -00 版个人草案，2027 年 5 月 3 日到期，在 IETF 内尚无正式地位；它表达的是偏好，而不是访问控制。

各家的时间表

Kelley 在 AIPREF 工作组邮件列表中写道，Anthropic 已经开始实现对这份草案的支持，它是对现有爬虫控制的补充而不是替代。谷歌同日在 Search Central 博客宣布，计划 2027 年与其他 AI 厂商一起支持：网站用这个令牌退出训练、又没有单独写 Google-Extended 时，谷歌会按「禁止 Google-Extended」处理；专门放行 Google-Extended 的网站仍可在 Gemini 应用的检索回答中出现并获得点击。微软在 Bing 博客宣布 2027 年 2 月 1 日起在抓取时遵守，并另加一个页面级的 AI Grounding 偏好，用 <meta name="Bingbot" content="ai-grounding:disallow"> 这类标签决定内容能否被用来生成 Bing、Copilot 的回答，这两项偏好都不影响网页在 Bing 搜索结果中的收录资格，原有的 NoArchive / NoCache 在 2027 年 3 月 1 日后不再被当作训练和 grounding 偏好。据 The Verge 报道，OpenAI 表示将在「未来几个月」实现；OpenAI 官方说明页面需人机验证，本站未能直接核对原文。

对站长来说，现在就加这一组规则成本很低，不认识它的解析器会直接跳过；但在各家正式执行之前，要真正挡住训练，仍需保留针对各家爬虫名的现有规则。