网站终于有机会用一条规则，告诉整个 AI 行业：这里的内容不允许拿去训练模型。

OpenAI、谷歌、微软和 Anthropic 宣布支持一项新的通用标准，允许网站通过 robots.txt 一次性声明是否允许 AI 企业抓取内容用于模型训练，不必再针对每家公司单独设置。

这项标准由 Anthropic 技术负责人 Kevin Kelley 提交给 IETF，直接集成在网站原有的 robots.txt 文件中。

过去，网站面对的是一堆彼此独立的 AI 爬虫规则。想拒绝某家公司的训练抓取，就得单独配置；换一家企业，又要重新声明。AI 公司越多，网站维护起来就越麻烦。

新标准想解决的就是这个问题：让内容发布方拥有统一的机器可读信号，AI 企业也可以通过同一套规则识别网站的训练授权偏好。

目前各家的落地进度不同：

* Anthropic 已率先采纳。
* OpenAI 计划未来几个月内落实。
* 谷歌和微软预计明年支持。
* Meta 表示支持建立通用信号，但尚未公布具体实施时间。

这项标准并不意味着网站从此能彻底阻止所有 AI 抓取。它的实际效果仍取决于爬虫是否遵守规则。

但方向很明确：AI 公司需要互联网内容，内容发布方也应该有权表达授权意愿。过去每家平台各设一套规则，未来有机会变成行业共同遵守的一套标准。