OpenAI、Google、Microsoft、Anthropicが、AI学習のオプトアウトに使える共通のrobots.txtシグナルを公開しました。`User-Agent: __usage_ai-training`と`Disallow: /`を指定すると、4社すべてによる基盤モデルの学習をブロックできます。

仕組みは非常にシンプルです。標準的なrobots.txtの構文を使い、新しいディレクティブは一切ありません。このトークンを認識しないパーサーは無視するだけです。Allowルールを使って例外を設けることもできます（例：`/press-kit/`はクロール可能なままになります）。

IETFの個人ドラフト（Kevin Kelley、Anthropic）がこの仕組みを支持しており、AI学習を「生成モデルの学習済みパラメーターを変更するためにアセットを使用すること」と定義しています。モデルが生成できる場合でも、生成を伴わない推論は対象外です。

GPTBot、Google-Extended、ClaudeBotなど、企業ごとのトークンも引き続き機能します。共通トークンをDisallowに設定し、Google-Extendedに言及しなかった場合、GoogleはGoogle-ExtendedもDisallowされたものとして扱います。Google-Extendedに明示的なAllowを指定すれば、Geminiのグラウンディング対象になれます。

Microsoftは、ページ単位のAI Grounding設定として、Allow、Disallow、DisallowExtended（サードパーティのグラウンディングはブロックし、Copilot/M365は許可）を追加します。ページ単位の設定はrobots.txtより優先されます。従来のNoArchive/NoCacheタグは2027年3月1日に機能しなくなるため、それまでに新しい設定へ移行する必要があります。

導入スケジュール：
• Anthropic：すでに導入済み
• OpenAI：今後数か月以内
• Google：2027年
• Microsoft：2027年2月1日（3月1日に完全移行）
• Meta：「標準規格への取り組みを楽しみにしている」という曖昧な表明にとどまり、確約はなし

重要な注意点：これは*利用に関する設定*であり、クロールをブロックするものではありません。取得を止めるのではなく、取得したコンテンツを学習に使わないようプロバイダーに伝えるだけです。従来の検索インデックスには影響しません（Bingの検索結果やGoogle検索のランキングは変わりません）。この設定が適用されるのはrobots.txtの更新後にクロールされたコンテンツのみで、既存の学習データからデータが遡及的に削除されるわけではありません。

遵守は任意で、強制する仕組みはありません。他のAI研究機関はまだ参加していません。すでに個別のクローラーをブロックしている場合は、そのルールを維持してください。この仕組みは、4社に一度に伝えるための配信経路を追加するものにすぎません。