OpenAI、Google、Microsoft、AnthropicのAI大手4社が10月30日、ウェブサイトのコンテンツをAI学習に利用されたくない場合に使える共通のオプトアウト信号を支持すると相次いで発表した。サイト運営者は「robots.txt」に1つの設定を書くだけで、4社のクローラーすべてに学習利用の拒否を伝えられるようになる。仕様自体はまだ提案段階だが、出版者とAI業界の長年の対立に一区切りをつける動きとして注目されている（米The Vergeなどの報道）。
何が発表されたのか
発表の中心は、共通のrobots.txtポリシートークン「__usage_ai-training」を4社が尊重するという内容だ。サイト運営者はrobots.txtに「User-Agent: __usage_ai-training」と「Disallow: /」を書くことで、4社すべてへのAI学習利用の拒否を一括で表明できる。これまでは企業ごとに異なる設定（GoogleのGoogle-Extendedなど）を管理する必要があったが、その負担が軽減される。特定のページだけ許可するなど、Allow行で除外設定もできる。
背景にある技術文書
仕様はIETF（インターネット技術特別調査委員会）に提出されたInternet-Draft「Machine-Readable Training Preference Signal」で、AnthropicのKevin Kelley氏が10月30日付で執筆したものだ。IETFのAIPREF作業部会に提出された個別ドラフトであり、IETFが正式な標準として承認したものではない。有効期限は2027年5月3日で、4社が一斉に運用を始めたわけでもない。提案段階である点には注意が必要だ。
各社の対応スケジュールはバラバラ
- Anthropic：すでに実装を開始したと発表
- OpenAI：今後数か月での実装を目指す
- Microsoft：2027年2月1日からの適用を予定。さらにAIが回答を作るときに参照する「グラウンディング」用の独立した設定も用意する
- Google：2027年の対応を予定。Google Search CentralのJohn Mueller氏によると、サイトが共通トークンを使って拒否し、Google-Extendedを明示しなかった場合、GoogleはそれをGoogle-Extended拒否と解釈するという
知っておきたい限界
この仕組みが対象とするのは「学習」への利用のみだ。クロールを止めるものではなく、検索結果への掲載資格にも影響しない。また、すでに収集・学習されたデータをさかのぼって取り除くものではない。仕様は提案段階で強制力はなく、参加するかどうかは各社の判断に委ねられる。
日本の出版者にとっての意味
Webサイトのコンテンツを持つ企業やメディアにとっては、自分たちの意思表示がしやすくなる一歩だ。ただし既存の個別設定（Google-Extendedなど）は当面残るため、すぐに書き換える必要はない。国産AIの台頭も進む中、日本のメディアや出版者もこの動きを注視しておきたい。
関連記事： 国産AI「PLaMo 3.1 Prime」提供開始、自律調査「Deep Research」を搭載 ／ 村田製作所、AI向け電子部品に5年で1兆円投資
