Google、Anthropic、OpenAI、Microsoftは共同で新しいrobots.txt指令を遵守することを約束し、ウェブサイト出版者が生成AIの訓練に関して自らの好みを指定できるようにする。この提案はIETFのオープンスタンダード組織の議論の範囲内で、Anthropicの技術責任者Kevin Kelleyが作成したもので、単一の信号が複数のAI企業によって認識され、実行されることを意図している。
現在、ウェブサイトの所有者は異なるクローラーを個別に識別し、各プロバイダーに対して個別のルールを設定する必要があるが、新しい指令は複数のAI企業が共通の信号を認識することで、管理プロセスを簡素化する。ウェブサイト管理者はrobots.txtにAI訓練専用のユーザーエージェントを追加する必要があり、形式は特定の文字列に近いものであり、AI訓練に使用されるクローリング行為を阻止することができ、特定のページの一部、例えばプレスキットなどのデータに対してクローリングを許可することもできる。
GoogleとOpenAIは、この指令が既存のウェブページのインデックスに影響を与えず、ウェブサイトのコンテンツの印刷を完全に阻止することはなく、Googleの検索結果の表示を妨げることもないと説明している。例えば、Googleはこの新しいユーザーエージェントを「停止標識」として扱い、「Google-Extended」ユーザーエージェントで使用し、Geminiモデルの訓練に特化している。この変更は過去に収集されたコンテンツを撤回するものではなく、将来のクローリングを阻止するものである。
Anthropicは新しい指令のサポートを開始しており、Microsoftは2027年2月1日からのサポートを表明し、Googleも2027年初頭に参加し、OpenAIは今後数ヶ月以内にこの信号を実施すると述べている。現在発表されている内容では、これらの企業の約束は既存のデータの価値と将来のデータ訓練の適合性に配慮し、複数の関係者に統一された経路を提供し、各プロバイダーが独自に新たな手続きを行う煩雑さを避けるものである。
新指令の実施詳細と影響範囲、AI訓練のデータソースの構図を変える可能性
新しいrobots.txt指令は「自動クローリングと訓練データ」の間のバランスを解決するために設計されており、出版者がコンテンツの権利を尊重しつつ、革新を促進するための比較的透明な境界を確立することを目的としている。唯一注意が必要なのは、過去にクローリングされたページについては、新しい信号ではこれらの過去の行為を撤回することはできず、将来のクローリングが新しいルールに従って実行されるということである。この設計は、短期的には既に形成された訓練データベースが書き換えられることはないが、長期的には新しいコンテンツの選択的クローリングが向上することを意味している。
出版者にとって、この変更は制御性を高め、特にプレスキット、ブランドリソース、またはプロバイダー専用のコンテンツを含むページに対して有効である。実務的には、管理者は単一の信号を用いて複数のAI企業に指示を発信でき、各社に対して無効なルール設定を減少させると同時に、特定のコンテンツに対するクローリングの許可権を保持することができる。このバランスは、創作者の著作権のコントロールを保持しつつ、AI企業のデータソースに関する不確実性を軽減するのに役立つ。
技術的な側面では、この新しい信号は「専用ユーザーエージェント」としてrobots.txtに追加され、Google、OpenAI、Microsoftなどの主要プレーヤーが共同で遵守する。なお、このメカニズムは既存のウェブ検索に影響を与えず、ウェブサイトへのアクセス権を制限するものではないが、実際の実施にはウェブサイト運営者が自動化処理を行い、正しいページがAI訓練に使用可能またはブロックされるようにマークされることが必要である。各社の実施スケジュールが進むにつれて、全体的な構図はより統一されたデータソース管理戦略が現れる可能性がある。
同時に、特定のページに限定されたクローリングに関して、出版者は許可リストに例外を明記する機会が依然としてある。例えば、メディア資料パッケージの一部コンテンツを提供する場合などである。この設計の利点は、ウェブサイトのコンテンツが訓練データにおいて完全に見えなくなることはなく、むしろ精緻な制御を通じて、創作者がコア資産に対する発言権を保持できることである。全体として、この新しい規範はAI訓練データのソースをより透明にし、より予測可能なビジネスモデルの構築に寄与する可能性がある。
公式の動向を参照するには、OpenAI、Google、Anthropicなどの機関の発表やIETF提案文書を公開の場で確認でき、関連する議論も今後数ヶ月内に進展する可能性がある。ユーザーにとって、これらの変化は出版者とAI企業の相互作用に関する規範に偏っており、短期的には一般ユーザーのウェブサイトの日常使用体験に直接的な変化をもたらすことはないが、長期的にはより多くのウェブサイトがコンテンツのライセンスとデータ使用に関して明確な自己規範を確立することを促す可能性がある。