CloudflareとOpenAIは2026年7月、CloudflareのネットワークシグナルがChatGPTユーザーによる新しいコンテンツの発見に役立つかを検証する研究パイロットを開始しました。ChainCatcherによると、両社は初期結果を良好と説明しています。このパイロットにより、これまで知られていなかったページがOpenAIの検索インデックスに追加され、ChatGPTが引用できる情報源が増えました。

このテストでは、Cloudflareのネットワークの約1%を対象とする参加者群を用い、OpenAIが新たに数億件のウェブページを発見してインデックスに登録するのを支援しました。OpenAIはページの関連性と有用性を独自に評価して順位付けし、ChatGPT Searchは元のコンテンツや発行元へのリンクを掲載します。両社は、自動化されたトラフィックによって、存在しないページが重要であるかのように見える場合があることを確認しました。一部のサイトは任意のURLをホームページにリダイレクトし、ほかのサイトは重複コンテンツを示しています。また、正規のサイトに仕込まれた偽のログインページなど、有害な可能性のあるページを特定するシグナルも検証しています。ドメイン全体ではなく、個々のページにフラグを立てる方法を優先しています。

これらのシグナルは、存在しないページやリダイレクトされたページを除外し、変更されていないページを再確認すべきかどうかを判断するのにも役立ちます。ただし、ページへのアクセス許可を与えるものではありません。また、この調査では、モデルのトレーニングにページのコンテンツを使用するのではなく、検索や発見のためにウェブのメタデータを利用しています。サイト所有者は、CloudflareのAI Crawl Controlを使って、AIシステムが自サイトにどのようにアクセスするかを把握し、管理できます。次の段階では、ページの選定方法を改善し、変更を検出するための、より高速で信頼性の高いシグナルをテストします。