AIクローラーをめぐるコンテンツ企業の選択は、コンテンツ販売、アクセス遮断、情報開放の3方向に分かれている。AIクローラーがWebページの収集リクエストを約3万8,000回送る間に、元のサイトへ返す訪問は1回。インターネットインフラ企業のCloudflare（クラウドフレア）が昨年8月に公開したAnthropic（アンソロピック）の収集対比訪問比率だ。OpenAI（オープンAI）は1,091回につき1回だった。コンテンツを公開しておけば検索エンジンが訪問者を連れてきてくれるという過去20年間の取引が、AIの前では成立しないことを意味する。この不均衡を前に、コンテンツを持つ企業の対応は大きく3方向に分かれている。遮断するか、対価を受け取って売るか、顧客接点として無料で開放するかだ。

何が起きているのか

AI関連クローラー（Webページを自動で収集していくプログラム）は、モデル学習用のデータを収集したり、検索インデックスを事前に作成したり、利用者の質問に答えるためにページをリアルタイムで読み込んだりする。用途は異なるが、共通点がある。利用者がAIの回答だけを見て元記事を探さなければ、コンテンツを作った側にトラフィックも広告収益も残らないという点だ。サーバー費用はコンテンツ企業が負担し、果実はAI企業が持っていくという不満が積み重なり、遮断が広がった。

アクセス拒否の意思を示す最も一般的な手段はrobots.txtファイルだ。ただしこのファイルは強制的にアクセスを阻止する装置ではなく、クローラーの遵守を前提とした規約であるため、一部のボットは従わないこともある。Cloudflareのようにインフラの次元でボットをフィルタリングするサービスが注目された背景だ。Cloudflareは2025年7月から、自社に新たに接続されるドメインでAI学習用クローラーを基本設定で遮断し、運営者がアクセス方針を設定できるようにした。それに先立って提供したワンクリック遮断機能は、すでに100万か所以上の顧客が選択していた状態だった。

遮断の次の段階は決済の実験だ。Cloudflareはクローリング1回あたり課金する「Pay Per Crawl」を昨年発表していたが、今年7月1日には収集回数よりも実際の利用結果に応じて報酬を支払う「Pay Per Use,」方向の実験を開始すると発表した。現在はCeramic AI（セラミックAI）など一部のAI事業者と、検索結果への露出やコンテンツの単発利用を基準に発行者へ報酬を支払う方式を試験している段階で、正式な拡大時期は決まっていない。来月9月15日から適用される新たなデフォルト設定も予告した。広告を掲載したページでは検索用クローラーを許可する一方で学習・エージェント用クローラーは基本設定で遮断し、検索と学習など複数の用途を一つで兼ねるいわゆる混合型クローラーには最も制限的な設定を適用する。広告ページの新デフォルト設定はCloudflareに新規登録される全てのドメインに適用される。混合型クローラーの規則は、新設定または既存の「AIボット遮断」機能を通じて学習用クローラーを遮断していた顧客にも適用され、望まない顧客は9月15日より前の設定でこの適用を除外できる。

直接契約で対価を受け取る陣営も形成された。ニューズ・コープとOpenAIのコンテンツ契約は、ウォール・ストリート・ジャーナルが5年間で2億5,000万ドル以上と推算し、Reddit（レディット）とGoogle（グーグル）の契約も年間約6,000万ドルと報じられた。学術出版社のWiley（ワイリー）は個別の契約額の代わりに、2026会計年度のAI関連売り上げが約4,900万ドルだと明らかにした。同じ企業が相手によって異なるカードを出すこともある。ニューズ・コープはOpenAIにコンテンツを販売する一方で、傘下のダウ・ジョーンズとニューヨーク・ポストを通じてAI検索企業Perplexity（パープレキシティ）を相手に訴訟を起こした。ただ、ある民間の追跡集計によれば、今年6月までに公開または報道されたAIコンテンツ契約は91件で、このうちニュース・ジャーナリズム契約が48件だが、金額まで明らかになった事例は数えるほどしかない。公開された市場だけを見れば、金額と条件が確認された取引は少数に留まる。非公開契約の規模を把握しにくい中、交渉力による格差が拡大する可能性も指摘されている。

韓国内ではポータルが岐路に立つ

韓国内ではニュース流通の関門であるポータルが論争の真ん中にある。記者協会報が4月14日に報じたところによると、調査当時NAVERニュースは一部の検索ボットのみを許可し大多数の学習用ボットを遮断していたのに対し、Daum（ダウム）は言論社のニュースを提供するドメインにAIクローラー遮断措置を取っていなかったことが分かった。この問題を提起したメディアスタートアップBLUEDOT（ブルードット）AIのメディア「THE CORE（ザ・コア）」は、実際の収集テストを通じてDaumがニュースコンテンツを学習用ボットに露出させていると結論づけた。言論社が自社サイトで学習用ボットを遮断していても、ポータルが別途アクセスを制限しなければ、ポータルにインリンク方式で掲載された記事にはクローラーがアクセスできるという指摘だ。ただDaumの運営会社AXZは当時、記者協会報に対しDaumニュースを通じた流出事例は発見されていないとし、安全なサービス運営のために関連措置を継続的に補完していくと明らかにした。言論社が著作権を保有し、ポータルが流通させるコンテンツについて、クローラーのアクセスを開くか閉じるかの権限と責任がポータルにどこまであるのかが新たな争点として浮上したのだ。

制度をめぐる論争も一度曲がり角を回った。国家AI（人工知能）戦略委員会が昨年12月16日に公開したAI行動計画案に、AIモデルが法的な不確実性なく著作物を活用できるよう関連法の改正を勧告する内容が盛り込まれると、韓国新聞協会は事前許可のない「先使用・後補償」が著作権者の拒否権を剥奪するという意見書を提出して反発した。委員会は1月15日、新聞・出版・音楽の各団体と懇談会を開き、ニュース、書籍、音楽、映像のように著作権者と取引市場が明確なコンテンツは先使用・後補償の対象ではなく、正常な著作権取引が原則だと明らかにした。2月に議決された行動計画の原文にも、取引市場があれば取引の活性化を支援し、なければ学習拒否権の行使を支援し、拒否表示がない場合にのみ先使用・後補償の原則を適用するという条件が反映された。ただ公正利用の範囲と実際の補償・拒否権の体系をめぐる論争は続いている。

開く側は別にある

皆が門を閉じているわけではない。AIに引用されること自体が営業になる企業もある。言論社は読者の訪問が広告と購読につながる事業であるため、AIが記事を消化してしまうと残るものがないが、データや商品を裏で販売する企業にとっては、AIの回答に自社の情報が登場する瞬間が潜在顧客と出会う入口になる。

韓国内でも事例が相次いでいる。データテック企業のBigValue（ビッグバリュー）は5日、事業者・商圏など約515万ページ分のデータをAIが読み取れる形式で開放したと発表した。CJ ONSTYLE（CJオンスタイル）は60万点の商品情報をAI向けに最適化した結果、ChatGPT・Gemini経由の流入が4ヶ月間で4倍以上増えたと今年5月に発表した。同月、LFモールとロッテホームショッピングもそれぞれChatGPT専用アプリをリリースした。

個別企業の自社集計を超えた市場データも出てきた。EC（電子商取引）プラットフォームのCafe24（カフェ24）が先月28日に公表した入店ECサイトの流入分析によると、今年第2四半期に生成AIを経由したECサイト訪問は約85万件で、1年前より72%増加し、この訪問の購買転換率は0.50%から0.85%に上昇した。このように自社の情報をAIが読み取りやすい形式に構造化するGEO（生成AIエンジン最適化。AIの回答に引用されるようコンテンツを最適化する作業）に、データ・コマース企業が取り組む理由は明確だ。これらの企業にとって、クローラーのトラフィックはサーバー費用ではなく、広告費のかからない流通チャネルとして計算される。

岐路の基準は収益を上げる地点だ

コンテンツ自体が商品であれば遮断するか売却することになり、コンテンツが他の商品への入口であれば開放することになる。もちろん実際の対応は訴訟、共同交渉、検索のみ許可して学習は遮断する折衷案まで、さらに細かく分かれる。残る問題は、この選択がAIの回答品質に跳ね返ってくるという点だ。

ザールランド大学の研究チームが今年のACM Webカンファレンスで発表した分析によると、約4,000サイトのうち、信頼度の高いニュースサイトは60%が少なくとも1つのAIクローラーを遮断していたのに対し、誤情報サイトは9.1%しか遮断していなかった。特に検証済みのメディアが学習用ボットだけでなく検索・回答生成用クローラーまで遮断する場合、AIはアクセスが許可されたサイトにより大きく依存して回答を組み立てることになる。個別企業としては合理的な遮断が積み重なることで、AIがアクセスできる情報の構成が歪み、長期的には回答の平均品質を下げかねないという逆説だ。利用結果に応じて決済する実験が定着するまで、この岐路での並び立ちは続く見通しだ。

<画像＝AIクローラをめぐるコンテンツ企業の選択は、コンテンツ販売、アクセスブロック、情報開放に分かれている。>

原文：https://platum.kr/archives/292012