AI検索とエージェントの時代、企業サイトの命題は「AIに正しく引用され、使われること」に移った。homula もこの1年、GEO（生成エンジン最適化）を「エンティティを整え、AIの回答に引用される設計」として説明してきた。だが2026年9月15日、その前提の一段下——Webの配管そのものが動いた。全ウェブ流入の約2割を自社インフラ経由で扱う Cloudflare が、AI向けクローラーに対する既定の振る舞いを「通す」から「止める」へ反転させたのだ（Cloudflare（2025年発表時点で約20%と明言））。
意味するところは大きい。これまで「露出＝いかに読まれ、引用されるか」という一方向の最適化で語れた GEO に、「そもそも誰に・どの用途で読ませるか」という許可と課金の層が加わった。しかも既定が反転したため、何もしない企業は知らぬ間に「AIの回答から締め出される」側にも「エージェントに外部Webを触らせられない」側にも回りうる。本稿では今回の変更を一次情報ベースで整理し、日本企業がいま何を判断すべきかを、被引用（露出）と外部アクセス統制の両面から示す。
何が変わったのか：9月15日、既定が反転した
Cloudflare は2025年7月、AI向けクローラーを許可なく通さない「既定ブロック」を業界で初めて導入したインフラ事業者だ。このとき、新規ドメインでは広告を表示するページで「Training（学習）」と「Agent（エージェント）」用途を既定でブロックし、「Search（検索）」は通す、という切り分けが敷かれた。同時に、クロールに課金する Pay Per Crawl の仕組みも提示された（Cloudflare）。
今回（2026年7月1日に予告し、9月15日に発効）はその延長線上にある。要点を一次情報から整理すると次のとおりだ（TechCrunch、Cloudflare）。
| 項目 | 9月15日からの内容 |
|---|---|
| 対象 | 検索・エージェント・学習を兼ねる「混在（mixed-use）クローラー」 |
| 既定の動作 | 広告を掲載するページで、混在クローラーを既定でブロック（サイト側が設定変更しない限り） |
| 適用範囲 | 新規顧客・既存顧客の新規サイト・既存の無料プラン全顧客に既定が及ぶ |
| 例外 | 既存の有料顧客はダッシュボードで既定を上書きし、特定クローラーを通せる |
| 課金モデル | Pay Per Crawl を Pay Per Use に置き換え |
Pay Per Use の考え方は、従来の「取得（フェッチ）ごとに払う」から「実際に価値を生んだときに払う」への転換だ。具体的には、コンテンツが AI検索の結果に現れたときや、特定の問いに答えるために使われたときに publisher へ対価が回る設計で、初期パートナーとして Ceramic.ai と You.com が挙げられている（TechCrunch）。「クロールされた回数」ではなく「回答に使われた回数」が対価の基準になる、という点が実務上の勘所である。
「既定が反転した」ことが本質だ。明示的に設定しなければ、混在クローラーは広告ページで止まる。 何もしない企業は、自社の意図と無関係に「AIの回答経路から外れる」既定へ流し込まれうる。露出したいのに黙っていると不利、という非対称が生まれた。
なぜ「混在クローラー」が狙い撃ちなのか
今回のターゲットが「混在クローラー」である点に、設計思想が表れている。検索インデックス用のボットと、AIの回答生成や学習用のボットを同じ User-Agent に束ねてしまえば、サイト側は「検索は通したいが学習は断りたい」を分離できない。用途を束ねること自体が、事実上の"抜け道"として機能してきた。今回の既定ブロックは、この束ね方に「用途を分けないなら、広告ページでは既定で止める」と圧力をかけるものだ。
裏返せば、サイト側にも「用途ごとに意思表示する」手段が要る。それが2025年9月に Cloudflare が持ち込んだ Content Signals Policy——robots.txt に人間可読の方針文と機械可読の一行を足し、用途別の希望を宣言する仕組みだ（Cloudflare（Business Wire））。宣言できる用途は次の3つに分かれる。
- search：検索インデックスへの取り込みを許すか
- ai-input：AIがリアルタイムに回答を作る際の入力（AI Overviews や RAG など）に使うことを許すか
- ai-train：モデルの学習・ファインチューニングに使うことを許すか
robots.txt には Content-Signal: search=yes, ai-train=no のように書く。yes は許可、no は不許可、記載なしは「意思表示なし」を意味する。
重要な限界がある。Content Signals はあくまで「希望の表明」であり、技術的な強制ではない。 無視して取得するクローラーは依然として存在しうる、と Cloudflare 自身が明言している。だからこそ、宣言（robots.txt）と、インフラ側の既定ブロック（今回の変更）と、事業者ごとの合意（Pay Per Use）が三層で噛み合って初めて効く。宣言だけでは守れない、という前提で設計する必要がある。
企業にとっての二つの意味
この変更は、企業を「コンテンツを読ませる側」と「エージェントに外部を読ませる側」の両面から揺らす。
第一に、被引用・露出の側（GEOの再定義）。 これまで GEO は「エンティティを整え、引用されやすくする」コンテンツ最適化が主戦場だった。今回の反転で、そこにアクセスポリシー設計が加わる。とくに危ういのが ai-input の扱いだ。学習利用（ai-train）は断りたいが、AI検索の回答に引用されたい——多くの企業の本音はここにある。にもかかわらず用途を分けずに一律ブロックへ流されると、「AIの回答に出たいのに出られない（wall yourself out）」事態を招く。GEO の第一歩は、コンテンツを磨く前に「search と ai-input は通し、ai-train は選ぶ」といった用途別の意思表示を、robots.txt と CDN 設定の両方で正しく敷くことになった。
第二に、エージェント運用の側（外部アクセス統制）。 企業が自社のエージェントに外部Webを参照させる場面——市場調査、価格収集、一次情報の要約——でも、無償で自由に取得できた時代が細り始める。相手先サイトのアクセス制御や、用途申告、場合によっては対価が前提になる。エージェントが「どのサイトに・どの用途で・何を取得したか」を記録し、外部送信を統べるガバナンス側の受け皿がないと、単に「取れない」か「知らぬ間に規約を踏む」かの二択に陥る。homula はこの論点を、外部Webを安全に触らせる設計や、エージェント向けブラウザ実行基盤として整理してきたが、今回の既定反転はその優先度を一段引き上げる。
homulaの観点：露出と統制を、同じ設計の下に
homula は「露出だけを追う設計」も「統制だけに閉じる設計」も勝ち筋ではないと考える。今回の変更に対して企業が取るべき順序は、次の三つだ。
1. 用途別のアクセスポリシーを、いま宣言する。 robots.txt の Content Signals（search / ai-input / ai-train）と、Cloudflare など CDN 側の既定設定を突き合わせ、「AI検索には出たいが学習は選ぶ」という意思を明示する。既定が反転した以上、沈黙は中立ではなく不利に働く。ここは GEO の前提整備として最優先で棚卸しする。
2. エンティティ整備と地続きで考える。 用途を通す宣言をしたうえで、AIに正しく引用されるためのエンティティ設計（会社・製品・実績の一貫した記述、構造化データ）を重ねる。「通す」と「選ばれる」は別問題であり、両輪でしか露出は伸びない。WebMCP のようにサイト自体がエージェントに操作を手渡す層とも、同じ露出戦略の下で整合させる。
3. エージェントの外部アクセスに統制を敷く。 自社エージェントが外部を参照するなら、「どのドメインに・どの用途で・何を取得し、何を外へ出すか」を承認・監査の内側に置く。homula の統合基盤 Agens は MCP を軸に外部接続を束ね、Agens Control が承認フロー・DLP・監査ログ・RBAC を提供する。露出のために開ける扉と、取得のために開ける扉を、一つの統制思想の下で設計することが、規約リスクとデータ漏れの両方を抑える条件になる。
会社情報の確定事実として補足すると、homula は n8n / Dify / LangGraph などを用い、戦略策定から PoC（最短5日）・実装・運用・内製化までを一気通貫で支援する。まず何を通し何を止めるかを短期間で棚卸ししたい場合は、業務棚卸しとプロトタイプ構築を3〜5日で完結する AIエージェント・ブートキャンプが入口になる。
まとめ
9月15日、全ウェブ流入の約2割を扱う事業者の既定が「通す」から「止める」へ反転した。単なるボット対策の話ではない。エージェントとAI検索が使う「Webの入口」に、許可と課金の層が制度として敷かれ始めたという転換点だ。GEO はコンテンツ最適化から、「用途別の許可設計 × エンティティ整備」の二層へと広がり、エージェント運用には「外部アクセスの統制」が新たな必須要件として加わった。
ここで差がつくのは、露出と統制を別々の部署の別々の課題として扱う企業ではなく、どの用途に扉を開き、どの取得を承認ゲートの内側に残すかを一枚の設計図で描ける企業だ。既定が反転したいま、沈黙はもう中立ではない。用途別の意思表示を先に敷き、統制の型をその上に載せておくことが、次の一年の被引用と業務効率の両方を左右する。
自社サイトのどの用途に扉を開き、自社エージェントの外部アクセスにどこまで統制を敷くべきか。露出（GEO）と統制をセットで設計する第一歩を、homula がご一緒します。