III-A7 robots.txt設計判断（許可のリスクとリターン）
クローラーを許可・拒否する判断は、露出とリスクのトレードオフ
このレッスンの狙い：自社の目的に応じてrobots.txtの許可・拒否方針を判断できる
最終更新: 2026-07-23
この記事の要点
- 自社の目的に応じてrobots.txtの許可・拒否方針を判断できる
- 判断の出発点は「3類型のどれを止めるか」
- 許可することのリターン——個別レッスンの数字を「判断」に変える
ここまでで、主要なAIクローラーが何者かは整理できました。次に直面するのが「じゃあ、うちのサイトはどれを許可してどれを拒否すればいいのか」という実際の意思決定です。許可の見返りと拒否のリスクを数字で比べながら、自社の目的に合ったrobots.txtの方針を組み立てていきましょう。
判断の出発点は「3類型のどれを止めるか」
robots.txtの設計は、闇雲に全部拒否・全部許可を選ぶものではありません。III-A1〜III-A6で見てきたとおり、AIクローラーは学習用・検索索引用・エージェント型の3類型に分かれ、同じ会社のボットでもUser-Agentごとに個別制御できます。「学習には使われたくないが、検索の回答には載りたい」という組み合わせ(GPTBotを拒否しOAI-SearchBotを許可する等)が、2026年時点で実務上の標準的なパターンになっています。
許可することのリターン——個別レッスンの数字を「判断」に変える
III-A2〜III-A5では、ボットごとにクロール:リファラル比率(クローラーが何ページ取得するごとに人間の訪問が1件返ってくるかを示す数値)を見てきました。Perplexityが最良水準、GPTBotやClaudeBotもそれに次ぐ一方、DuckDuckGoのようなほぼ等価交換の存在もあり、検索・索引用クローラーのほうが学習用クローラーより見返りが大きいという傾向がすでに見えています。このレッスンで大事なのは個々の数字を覚え直すことではなく、「見返りが大きいものから優先的に許可する」という判断の順番を自分の中に持つことです。同じ会社でも学習用と検索・索引用でボットが分かれている以上、この優先順位づけは会社単位ではなくボット単位で行う必要があります。
拒否することのリスク——報道メディア研究が示す数字
一方、拒否にもコストがあります。Rutgers Business SchoolとWharton Schoolの研究(2026年4月改訂版、SSRN掲載)によると、robots.txtでLLMクローラーをブロックした報道メディアは、ブロック後6週間以内に週次サイトトラフィックの約7%を失ったと報告されています(出典: Rutgers×Wharton論文, 2026年4月)。Google-Extendedのブロック率がGoogleとの関係悪化への懸念から低く抑えられている実態はIII-A5で見たとおりですが、学習用クローラー全般についても、拒否には目に見える経済的コストが伴いうるということです。「拒否すれば安全」でも「拒否すれば損」でもなく、どちらにもコストがあるというのがこの分野の実態です。
事業タイプ別の判断軸
| 事業タイプ | 検索・索引用クローラー | 学習用クローラー |
|---|---|---|
| BtoBサービス・商品紹介サイト | 優先的に許可(引用機会を増やす) | 許可寄りで検討 |
| 独自調査・データが資産のメディア | 許可を検討 | 慎重に拒否を検討(資産保護) |
| 一般的なコーポレートサイト | 許可寄りで検討 | 事業判断に応じて選択 |
この表はあくまで出発点です。自社が「引用されて認知を広げたい」のか「独自コンテンツを守りたい」のかによって、同じクローラーでも判断は変わります。
実装は「個別のUser-Agent」で書く
判断が決まったら、包括的なDisallow: /ではなく、User-Agentごとに個別のルールを書きます。会社をまたいで「学習系は拒否・検索系は許可」を統一方針にすると、次のように書けます。
User-agent: GPTBot
Disallow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Bytespider
Disallow: /
User-agent: PerplexityBot
Allow: /このように1つのファイルの中で、複数社のボットをまたいで「学習は拒否・検索は許可」という一貫した方針を両立できます。
実践ステップ
- 自社サイトが「引用機会重視」か「コンテンツ資産保護重視」かを整理する
- クロール:リファラル比率のデータを踏まえ、検索・索引用クローラーの許可を優先的に検討する
- 学習用クローラーは、資産保護のメリットとトラフィック減少リスクを天秤にかけて判断する
- Google-Extendedは検索順位やAI Overviewsに影響しない前提を踏まえたうえで方針を決める
- 決定した方針をUser-Agentごとにrobots.txtへ明記する(包括的なDisallowは避ける)
- 半年後を目安に、方針の見直し予定を入れておく
まとめ
robots.txtの設計は、「全部拒否」でも「全部許可」でもなく、クローラーの種類と自社の事業目的を掛け合わせて決める意思決定です。検索・索引用クローラーは相対的に見返りが大きく、学習用クローラーの拒否にはトラフィック減少という現実のコストが伴うことがRutgers×Wharton研究などで示されています。要するに、感情的な「学習されたくない」だけで判断せず、データに基づいて許可・拒否を組み合わせる設計が求められます。robots.txtで意思表示をしたら、次はIII-A8でCDN側からその実効性を補強する番です。
このレッスンはテキストとスライドで学べます。スライドは上のビューアからご覧ください。
確認テスト
選択肢をクリックすると、その場で正誤と解説が表示されます。
Q1. Rutgers×Wharton研究(2026年4月改訂版)によれば、robots.txtでLLMクローラーをブロックした報道メディアは、ブロック後6週間以内に週次サイトトラフィックの約7%を失ったと報告されている。
本文中に同研究の結果としてその数値が明記されています。
Q2. このレッスンが提示するrobots.txt設計の判断軸として正しいものはどれか。
robots.txtの設計は、クローラーの種類と自社の事業目的を掛け合わせて決める意思決定だとされています。
Q3. robots.txtの実装方針として推奨されているのはどれか。
包括的なDisallow: /ではなく、User-Agentごとに個別のルールを書くことが推奨されています。
このレッスンのFAQ
Q. 学習用クローラーを拒否すれば必ず得をしますか？
一概には言えません。Rutgers×Wharton研究では、拒否した報道メディアがトラフィックの約7%を失ったと報告されており、拒否にもコストが伴います。
Q. 検索・索引用クローラーと学習用クローラーは同じ優先度で判断すべきですか？
いいえ。クロール:リファラル比率のデータでは検索・索引用クローラーのほうが見返りが大きい傾向があり、優先度をボット単位で分けて考える必要があります。
Q. 自社が「引用機会重視」か「資産保護重視」かで判断は変わりますか？
変わります。同じクローラーでも、事業タイプや目的によって許可・拒否の判断は異なります。