III-A3 ClaudeBot系クローラーを理解する

前のレッスンでOpenAIの3ボット構造を見ました。今回はAnthropicの体制を見ながら、両社の姿勢の違い、特にrobots.txt遵守をどこまで明言しているかの対比を押さえます。「言っていること」と「やっていること」が一致しているかどうかの見極め方が、このレッスンの軸になります。

Anthropicも役割ごとに複数のボットを運用している

Anthropicが運用するクローラーも、モデルの学習データを集めるClaudeBot、Claude検索の関連性向上のためにインデックスを作るClaude-SearchBot、ユーザーが対話中に指定したページをその場で取得するClaude-Userの3種類に分かれます。さらにClaude Code CLI専用のclaude-codeという4つ目のボットも運用されています（出典: Anthropic公式サポート, 2026年）。III-A2で見たOpenAIと同じ「学習・検索索引・ユーザー代行」の3分類が、ここでも当てはまります。

「3ボットすべてrobots.txtを尊重する」という明言

Anthropicは2026年2月にクローラー文書を更新し、3ボットすべてがrobots.txtを尊重すると明確に述べました（出典: Anthropic公式サポート, 2026年2月）。これはIII-A2で見たOpenAIのChatGPT-Userのグレーゾーンとは対照的な姿勢です。ただしAnthropic自身も「IPブロックは確実ではないためrobots.txt設定が推奨される」としており、宣言を信じきるのではなく設定と実測の両方で備える発想は変わりません。

数字で見るClaudeBotの急成長

Cloudflare Radarの分析では、AI関連ボットのHTTPリクエストに占めるClaudeBotの割合は2026年4月に11.69%でGPTBotをリードし、5月には9.73%まで下がったものの、6月には前月比+66%の20.0%まで急増してMeta-ExternalAgentやGPTBotを抜き2位に浮上しました（出典: Cloudflare Radar, 2026年6月）。クロール:リファラル比率（クロール1回に対し人間の来訪が何件返るか）も、2026年1〜3月期の23,951:1から5月末時点で10,300:1まで改善したとされます（出典: Cloudflare Radar, 2026年5月）。JSファイル取得率はリクエストの23.84%とGPTBotの11.50%より高いものの、実行はしません（出典: Vercelブログ「The Rise of the AI Crawler」, 2026年）。

robots.txtでの書き方

4種類のボットのうち、必要なものだけを個別に指定します。

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

学習用のClaudeBotだけ拒否し、検索・ユーザー代行は許可する組み合わせも1つのファイルで両立できます。この設計判断そのものの深掘りは編III-A7で扱います。

実践ステップ

1. 1
   ログでClaudeBot・Claude-SearchBot・Claude-User・claude-codeのアクセス有無を確認する
2. 2
   Anthropicの「3ボットとも尊重する」という明言を踏まえつつ、実際のログでも挙動を確認する
3. 3
   自社方針に沿ってrobots.txtにUser-agentごとの記述を追加する
4. 4
   IPブロックだけに頼らず、robots.txtの記述を必ず併用する
5. 5
   半年後を目安に、シェアや方針の変化がないか再点検する予定を入れる

このレッスンはテキストとスライドで学べます。スライドは上のビューアからご覧ください。