III-D3 サイト階層とURL設計を整理する

AIクローラーはJavaScriptを実行しないだけでなく、404エラーや複雑なサイト構造にも人間以上に足を取られやすいという特徴があります。裏を返せば、階層とURLの設計を整えるだけで、クローラーの限られた巡回時間を重要ページへ振り向けられるということでもあります。ここでは、AIにもユーザーにも迷いにくいサイト階層とURL設計の原則を押さえます。

AIクローラーは404にどれだけ時間を奪われているか

Vercelの調査によると、ChatGPT関連クローラーのリクエストの34.82%、Claude関連クローラーの34.16%が404エラーに費やされていた一方、Googlebotは8.22%にとどまりました(出典: Vercelブログ「The Rise of the AI Crawler」, 2026年)。この差は、AIクローラーが古いリンク・重複URL・削除済みページを繰り返し叩いていることを示唆しています。サイト構造やURL設計が整理されていないほど、AIクローラーの限られた巡回リソースが無駄なアクセスに消費され、本来読んでほしい重要ページへの巡回が後回しになる可能性がある、ということです。

階層を「浅く・意味のある単位で」設計する

URL設計の基本原則は、トップページから重要ページまでの階層をできるだけ浅くすることと、カテゴリ構造を意味のある単位でそろえることです。例えば、サービス紹介ページが/service/detail/page/view/12345のように意味の薄いID階層で深く潜っているより、/services/ai-marketing/のように内容が読み取れるパスで浅く配置されているほうが、AIクローラーにとってもユーザーにとっても迷いにくい構造になります。

悪い例: example.com/p?id=12345&cat=3&sub=7
良い例: example.com/services/ai-marketing/

移転・削除ページのリダイレクト設計

サイトリニューアルやページ削除の際、旧URLを放置すると404エラーが積み上がり、前述のクロール効率の問題を悪化させます。恒久的に移転したページには301リダイレクト(恒久的な転送であることを示すステータスコード)を設定し、完全に不要になったページは、サイト内の全ページの所在をクローラーに伝えるXMLサイトマップからも除外するという基本を徹底するだけで、AIクローラーが無駄打ちする比率を下げられる可能性があります。sitemapそのものの整備方法は編III-Cで詳しく扱うので、ここではまず「放置しない」という姿勢を持っておいてください。

URL表記のゆらぎもクロール予算を消耗させる

意外と見落とされがちなのが、同じページなのに複数の見た目のURLが存在してしまう状態です。末尾スラッシュの有無(/service/と/service)、wwwの有無、大文字小文字の違い、?utm_source=等の計測用パラメータ付きURLは、人間には「同じページ」に見えてもクローラーにとっては技術的に別々のURLとして扱われることがあります。これは前述の404問題と根が同じで、表記ゆれが多いほどクローラーの巡回リソースが同じコンテンツの重複取得に浪費されやすくなります。対策の基本は、正しい代表URLをクローラーに伝えるcanonicalタグ(重複ページの中から検索エンジン・AIクローラーに見てほしい代表URLを指定するタグ)の設置と、社内でのURL表記ルールの統一です。

実践ステップ

1. 1
   自社サイトのURL一覧を洗い出し、階層が3〜4段以上深くなっているページがないか確認する
2. 2
   意味の薄いID・パラメータだけのURL(?id=等)になっているページを洗い出す
3. 3
   サーバーログまたはSearch Consoleで、404エラーが発生しているURLを一覧化する
4. 4
   404になっているURLのうち、恒久的に移転したものには301リダイレクトを設定する
5. 5
   完全に不要なページはXMLサイトマップから除外し、内部リンクも張り直す
6. 6
   新規ページ作成時のURL命名ルール(意味のある英単語・浅い階層)を社内で言語化しておく

このレッスンはテキストとスライドで学べます。スライドは上のビューアからご覧ください。