3

3. テクニカル:AIに読まれるサイトを作る

AIクローラー制御・構造化データ・llms.txt・サイト構造の技術対応

AIクローラーの制御方法、構造化データやllms.txtの実装、サイト構造・レンダリング・速度への対応など、AIに正しく読まれるための技術面を固める編。

38レッスン目安 380分 順番推奨(自由に受講可)
0/38

この編の学習フロー

III-AAIクローラー制御III-B構造化データ実装III-Cllms.txt・メ…III-Dサイト構造・レンダリ…

上から推奨する受講順です。前のセクションから順に進めるとスムーズです。

AIクローラー制御

III-A1
AIクローラー全種類図鑑
主要AIクローラーの種類を一覧で説明できる
テキストテキスト+スライドで学ぶ
III-A2
GPTBot・OAI-SearchBotを理解する
GPTBotとOAI-SearchBotの違いを踏まえて制御方針を決められる
スライドテキスト+スライドで学ぶ
III-A3
ClaudeBot系クローラーを理解する
ClaudeBot系クローラーの扱いを判断できる
スライドテキスト+スライドで学ぶ
III-A4
PerplexityBotを理解する
PerplexityBotの扱いを判断できる
スライドテキスト+スライドで学ぶ
III-A5
Google-Extendedを理解する
Google-Extendedの役割と設定判断を説明できる
スライドテキスト+スライドで学ぶ
III-A6
その他のクローラー(CCBot・Bytespider等)を押さえる
主要以外のクローラーについても制御判断ができる
スライドテキスト+スライドで学ぶ
III-A7
robots.txt設計判断(許可のリスクとリターン)
自社の目的に応じてrobots.txtの許可・拒否方針を判断できる
演習テキスト+スライドで学ぶ
III-A8
CDN側制御(Cloudflare等)を理解する
CDN側でのAIクローラー制御の選択肢を説明できる
スライドテキスト+スライドで学ぶ
III-A9
クロールログの確認方法
サーバーログからAIクローラーのアクセス状況を確認できる
演習テキスト+スライドで学ぶ
III-A10
制御ポリシーテンプレを作る
自社のAIクローラー制御ポリシーをテンプレとして作成できる
演習テキスト+スライドで学ぶ

理解度チェック(3問)

このAIクローラー制御で学んだ内容を、3問のクイズで振り返ります。全問正解すると、このセクションの理解度チェックが「合格」として記録されます(何度でも再挑戦できます)。

Q1. robots.txtで名前が挙がる主要なAIクローラーの組み合わせとして適切なものはどれか。

Q2. robots.txtでのAIクローラー許可・拒否の判断について、この編が伝える考え方はどれか。

Q3. CDN側でのAIクローラー制御(III-A8)がrobots.txtと役割上どう違うか、最も適切な理解はどれか。

よくある質問

Q. AIクローラーは1社1種類だけですか?

いいえ、AIクローラーは学習データ収集・検索索引用データ収集・ユーザー代行取得という3つの役割ごとに、同じ会社でも複数のボットとして運用されています。この3分類はrobots.txtでも独立して制御できます。

Q. GPTBotを拒否したらChatGPT検索に自社サイトは載らなくなりますか?

いいえ、GPTBot(学習用)とOAI-SearchBot(検索索引用)は独立してrobots.txtで制御できるため、GPTBotだけを拒否してOAI-SearchBotは許可する、という組み合わせが可能です。これにより学習には使われたくないが検索では紹介されたいという要望を実現できます。

Q. PerplexityBotは公式ドキュメント通りに動きますか?

必ずしも保証されていません。2025年に技術者のRobb Knight氏が、Perplexityがrobots.txtを無視しUser-Agentを偽装してアクセスしているという実測報告を公開し話題になりました。公式の宣言だけを鵜呑みにせず、実際のログで検証する姿勢が必要です。

Q. GPTBot・ClaudeBot・PerplexityBot以外のクローラーも対策すべきですか?

はい、対策すべきです。robots.txtはUser-Agentの完全一致で動くため、CCBotやBytespiderなど書き漏れたクローラーはそのまま素通りしてしまいます。主要4社以外も含めて、来ているボットを全部把握する姿勢が必要です。

Q. 自社サイトに実際どのAIクローラーが来ているか確認する方法は?

自社サーバーのアクセスログ、またはCDN(Cloudflare等)のAI Audit機能で確認できます。User-Agent文字列の一致・アクセス頻度・404エラー率・IP照合という4つの観点で定期的にチェックすることが推奨されています。

構造化データ実装

理解度チェック(3問)

この構造化データ実装で学んだ内容を、3問のクイズで振り返ります。全問正解すると、このセクションの理解度チェックが「合格」として記録されます(何度でも再挑戦できます)。

Q1. JSON-LDの位置づけとして正しいものはどれか。

Q2. 構造化データを実装することの効果について、この編が示す注意点はどれか。

Q3. 構造化データの実装後に行うべき工程として編III-Bが挙げているものはどれか。

よくある質問

Q. 構造化データとは何ですか?

構造化データとは、ページの内容をあらかじめ決められた語彙とフォーマット(schema.org)でマークアップし、検索エンジンやAIが機械的に理解できるようにしたデータのことです。実装形式にはJSON-LD・Microdata・RDFaがありますが、2026年時点ではJSON-LDが主流です。

Q. JSON-LDとは何ですか?

JSON-LDとは、HTML本文とは別に<script>タグとして独立して書ける構造化データの実装形式です。CMSへの実装のしやすさや、@graph・@idで複数の情報を関連づけやすいことから、2026年時点で主流の記法になっています。

Q. Article・BlogPostingで押さえるべきプロパティは何ですか?

headline(見出し)・datePublished(公開日)・dateModified(更新日)・author(著者)・publisher(発行者)が基本プロパティです。headlineはおよそ110文字程度までに収めるのが推奨されています(出典: jsonld.com)。

Q. 構造化データを入れれば引用されやすくなりますか?

既に引用を獲得しているページへの追加実装では、意味のある正の効果は確認されていません。Ahrefsが1,885ページを対象に行った検証では、Google AI Overviewsで引用回数がむしろ4.6%減少し、AI Mode・ChatGPTでの増加もランダムな変動と区別できませんでした(出典: Ahrefs)。

Q. BreadcrumbList(パンくずリスト)はどう実装すべきですか?

画面に表示しているパンくずナビゲーションと同じ内容・同じ順序で書くことが基本です。表示中のUIと構造化データの内容が食い違うと、機械にとって矛盾した情報源になってしまいます。

llms.txt・メタデータ標準

理解度チェック(3問)

このllms.txt・メタデータ標準で学んだ内容を、3問のクイズで振り返ります。全問正解すると、このセクションの理解度チェックが「合格」として記録されます(何度でも再挑戦できます)。

Q1. llms.txtの目的として最も適切な説明はどれか。

Q2. llms.txtとllms-full.txtの違いとして講座が扱う観点はどれか。

Q3. llms.txtの導入について、この編が推奨する姿勢はどれか。

よくある質問

Q. llms.txtとは何ですか?

llms.txtとは、サイトのルート直下(/llms.txt)に置くMarkdown形式のファイルで、サイトの構造・要点・重要なリンクをAIに向けて簡潔に伝えることを目的としています。2024年9月にJeremy Howard氏が提唱しましたが、2026年7月時点では公式な業界標準ではなく提案段階にとどまっています(出典: llmstxt.org)。

Q. llms.txtとllms-full.txtは何が違うのですか?

llms.txtがリンク集と短い説明による「入り口の地図」であるのに対し、llms-full.txtは主要ページの本文をまるごと1ファイルにまとめた「全文版」です。文章量の多いドキュメントサイトでは両方を用意するケースがありますが、際限なく肥大化しやすいため価値の高いページへの絞り込みが必要です(出典: llms-txt.io)。

Q. llms.txtは今すぐ導入すべきですか?

実装コストが数時間〜半日程度で低く、他に優先すべきAIO施策が一段落しているなら、保険的な位置づけで着手する選択肢はあります。ただし汎用的なAI検索での引用増加を裏づけるデータは今のところなく、低コストな保険という温度感で扱うのが誠実な位置づけです。

Q. sitemap.xmlで重要な項目は何ですか?

priorityやchangefreqではなく、lastmod(最終更新日時)の正確さが重要です。Googleはpriorityやchangefreqをほぼ無視していると説明しており、実質的に機能しているのはlastmodだけとされています(出典: Nightwatch)。

Q. llms.txtは実際にAIに読まれているのですか?

多くの場合、まだ読まれていません。Ahrefsが137,210ドメインを分析した調査では、公開済みのllms.txtファイルのうち97%が2026年5月中に一件もリクエストを受けていませんでした(出典: Ahrefs, 2026年6月)。

サイト構造・レンダリング・速度

III-D1
AIボットとJavaScriptレンダリング問題
JSレンダリング問題が自社サイトにあるかを判断できる
スライドテキスト+スライドで学ぶ
III-D2
SSR・SSGで対応する
SSR・SSGによる対応の選択肢を技術担当に説明できる
スライドテキスト+スライドで学ぶ
III-D3
サイト階層とURL設計を整理する
自社サイトのURL設計を見直す観点を持てる
スライドテキスト+スライドで学ぶ
III-D4
内部リンク設計を整理する
AIOを意識した内部リンク設計ができる
スライドテキスト+スライドで学ぶ
III-D5
ページ速度とAIクロールの関係
ページ速度とAIクロールの関係を踏まえて優先度を判断できる
スライドテキスト+スライドで学ぶ
III-D6
モバイル対応を確認する
モバイル対応状況をAIO観点で確認できる
演習テキスト+スライドで学ぶ
III-D7
アクセシビリティとAIOの関係
アクセシビリティ対応がAIOにも効く理由を説明できる
スライドテキスト+スライドで学ぶ
III-D8
重複・カニバリ対策をする
重複・カニバリを見つけて整理する手順を実行できる
演習テキスト+スライドで学ぶ
III-D9
技術監査の手順を身につける
自社サイトのテクニカルAIO監査を実行できる
演習テキスト+スライドで学ぶ
III-D10
テクニカルAIO総まとめ
テクニカルAIOで対応すべき全体像を自分の言葉で要約できる
テキストテキスト+スライドで学ぶ

理解度チェック(3問)

このサイト構造・レンダリング・速度で学んだ内容を、3問のクイズで振り返ります。全問正解すると、このセクションの理解度チェックが「合格」として記録されます(何度でも再挑戦できます)。

Q1. 「AIボットとJavaScriptレンダリング問題」が指す課題として適切なものはどれか。

Q2. SSR・SSGがこの文脈で登場する理由はどれか。

Q3. ページ速度とAIクロールの関係について、この編で扱う考え方はどれか。

よくある質問

Q. AIクローラーはJavaScriptを実行してページを読みますか?

いいえ、GPTBot・ClaudeBot・PerplexityBotなどのAIクローラーは、サーバーから最初に返ってくる初期HTMLしか読まず、JavaScriptを実行してDOMを組み立てる処理は行いません。料金表やFAQをReactやVue等でクライアントサイドレンダリングしていると、AIの目には空白のページとして扱われる可能性があります。

Q. URLの階層設計で意識すべきことは何ですか?

トップページから重要ページまでの階層をできるだけ浅くし、カテゴリ構造を意味のある単位でそろえることです。意味の薄いID階層で深く潜っているより、内容が読み取れるパスで浅く配置されているほうが、AIクローラーにとって迷いにくい構造になります。

Q. ページ速度を上げればAI検索で有利になりますか?

「速ければ勝てる」というほど単純ではありません。Search Engine Landの107,352ページを対象にした分析では、LCPとの相関が-0.12〜-0.18、CLSとの相関が-0.05〜-0.09といずれも弱く、Core Web Vitalsは差別化要因というより壊滅的な失敗を避ける最低ラインとして捉えるのが実態に近いとされています。

Q. 似たようなページが複数あるとAIの引用にどう影響しますか?

同じテーマの似た内容のページが複数あると、AIがどちらを参照すべきか判断がぶれ、どちらのページも決定打として引用されにくくなる可能性があります。正本を1つ決め、canonicalタグや301リダイレクトで整理することが対策の基本です。

Q. テクニカルAIOで最も優先すべきことは何ですか?

AIがそもそもページを読める状態になっているかという土台の整備です。どれだけ質の高い記事を書いても、AIクローラーがそのページに到達できなければAI検索の回答には一切登場しないため、コンテンツの工夫より前にこの土台が優先される場面が多くあります。

AIO CAMP × WEBMARKS

AIエージェント開発・AI検索最適化(AIO)の実装支援

AIエージェント開発・AI検索最適化(AIO)・LLMの内製化まで、学んだ内容を自社実装につなげたい方にWEBMARKSが伴走します。

無料相談してみる