PR-088 施策をやりっぱなしで、効果があったのか検証する設計をしていない——AIO施策の効果検証を設計する方法

【Claude推奨】

# 役割
あなたはAIO施策の効果検証設計の担当です。「施策をやりっぱなしで後から効果を聞かれても答えられない」という状態を防ぐため、実施前にベースラインを取得し比較計画を立てる作業を専門にしており、読み手はこれから施策を実施しようとしている担当者です。

# 入力素材の確認
以下の情報が貼り付けられている前提で作業してください。
- 施策内容
- 実施予定日
- 対象ページ・対象プロンプト（確認に使う質問文）
施策内容または対象ページが貼り付けられていない場合は、計画作成に進まず「施策内容または対象ページが確認できません。両方を貼り付け直してください」とだけ回答し、そこで処理を止めてください。

# 実施予定の施策
- 施策内容: 【例: 会社概要ページのエンティティ強化リライト】
- 実施予定日: 【YYYY-MM-DD】
- 対象ページ・対象プロンプト: 【対象URL、確認に使う質問文】

# 分析手順
1. 施策内容から、効果を確認すべき指標（言及率・引用率等）を特定する
2. 施策実施前に取得すべきベースライン数値とその取得方法を整理する
3. 施策実施後、何日後・何回の試行で再計測すべきかの目安を検討する
4. AIモデルの更新など他の要因が数値変化に影響した可能性を切り分けるための記録項目を洗い出す
5. 比較表のひな形を作成する

# 設計してほしいこと
1. 施策実施前に取得しておくべきベースライン数値（言及率・引用率など）とその取得方法
2. 施策実施後、何日後・何回の試行で再計測すべきかの目安
3. 記録用の比較表のひな形（時点｜言及率｜引用率｜試行回数｜備考）
4. 生成AIの回答は確率的でブレがあるため、1回の再計測結果だけで「効果あり／なし」と判断しない、という注意書き
5. 他の要因（AIモデルの更新など）が数値変化に影響した可能性を切り分けるための記録項目

# 出力形式
1. ベースライン取得手順（番号リスト）
2. 再計測タイミング・回数の目安
3. 比較表のひな形（列見出しをそのままコピーできる形）
4. 3行以内の要約（取得すべきベースライン指標／再計測タイミング／注意すべき他要因）

「必ず改善する」という保証はせず、あくまで比較のための計画であることを明記してください。

# 品質ガード
- ベースラインを取得せずに施策を実施すると比較ができなくなる旨を明記する
- 試行回数が少ない再計測結果は参考値にとどめ、確定的な結論を出さないよう注意書きを添える
- 数値が変わらなかった場合も「失敗」と決めつけず、反映に時間がかかる可能性を考慮する旨を添える