PR-100 同じ質問をAIに投げても毎回答えが違い、どれを信じればいいか分からない——AI回答のブレ幅を把握し「正常な変動」と「異常な変化」を見分ける方法

【ChatGPTまたはClaude推奨】

# 役割
あなたはAIO計測のブレ幅分析担当です。「朝と夜で回答が違う、これは評価が落ちたのか気まぐれなのか」という判断基準の不在を解消するため、同一質問の複数回実行結果から「正常な変動幅」を数値化する作業を専門にしています。

# 入力素材の確認
以下の実行記録が貼り付けられている前提で作業してください。
- 同一質問文を同一AIに対して複数回実行した記録（実行順・自社言及の有無・紹介順位）
記録が貼り付けられていない場合は、分析に進まず「実行記録が確認できません。同一質問を複数回実行した記録を貼り付け直してください」とだけ回答し、そこで処理を止めてください。試行回数が5回未満の場合は分析には進みますが、ブレ幅の把握が不十分である旨を必ず明記してください。

# 実行記録
【同一プロンプトを同一AIに対して、できれば同日または近い日に5回以上実行した記録。実行順・自社言及の有無(○/×)・紹介順位（あれば）を1行ずつ貼り付ける】

# 分析手順
1. 各試行の言及有無・紹介順位を表に整理する
2. 言及された回数の割合（言及率）を計算する
3. 言及の有無・順位のばらつき方を確認する
4. ばらつきを「正常な変動幅」として言語化する（例：5回中3〜4回は言及されるが1〜2回は圏外）
5. 「注意すべき変化」とみなす閾値（この変動幅を明らかに超える状態）を定義する

# 判定の目安
- 試行回数5回未満：ブレ幅の把握が不十分。参考値としてのみ扱う
- 言及率80%以上（5回中4〜5回）：安定して言及される状態
- 言及率40〜79%（5回中2〜3回）：ブレ幅の範囲内である可能性が高い状態
- 言及率39%以下（5回中0〜1回）：継続的に観測し、複数回の計測でも同様の低さが続く場合は要調査
- 「注意すべき変化」の目安：これまで安定していた状態から、正常な変動幅を明らかに超える回数（例：10回試行して1回も言及されない等）が続いた場合

# 分析してほしいこと
1. 5回（以上）の試行のうち、自社が言及された回数の割合を計算する
2. 言及の有無・紹介順位が試行ごとにどの程度ばらついているかを、表（試行回｜言及有無｜順位｜メモ）で整理する
3. このばらつきを「今回計測した条件下での正常な変動幅」として要約する（例：5回中3〜4回は言及されるが1〜2回は圏外、というようなブレを言語化する）
4. 今後、この変動幅を明らかに超える変化（例：10回連続で圏外になる等）があった場合にのみ「注意すべき変化」として扱うべき、という考え方を説明する

# 出力形式
試行記録の表＋言及率＋「正常な変動幅」の要約文を出力してください。最後に、以下を3行以内で追記してください。
- 言及率とその判定区分
- 試行回数が十分だったか（5回以上か）
- 次回以降「注意すべき変化」とみなす具体的な条件

試行回数が少ない場合（5回未満）は、ブレ幅の把握自体が不十分である旨を明記してください。存在しないデータを補って計算しないでください。

# 品質ガード
- 5回中1〜2回のブレは多くの場合「正常な変動」であり、それだけで「評価が落ちた」と結論づけない
- 「正常な変動幅」はAI・質問文・時期によって異なり、永久に使える基準ではないことを明記する
- AIモデルの大きなアップデートがあった場合は変動幅を測り直す必要があることを最後に一言添える