PR-175 分析したいデータが表記ゆれ・欠損だらけで、そのままAIに渡しても正しい分析にならない——分析前にデータをクレンジングする方法
こんな悩みはありませんか?
複数人・複数ツールでAIO関連のデータを集めていると、「ChatGPT」「chatgpt」「Chat-GPT」のような表記ゆれや、記入し忘れによる空欄が混ざり込みます。この状態のままAIに集計させると、本来は同じプラットフォームのはずのデータが別々に集計され、数字がズレてしまいます。
この記事でできるようになること
表記ゆれ・欠損のある生データを、分析に使える統一フォーマットへクレンジングする手順とプロンプトを手に入れられるようになります。
使うプロンプト
入力に必要な素材
- 表記ゆれ・欠損のある生データ(CSV等)。列例: 日付, プラットフォーム名(表記ゆれあり。例: ChatGPT / chatgpt / Chat-GPT), 数値, 備考
あなたはAIOデータのクレンジング担当です。クレンジングは正解を1つに決める作業ではなく、分析目的に応じて統一基準を人間が決める作業だという前提のもと、以下の生データについて、加工前の内容をそのまま扱ってください。
# 事前確認
生データが空欄の場合はクレンジングを進めず、貼り付けを依頼してください。列名が「日付・プラットフォーム名・数値・備考」と異なる場合は、対応関係を確認してから進めてください。
# 生データ
【日付・プラットフォーム名・数値・備考の列を持つCSVを貼り付け(表記ゆれ・空欄をそのまま含めた状態で)】
# クレンジングしてほしいこと
1. 各列(特にプラットフォーム名の列)について、同一の意味を持つと思われる表記ゆれの候補をグループ化案として提示する。意味が異なる可能性がある場合(例: 「Gemini」と「Google AI Overviews」)は、安易に同一視せず別項目のまま提示する
2. 欠損値(空欄)のセルを一覧化し、それぞれ「削除すべきか」「補完すべきか」「空欄のまま残すべきか」の判断案を提示する(ただし数値の推測補完はせず、欠損は欠損のまま扱う案を基本とする)
3. クレンジング後の統一表記案を反映した表を出力する
4. 変更した箇所の一覧(変更前→変更後)を必ず併記する
5. 生データにない値を新たに作り出さないでください
# 検算のために必ず出力してほしいこと
- クレンジング前の行数
- クレンジング後の行数
- 両者が一致するかの確認結果(行が消えていないかの確認)
# 出力形式
- 表記ゆれグループ化案一覧
- 欠損値一覧と判断案
- クレンジング後の表(変更前→変更後の対応つき)
- 検算結果(行数の一致確認)実行手順
- 生データをそのままプロンプトの【】へ貼り付ける(事前に加工しない)
- 実行し、表記ゆれ候補・欠損一覧・変更前後の対応表を確認する
- AIが提案した統一表記が、意味の違う項目まで一緒くたにグループ化していないか(例: 「Gemini」と「Google AI Overviews」を誤って同一視していないか)を必ず人間の目でチェックする
- クレンジング後のデータの行数が、元データの行数と一致するか確認する(行が意図せず消えていないか)
- 欠損値をAIが勝手に数値で埋めていないかを確認する
結果の読み解き方
- クレンジングは「正解」を1つに決める作業ではなく、分析目的に応じて統一基準を人間が決める作業です。AIの提案はあくまで叩き台として扱ってください。
- 欠損値を平均値等で機械的に埋めると、分析結果が実態より滑らかに見えてしまうことがあります。欠損の理由(未計測なのか、実際にゼロだったのか)を確認してから対応を決めてください。
- 表記ゆれの統一基準は、一度決めたら以降のデータ収集にも適用するルールとして共有しておくと、次回以降のクレンジングの手間が減ります。
注意点
- クレンジング対象のデータに顧客名・メールアドレス等の個人情報が含まれている場合は、クレンジング作業に入る前に必ず匿名化・マスキングしてください。生データをそのままAIに渡す前の最初の一手として扱ってください。
- AIに欠損値の数値を「それらしく」補完させないでください。分析の前提が崩れ、誤った結論を導くリスクがあります。
- クレンジング後の行数・件数が元データと変わっていないか、必ず突合してください。行が意図せず結合・削除されることがあります。
関連レッスン・関連パターン
- レッスン V-C3 探索レポートを活用する(表記ゆれの検証手順)
- 関連パターン: PR-177 生データから分析ダッシュボードの土台をAIに作らせる方法・PR-167 サーバーログからAIクローラーのアクセスを解析する方法
確認テスト
選択肢をクリックすると、その場で正誤と解説が表示されます。
Q1. 表記ゆれのグループ化案をAIが提示しても、意味の違う項目まで一緒くたにグループ化していないか必ず人間の目でチェックする必要があるとされている。
本文の通り、「Gemini」と「Google AI Overviews」を誤って同一視していないか等、AIの統一表記案を必ず人間の目でチェックする必要があります。
Q2. クレンジング後に必ず確認すべき検算項目はどれか
クレンジング後の行数が元データの行数と一致するか、行が意図せず消えていないかを確認する必要があります。
Q3. 欠損値を平均値等で機械的に埋めるとどんな問題が起きるとされているか
欠損値を平均値等で機械的に埋めると、分析結果が実態より滑らかに見えてしまうことがあるとされています。
よくある質問
Q. 表記ゆれのあるデータをそのままAIに渡すとどんな問題が起きますか?
本来は同じプラットフォームのはずのデータが別々に集計され、数字がズレてしまいます。
Q. AIが提案する表記ゆれのグループ化案はそのまま採用してよいですか?
いいえ。「Gemini」と「Google AI Overviews」を誤って同一視していないかなど、意味の違う項目まで一緒くたにグループ化していないかを必ず人間の目でチェックする必要があります。
Q. 欠損値はAIに数値で補完させてよいですか?
いいえ。欠損値を「それらしく」補完させると分析の前提が崩れ、誤った結論を導くリスクがあるため、欠損は欠損のまま扱う案を基本とします。