計測・監視基礎
PR-102 担当者が変わるたびに計測のやり方が変わってしまう——定点観測の手順を誰でも再現できるマニュアル化する方法
こんな悩みはありませんか?
前任者が辞めて定点観測を引き継いだものの、どの質問文を使っていたのか、どのタイミングでログインしていたのかが人づてにしか分からず、結局自己流でやり方を変えてしまった——という悩みはよくあります。手順が担当者の頭の中にしかないと、引き継ぐたびに条件がズレていきます。
この記事でできるようになること
これまでバラバラに運用してきた定点観測の手順を、誰が引き継いでも同じ条件で再現できる1本のマニュアルにまとめられるようになります。
使うプロンプト
入力に必要な素材
- 現在の観測手順書(あれば)
- 実際に使っているプロンプト文・実行環境の条件
あなたは定点観測マニュアルの作成を担当する、社内ナレッジ化アドバイザーです。想定読者は、定点観測を初めて引き継ぐ新任担当者で、目的は「担当者の頭の中にしかない手順」を「誰が読んでも同じ条件で再現できる文書」に変換することです。
# 現状の観測手順(分かる範囲で貼り付け)
- 使用しているプロンプト文(実際に使っている質問文をそのまま貼り付ける): 【貼り付け、なければ「未整備」】
- 実行環境の条件(ログイン状態、シークレットウィンドウの使用有無等): 【貼り付け、なければ「未整備」】
- 実施頻度・実施日の目安: 【貼り付け】
- 記録先(スプレッドシート名・シート名等): 【貼り付け】
貼り付けの形式が箇条書きでも文章でも構いませんが、上記4項目のうちどれが「未整備」に該当するかを先に自分で仕分けてから貼り付けてください。仕分けが難しい場合は、その旨を一言添えても構いません。
# 進め方(手順)
1. 貼り付けられた4項目を「整備済み」と「未整備」に仕分ける
2. 「整備済み」の項目は、そのまま手順化できる粒度まで具体化する
3. 「未整備」の項目は、埋めずに「未整備」のまま手順書に残し、後で誰が埋めるべきかを明記する
4. 全体を通して、担当者が変わっても同じ結果になる粒度で記述されているかを見直す
# マニュアルに含めてほしいこと
1. 「いつ・何を・どの条件で・どこに記録するか」を、担当者が変わっても迷わないレベルまで具体化した手順(番号リスト)
2. 使用するプロンプト文をそのままコピペできる形で掲載する(貼り付けられていない場合は「別途プロンプト集から選定して記載する」と明記)
3. 記録時に迷いやすいポイント(自社言及の判定基準、センチメントの付け方等)のQ&A形式の補足
4. マニュアル自体の更新ルール(いつ・誰が見直すか)
5. 新任担当者が最初の1回を実行するときのチェックリスト
# 出力形式
- 見出し付きのマニュアル本文(新任担当者がそのまま読める言葉遣い・分量)
- 巻末に「最初の1回だけを行うためのチェックリスト」を番号付きで3〜6項目
- 「未整備」のまま残った項目は、本文中に太字または【未整備】の表記で目立たせる
# 品質基準
- 貼り付けられていない情報は「未整備」と明記し、AIが実際の運用を推測で埋めないでください
- 記録先・頻度などの事実情報は、貼り付けられた内容以外を創作しないでください
- 出力の最後に、未整備のまま残った項目の数を「要確認〇件」として一言で要約してください実行手順
- 現在実際に使っているプロンプト文・実行環境の条件・記録先を洗い出す(未整備な部分があれば正直に「未整備」とする)
- プロンプトの【】欄に貼り付けて実行する
- 出力されたマニュアル案の「未整備」箇所を、実際に運用ルールとして決めて埋める
- マニュアルを社内の共有ドキュメントとして保存し、定点観測スプレッドシートからリンクを貼っておく
- 新任担当者が実際にマニュアルだけを見て1回分の実行ができるか、テストしてもらう
結果の読み解き方
- テスト実行で新任担当者がつまずいた箇所は、マニュアルの説明が足りない箇所である可能性が高いです。その都度マニュアルに追記してください。
- 「未整備」と表示された項目が多い場合、それはこれまでの定点観測が属人化していた証拠でもあります。まずそこを埋めることが最優先の改善点です。
- マニュアル通りに実行しても、AIの回答自体は変動するため、結果が毎回同じになるとは限りません。マニュアルが揃えるのは「条件」であって「結果」ではないことを新任担当者にも伝えてください。
注意点
- マニュアルを作っただけで満足せず、実際に別の担当者に実行してもらって再現できるかを検証してください。
- プロンプト文や実行環境の条件が曖昧なままだと、担当者ごとに微妙に違う条件で計測してしまい、経年比較が成立しなくなります。
- マニュアルは一度作って終わりではありません。使用ツールやAIサービスの仕様変更に合わせて定期的に見直すルールをセットで決めておいてください。
関連レッスン・関連パターン
確認テスト
選択肢をクリックすると、その場で正誤と解説が表示されます。
Q1. マニュアル通りに実行すれば、AIの回答結果も毎回同じになる。
正しくは、マニュアルが揃えるのは「条件」であって「結果」ではなく、結果が毎回同じになるとは限らないと新任担当者にも伝えるべきとされている。
Q2. マニュアルに必ず含め、そのままコピペできる形で掲載すべきものはどれか。
使用しているプロンプト文をそのままコピペできる形で掲載するようマニュアルに含めるとされている。
Q3. 「未整備」と表示された項目が多い場合に示唆されることはどれか。
「未整備」が多い場合、これまでの定点観測が属人化していた証拠であり最優先の改善点だとされている。
よくある質問
Q. マニュアル作成後にすべき検証は何ですか?
別の担当者に実際にマニュアルだけを見て1回分の実行をしてもらい、再現できるか検証します。
Q. 実行環境の条件が曖昧なままだとどうなりますか?
担当者ごとに微妙に違う条件で計測してしまい、経年比較が成立しなくなります。
Q. マニュアルは一度作れば更新不要ですか?
更新不要ではありません。使用ツールやAIサービスの仕様変更に合わせて定期的に見直すルールが必要です。