Claudeに「分からない」と答えてもらう：保留と確認質問の設計

三種類の不足を分ける

資料に答えがない場合、質問の条件が足りない場合、そもそも依頼された操作を行えない場合では対応が違います。価格表に記載がないなら確認先を示し、契約区分が不明なら条件を質問します。操作権限がなければ、追加の説明だけで実行可能になるわけではありません。

保留理由を分類して残すと、資料を増やすべきか、入力画面を改善すべきか、権限の問題を見直すべきかを判断できます。全部を「モデルの精度不足」にまとめないことが改善の入口です。

回答できる部分を切り離す

一つの質問に事実と推測が混在している場合は、確認済みの部分だけを先に答えられます。「規約上の条件は確認できるが、あなたの購入日は不明」のように範囲を限定します。推測が必要な箇所を、流暢な接続詞で事実へつなげないようにします。

自己申告の自信度だけで自動承認しないことも大切です。根拠の有無や不足条件の明示など、外から点検できる手掛かりを使います。

保留を含む評価セットを作る

全問に答えがある教材だけで評価すると、無理に答える挙動を見逃します。回答可能、資料不足、曖昧な質問、無関係な資料を混ぜ、答えるべき場面で答え、保留すべき場面で止まるかを別々に確認します。保留率が高いだけでは安全とも有用とも言えません。

回答率と誤り率を同じ表で見る

説明用に、答えられる入力と答えられない入力を混ぜた評価を考えます。保留を増やせば、回答したものの中の誤りは減るかもしれません。しかし利用者が必要な回答を得られない件数は増えます。「全入力のうち回答できた割合」と「回答した中で誤っていた割合」を分けると、同じ改善が両方へどう作用したかを確認できます。ここでの割合は測定の設計であり、実績ではありません。

重要なのは一律の目標値を決めることではなく、誤回答と保留の影響を用途別に考えることです。商品説明とアクセス権の判定では、許容できる失敗が違います。資料不足の入力だけでなく、必要な情報が明確に書かれた入力も評価へ入れ、保留の過剰適用を防ぎます。

具体例で考える

架空の就業規則資料には国内出張の説明だけがあり、海外出張の宿泊費について質問されました。

確認できる範囲：提供資料は国内出張の規定です。
保留する点：海外出張への適用は確認できません。
次の確認：海外出張規程または担当部署の案内が必要です。

国内の上限を海外にも適用する回答は避けます。同時に、どの資料を追加すれば判断できるかを示します。「おそらく同じです」と付け足すと、保留を設けた意味が失われます。この違いを採点基準に含めてください。

確認課題と合格の目安

普段の質問を一つ選び、資料不足版と条件不足版を作って回答の違いを設計してください。

• 根拠がある部分まで不必要に隠していない。
• 推測を事実として提示していない。
• 次に確認する情報を具体的に指定できる。