ClaudeとRAGで根拠のある回答を作る：検索成功と回答成功を分ける

関連する文書と答えを含む文書を区別する

同じ製品名がある文書でも、対象のバージョンや契約区分が違えば回答に使えないことがあります。検索順位だけで採用せず、質問の条件に合う箇所が含まれるかを確認します。資料が古い場合の扱いも決めます。

取得件数を増やすと、無関係な情報や矛盾する情報が混ざることがあります。長い文脈を渡すこと自体を根拠の充実と考えないようにします。

資料の範囲を越えて結論を広げない

資料が説明する条件と、質問者の状況が一致しているかを見ます。「Aの場合に利用可能」とある文章から、Bでも利用可能とは結論できません。根拠のない部分を明示し、必要なら確認質問や保留へ戻します。

引用を付ける場合も、引用先がその主張を実際に支えるかを確認します。リンクが存在することだけで、回答全体を検証済みにしないことが大切です。

検索と生成を別の入力で評価する

答えを含む資料を取得できたか、取得した資料から条件に合う回答を作れたかを分けて測ります。正しい資料を直接渡しても失敗するなら、検索だけを改善しても解決しません。逆に資料が取れていないなら、生成の指示だけを調整し続けないようにします。

根拠の有無を変えた対になる入力で試す

同じ質問へ、答えを含む資料、似ているが条件の違う資料、答えを含まない資料をそれぞれ与える計画を立てます。答えがあるときだけ正しく答え、他の場合は不足を示せるかを確認します。常に保留する仕組みも、常に同じ値を答える仕組みも、この比較で区別できます。検索の順位や文書の量だけで成功を判定しないための方法です。

複数の資料が必要な質問では、片方を抜いた場合も試します。欠けた条件を一般知識や推測で補っていないかを点検し、引用を付けた箇所の範囲を読みます。質問の対象が新しい版なら、古い資料の答えが分かっていても新しい版への根拠とは限りません。正しい文章を生成することと、提供資料からその文章を支えられることを分けて考えます。

具体例で考える

架空の質問は「新プランの上限」ですが、検索結果は旧プランの説明だけでした。

検索：関連する文書は取得。
回答可能性：新プランの根拠なし。
応答：旧プランの値を流用せず、必要な資料を案内。

検索0件でなくても保留が必要な例です。この区別を評価に含めることで、検索成功の数字だけが良くなる改善を避けられます。

確認課題と合格の目安

正しい資料、旧版資料、無関係な資料の三種類で同じ質問への扱いを定めてください。

• 関連性と回答可能性を分けている。
• 条件の異なる資料から値を流用しない。
• 検索と生成の誤りを別々に把握できる。