Claudeの回答を採点する：正確さ・根拠・有用性を別々に評価する

必須条件と段階的な品質を分ける

他人の情報を漏らさない、根拠のない約束をしない、といった条件は、文体の良さで相殺できません。必須条件の違反は別に記録し、読みやすさなど段階的に評価する項目と混ぜないようにします。

評価項目が多すぎると、採点者によって解釈がずれます。実際に結果を使って判断する少数の軸から始め、各軸の良い例と悪い例を用意します。

抽象的な形容詞を観察できる動作へ変える

「十分に正確」ではなく、「指定資料の条件と矛盾しない」「未確認の購入日を作らない」と書きます。有用性なら、追加確認の項目を明示する、実行可能な次の一手を示す、といった観察できる条件にします。

判定に必要な情報が評価者へ与えられていなければ、公平な採点はできません。元資料や入力条件を見せ、知らないことを推測で補わせないようにします。

採点が分かれた例を教材にする

担当者の不一致は、単に多数決で処理せず基準の曖昧さを見つける材料にします。例外を許す範囲や根拠の不足をどう扱うかを確認し、次回も使える判定例へ戻します。評価基準を変えた場合は、以前の点数と単純に比較しないようにします。

採点者が迷う境界へ説明を加える

基準を作ったら、明らかな良い例と悪い例だけでなく、条件が一つだけ欠けた例を複数の人に読んでもらう計画を立てます。判断が分かれたら、採点者を増やして平均する前に、項目の意味や根拠の不足を確認します。たとえば「次の操作が分かる」とは、担当部署を示すことなのか、必要な情報まで示すことなのかを具体化します。

重大な誤りの欄は、文章の好みと分けて保ちます。評価表の変更で総合点が上がった場合、モデルが良くなったのか、採点の重みが変わったのかを区別してください。基準の版と評価対象の版を残すことで、比較の意味を保てます。誰かの直感を完全に排除するのではなく、どこに判断が残るかを見えるようにすることが目的です。

具体例で考える

架空の回答は親切ですが、規約にない返金を確約しています。

正確さ：不合格（資料にない約束）。
根拠：不合格（条件が未確認）。
表現：読みやすい。
総合判断：表現の良さでは必須違反を相殺しない。

全項目の平均点だけを見ると、重大な誤りが隠れます。必須条件を先に確認し、その後で表現の改善へ進める二段階の判定にします。

確認課題と合格の目安

一つの用途に、必須条件二つと段階評価二つを設定し、判断例を付けてください。

• 項目が実際に観察できる。
• 重大な誤りを平均点で隠さない。
• 採点者が参照すべき資料を示している。