AIによる自動採点の偏り
E社は、問い合わせ回答ボットの品質を、別のLLMに10点満点で採点させて評価している。抜き取りで人も同じ回答を採点したところ、表のようになった。この結果の解釈と対応として、最も適切なものを1つ選べ。
- A
人の採点はばらつきやすいので、件数のそろったAIの採点を正しい値として扱う。
- B
採点に使うモデルの温度を0にすれば、毎回同じ点になるので、評価の偏りは解消する。
- C
長い回答ほどAIの評価が高いので、ボットに長く詳しく答えるよう指示を変更する。
- D
AI採点は回答の長さに引きずられている可能性が高い。人の採点と照らし合わせながら、評価基準を見直す。
正解と解説を見る
正解:D
LLMによる自動採点には、長い回答を高く評価するなどの偏りが出ることがある。一部を人が採点して照合し、評価基準を明示して見直す。
| 回答の長さ | 件数 | AI採点の平均(10点満点) | 人の採点の平均(10点満点) |
|---|---|---|---|
| 200字未満 | 40 | 5.8 | 7.1 |
| 200〜500字 | 40 | 7.2 | 7.0 |
| 500字以上 | 40 | 8.6 | 6.4 |
- A
誤り。人とAIの点の差は、長さに応じて一定の方向に開いている。ばらつきではなく、AI側の偏りを疑うべき。
- B
誤り。温度を0にすると点数の再現性は上がるが、長さに引きずられる偏りは直らない。
- C
誤り。人の評価は、500字以上の回答で最も低い。採点の偏りに合わせると、実際の品質は下がるおそれがある。
- D
正しい。回答が長いほどAIの点は上がるのに、人の点は下がっており、両者の差は長さに応じて開いている。AI採点に長さの偏りがあると考えられる。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。