AI資格 模擬試験

生成AIパスポート 模擬試験 第5回 問39・第4章 生成AIのリスク予防・AI倫理・ガバナンス(AI出力の評価と検証)

AIによる自動採点の偏り

E社は、問い合わせ回答ボットの品質を、別のLLMに10点満点で採点させて評価している。抜き取りで人も同じ回答を採点したところ、表のようになった。この結果の解釈と対応として、最も適切なものを1つ選べ。

  1. A

    人の採点はばらつきやすいので、件数のそろったAIの採点を正しい値として扱う。

  2. B

    採点に使うモデルの温度を0にすれば、毎回同じ点になるので、評価の偏りは解消する。

  3. C

    長い回答ほどAIの評価が高いので、ボットに長く詳しく答えるよう指示を変更する。

  4. D

    AI採点は回答の長さに引きずられている可能性が高い。人の採点と照らし合わせながら、評価基準を見直す。

正解と解説を見る

正解:D

LLMによる自動採点には、長い回答を高く評価するなどの偏りが出ることがある。一部を人が採点して照合し、評価基準を明示して見直す。

回答の長さ件数AI採点の平均(10点満点)人の採点の平均(10点満点)
200字未満405.87.1
200〜500字407.27.0
500字以上408.66.4

学習のポイント:温度0で上がるのは再現性で、評価の正しさではない。毎回同じ点が出ても、偏りは残る。

この問題を演習で解く →

生成AIパスポートのトップへ 問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。