AI資格 模擬試験

生成AIパスポート 模擬試験 第6回 問40・第4章 生成AIのリスク予防・AI倫理・ガバナンス(AI出力の評価と検証)

AIに採点させる評価

H社では、カスタマーサポート用AIの回答品質を、別の生成AIに採点させて評価しようとしている。この評価方法を使うときの注意として、適切なものを2つ選べ。

  1. A

    採点するAIには、長い回答を高く評価するなどの偏りがありうるため、人が採点した一部の結果と照らして一致度を確かめる。

  2. B

    評価対象と同じモデルに採点させると、自分の出力の意図を正しく理解できるため、採点の公平性が高まる。

  3. C

    2つの回答を比べて採点させる場合、提示する順番で判定が変わることがあるため、順番を入れ替えた採点も行う。

  4. D

    採点するAIの温度を0に設定すれば、採点の偏りもなくなるため、人による確認は省略できる。

正解と解説を見る

正解:A・C

AIによる自動採点は効率的だが、長さ・提示順・自分の出力をひいきするといった偏りがある。人の採点との照合や順番の入れ替えで妥当性を確かめる。

学習のポイント:温度0で減るのは「揺らぎ」で、「偏り」は残る。

この問題を演習で解く →

生成AIパスポートのトップへ 問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。