AIに採点させる評価
H社では、カスタマーサポート用AIの回答品質を、別の生成AIに採点させて評価しようとしている。この評価方法を使うときの注意として、適切なものを2つ選べ。
- A
採点するAIには、長い回答を高く評価するなどの偏りがありうるため、人が採点した一部の結果と照らして一致度を確かめる。
- B
評価対象と同じモデルに採点させると、自分の出力の意図を正しく理解できるため、採点の公平性が高まる。
- C
2つの回答を比べて採点させる場合、提示する順番で判定が変わることがあるため、順番を入れ替えた採点も行う。
- D
採点するAIの温度を0に設定すれば、採点の偏りもなくなるため、人による確認は省略できる。
正解と解説を見る
正解:A・C
AIによる自動採点は効率的だが、長さ・提示順・自分の出力をひいきするといった偏りがある。人の採点との照合や順番の入れ替えで妥当性を確かめる。
- A
正しい。AIによる採点には、長さや言い回しに引っ張られる偏りがある。人の採点と照らして、採点の妥当性を確かめてから使う。
- B
誤り。モデルは自分や同系統のモデルの出力を高く評価しやすい傾向が指摘されている。同じモデルだと公平性はむしろ下がりうる。
- C
正しい。比較評価では、先に示した回答や後に示した回答を好む位置の偏りが知られている。順番を入れ替えて確かめる。
- D
誤り。温度を下げると出力の揺らぎは減るが、評価の偏りそのものは消えない。人による確認は残す。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。