AI資格 模擬試験

生成AIパスポート 模擬試験 第4回 問40・第4章 生成AIのリスク予防・AI倫理・ガバナンス(AI出力の評価と検証)

評価結果からのモデル選定

A社の法務部は、契約書のチェックを補助するAIを選ぶため、4つのモデル(P〜S)に同じ評価用の質問500問を解かせた。結果は表のとおり(各モデルで合計100%)。AIの回答は、必ず法務担当者が確認してから使う。誤った内容を自信ありげに断定されるのが最も困るという方針のとき、選び方として最も適切なものを1つ選べ。

  1. A

    Pを選ぶ。回答を控える割合が3%と低く、ほとんどの質問に答えるので、担当者の確認の手間が最も少ない。

  2. B

    Rを選ぶ。正答率が90%で最も高いので、誤った断定の割合を考えなくても最もリスクが低い。

  3. C

    Sを選ぶ。回答を控える割合が14%と高く、慎重なモデルなので、誤った断定も最も少ないと考えられる。

  4. D

    Qを選ぶ。正答率はPやRより低いが、誤った断定が最も少なく、控えた回答は人が確認すればよい。

正解と解説を見る

正解:D

評価は、正答率だけでなく、用途で一番困る誤りの種類に注目して読む。人が確認する工程があるなら、「分からない」と答えることは許容しやすい。

モデル正しい回答根拠のない誤った断定回答を控えた(「要確認」と返答)
P88%9%3%
Q84%2%14%
R90%7%3%
S80%6%14%

学習のポイント:正答率が一番高いモデルが、用途に一番合うとは限らない。

この問題を演習で解く →

生成AIパスポートのトップへ 問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。