AI資格 模擬試験

生成AIパスポート 模擬試験 第6回 問39・第4章 生成AIのリスク予防・AI倫理・ガバナンス(AI出力の評価と検証)

誤答と回答保留の比較

G社の法務部は、社内からの契約に関する問い合わせに答えるチャットボットを準備している。誤った案内をすると、契約上の損害につながるおそれがある。同じ50問の評価セットで、プロンプトの2つの版を比べた結果を表に示す。この結果にもとづく判断として、最も適切なものを1つ選べ。

  1. A

    正答率がA版は88%、B版は80%なので、正答の多いA版を採用する。

  2. B

    正答数の差は4問にすぎず誤差の範囲なので、どちらの版を採用しても結果は変わらない。

  3. C

    B版は回答を保留する割合が18%と高く使いにくいため、誤答数にかかわらずA版を採用する。

  4. D

    誤答率がA版は10%、B版は2%なので、保留分を担当者が受ける体制を整えてB版を採用する。

正解と解説を見る

正解:D

評価では、正答率だけでなく誤答の割合と影響を見る。誤りの影響が大きい用途では、「分からない」と答えて人に回す設計のほうが安全なことが多い。

版正答誤答「分からない」と答えて担当者へ案内合計
A版44問5問1問50問
B版40問1問9問50問

学習のポイント:誤答率と保留率の取り違えに注意する(A版の誤答率は5÷50=10%、B版は1÷50=2%)。

この問題を演習で解く →

生成AIパスポートのトップへ 問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。