AI資格 模擬試験

生成AIパスポート 模擬試験 第3回 問39・第4章 生成AIのリスク予防・AI倫理・ガバナンス(AI出力の評価と検証)

分類別の誤り率の判断

G社は、顧客向けAIチャットボットの回答200件を抜き取って点検し、表の結果を得た。この結果に基づく判断として、最も適切なものを1つ選べ。

  1. A

    分類ごとの誤り率を平均すると15%になるため、全体の誤り率は15%として社内に報告する。

  2. B

    誤りの件数が9件と最も多い手続きの分類が最も誤りやすいため、ここを最優先で人の確認の対象にする。

  3. C

    誤りは合計20件あるため全体の誤り率は20%であり、すべての分類で自動回答を停止する。

  4. D

    全体の誤り率は10%だが、契約・法務は25%と高いため、この分類は人が確認してから回答する運用にする。

正解と解説を見る

正解:D

評価は全体の数値だけでなく、分類別にも見る。誤りやすく影響も大きい分類に、人が確認する工程を入れる。

質問の分類点検件数誤りの件数
料金1206
手続き609
契約・法務205
合計20020

学習のポイント:件数と率、全体の率と分類別の率の単純平均を取り違えない。

この問題を演習で解く →

生成AIパスポートのトップへ 問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。