AI資格 模擬試験

生成AIパスポート 模擬試験 第2回 問39・第4章 生成AIのリスク予防・AI倫理・ガバナンス(AI出力の評価と検証)

有害出力フィルタの評価

F社は、チャットボットの回答から有害な内容を検出してブロックするフィルタを評価した。テスト用の回答1,000件の結果は表のとおりである。この結果の読み取りとして、最も適切なものを1つ選べ。

  1. A

    誤ってブロックされた無害な回答は45件で、無害な回答の36%が使えなくなっている。

  2. B

    ブロックした回答のうち実際に有害だったのは80%で、有害な回答のうち検出できたのは64%である。

  3. C

    正解率は93.5%なので、有害な回答のうちフィルタが見逃したものは6.5%にとどまっている。

  4. D

    有害な回答のうち検出できたのは80%で、ブロックした回答のうち実際に有害だったのは64%である。

正解と解説を見る

正解:D

再現率(見逃しの少なさ)と適合率(誤検出の少なさ)は分母が違う。有害な出力が少ないデータでは、正解率が高くても見逃しが多いことがある。

フィルタがブロックしたフィルタが通過させた合計
実際に有害な回答80件20件100件
実際に無害な回答45件855件900件
合計125件875件1,000件

学習のポイント:分母が「実際に有害なもの」なら再現率、「ブロックしたもの」なら適合率。

この問題を演習で解く →

生成AIパスポートのトップへ 問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。