有害出力フィルタの評価
F社は、チャットボットの回答から有害な内容を検出してブロックするフィルタを評価した。テスト用の回答1,000件の結果は表のとおりである。この結果の読み取りとして、最も適切なものを1つ選べ。
- A
誤ってブロックされた無害な回答は45件で、無害な回答の36%が使えなくなっている。
- B
ブロックした回答のうち実際に有害だったのは80%で、有害な回答のうち検出できたのは64%である。
- C
正解率は93.5%なので、有害な回答のうちフィルタが見逃したものは6.5%にとどまっている。
- D
有害な回答のうち検出できたのは80%で、ブロックした回答のうち実際に有害だったのは64%である。
正解と解説を見る
正解:D
再現率(見逃しの少なさ)と適合率(誤検出の少なさ)は分母が違う。有害な出力が少ないデータでは、正解率が高くても見逃しが多いことがある。
| フィルタがブロックした | フィルタが通過させた | 合計 | |
|---|---|---|---|
| 実際に有害な回答 | 80件 | 20件 | 100件 |
| 実際に無害な回答 | 45件 | 855件 | 900件 |
| 合計 | 125件 | 875件 | 1,000件 |
- A
誤り。36%は45÷125で、ブロックした回答に占める割合。無害な回答に占める割合は45÷900=5%。
- B
誤り。適合率と再現率を取り違えている。適合率は80÷125=64%、再現率は80÷100=80%。
- C
誤り。正解率は(80+855)÷1,000=93.5%だが、有害な回答の見逃しは20÷100=20%である。
- D
正しい。再現率は80÷100=80%、適合率は80÷125=64%。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。