誤答と回答保留の比較
G社の法務部は、社内からの契約に関する問い合わせに答えるチャットボットを準備している。誤った案内をすると、契約上の損害につながるおそれがある。同じ50問の評価セットで、プロンプトの2つの版を比べた結果を表に示す。この結果にもとづく判断として、最も適切なものを1つ選べ。
- A
正答率がA版は88%、B版は80%なので、正答の多いA版を採用する。
- B
正答数の差は4問にすぎず誤差の範囲なので、どちらの版を採用しても結果は変わらない。
- C
B版は回答を保留する割合が18%と高く使いにくいため、誤答数にかかわらずA版を採用する。
- D
誤答率がA版は10%、B版は2%なので、保留分を担当者が受ける体制を整えてB版を採用する。
正解と解説を見る
正解:D
評価では、正答率だけでなく誤答の割合と影響を見る。誤りの影響が大きい用途では、「分からない」と答えて人に回す設計のほうが安全なことが多い。
| 版 | 正答 | 誤答 | 「分からない」と答えて担当者へ案内 | 合計 |
|---|---|---|---|---|
| A版 | 44問 | 5問 | 1問 | 50問 |
| B版 | 40問 | 1問 | 9問 | 50問 |
- A
誤り。正答率だけを見ると、A版で誤った案内が5問(10%)出ることを見落とす。誤答の影響が大きい用途には向かない。
- B
誤り。正答数の差だけでなく、誤答が5問と1問で大きく違う。用途に照らすと、両者は同じとはいえない。
- C
誤り。保留は担当者に回せば対応できるが、誤答は気づかれずに損害につながりうる。誤答数を無視した判断は不適切。
- D
正しい。誤答の影響が大きい用途では、正答率より誤答率を重く見る。B版の保留9問は担当者に回せるので、その体制を前提にB版を選ぶのが妥当。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。