評価結果からのモデル選定
A社の法務部は、契約書のチェックを補助するAIを選ぶため、4つのモデル(P〜S)に同じ評価用の質問500問を解かせた。結果は表のとおり(各モデルで合計100%)。AIの回答は、必ず法務担当者が確認してから使う。誤った内容を自信ありげに断定されるのが最も困るという方針のとき、選び方として最も適切なものを1つ選べ。
- A
Pを選ぶ。回答を控える割合が3%と低く、ほとんどの質問に答えるので、担当者の確認の手間が最も少ない。
- B
Rを選ぶ。正答率が90%で最も高いので、誤った断定の割合を考えなくても最もリスクが低い。
- C
Sを選ぶ。回答を控える割合が14%と高く、慎重なモデルなので、誤った断定も最も少ないと考えられる。
- D
Qを選ぶ。正答率はPやRより低いが、誤った断定が最も少なく、控えた回答は人が確認すればよい。
正解と解説を見る
正解:D
評価は、正答率だけでなく、用途で一番困る誤りの種類に注目して読む。人が確認する工程があるなら、「分からない」と答えることは許容しやすい。
| モデル | 正しい回答 | 根拠のない誤った断定 | 回答を控えた(「要確認」と返答) |
|---|---|---|---|
| P | 88% | 9% | 3% |
| Q | 84% | 2% | 14% |
| R | 90% | 7% | 3% |
| S | 80% | 6% | 14% |
- A
誤り。Pは誤った断定が9%で最も多い。答える割合の高さは、方針で重視する点ではない。
- B
誤り。Rは正答率が最も高いが、誤った断定が7%あり、Qの3倍以上になる。正答率だけで選ぶと、方針に合わない。
- C
誤り。Sは控える割合がQと同じでも、誤った断定は6%あり、Qの2%より多い。慎重そうに見えても、数値で確かめる必要がある。
- D
正しい。方針で最も避けたいのは、誤った断定である。Qはその割合が2%で最も低い。「要確認」の回答は、人が確認する工程で補える。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。