試行ごとのばらつきの評価
D社は、請求データの照合を夜間に無人で処理させるエージェントを選ぶ。候補のXとYで、同じ20件のタスクをそれぞれ5回ずつ試行し、表の結果を得た。この業務に向く候補と、その理由の組合せとして、最も適切なものを1つ選べ。
- A
Y。無人で毎回1回だけ実行する業務では、繰り返しても安定して成功する割合が重要だから。
- B
X。2つの指標の平均がXは65%、Yは72.5%で差が小さいので、上限の高いXを選ぶべきだから。
- C
X。少なくとも1回成功する割合が高いので、どのタスクでも本番で成功しやすいから。
- D
どちらとも言えない。エージェントの出力は毎回変わるので、複数回の試行で評価しても意味がないから。
正解と解説を見る
正解:A
エージェントの出力は試行ごとに変わる。複数回試行し、「一度でも成功するか」と「毎回成功するか」を分けて評価する。無人の本番運用では後者が重要になる。
| 指標 | エージェントX | エージェントY |
|---|---|---|
| 5回のうち少なくとも1回成功したタスクの割合 | 90% | 75% |
| 5回すべてで成功したタスクの割合 | 40% | 70% |
- A
正しい。夜間の無人処理では、何度も試して成功したものを人が選ぶことはできない。毎回成功する割合が高いYが向く。
- B
誤り。性質の違う指標を平均しても意味がない。業務の使い方に合う指標で判断すべきである。
- C
誤り。「少なくとも1回」は、何度か試せば解ける能力を表す。Xは、5回すべて成功したタスクが40%しかなく、毎回の実行では不安定である。
- D
誤り。出力が毎回変わるからこそ、複数回試行して、成功のばらつきまで含めて評価する必要がある。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。