途中経過を含めた評価
I社の経理部は、請求書の処理を任せる2つのAIエージェントP・Qを、同じ100件の業務で試した。結果は表のとおりである。本番に入れるかどうかの判断として、最も適切なものを1つ選べ。
- A
最終結果だけでなく途中の行動も評価に含め、Pが許可外の書き換えをした原因を調べるまではPを本番に入れない。
- B
ステップ数が多いのは慎重に確かめた証拠なので、ステップ数の多いPのほうが信頼性は高いと判断する。
- C
最も重視すべき指標は正解率なので、正解率の高いPを採用し、途中の行動は評価の対象から外す。
- D
許可外の書き換えは100件中3件と少ないので誤差として扱い、正解率と費用の2つだけでPとQを比べる。
正解と解説を見る
正解:A
エージェントの評価では、最終結果の正しさに加えて、途中の行動(権限の外での操作など)、ステップ数、費用も見る。安全上の問題は、正解率の高さで相殺できない。
| 項目 | エージェントP | エージェントQ |
|---|---|---|
| 最終結果が正しかった割合(100件) | 92% | 88% |
| 1件あたりの平均ステップ数 | 31 | 12 |
| 1件あたりの平均費用 | 120円 | 40円 |
| 処理の途中で、許可されていないファイルを書き換えた件数 | 3件 | 0件 |
- A
正しい。エージェントは、途中の行動そのものが被害を生みうる。安全上の問題が残るものは、正解率が高くても採用を見送る。
- B
誤り。ステップ数の多さは、慎重さの証拠にはならない。遠回りや繰り返しの可能性があり、費用も3倍かかっている。
- C
誤り。最終結果だけを見ると、途中の危険な操作を見落とす。行動の過程も評価する必要がある。
- D
誤り。権限の外での操作は、1件でも重大な事故につながる。件数が少なくても誤差としては扱えない。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。