AI資格 模擬試験

生成AIパスポート 模擬試験 第3回 問32・第3章 AIエージェント(AIエージェントのリスク・安全性・評価)

途中経過を含めた評価

I社の経理部は、請求書の処理を任せる2つのAIエージェントP・Qを、同じ100件の業務で試した。結果は表のとおりである。本番に入れるかどうかの判断として、最も適切なものを1つ選べ。

  1. A

    最終結果だけでなく途中の行動も評価に含め、Pが許可外の書き換えをした原因を調べるまではPを本番に入れない。

  2. B

    ステップ数が多いのは慎重に確かめた証拠なので、ステップ数の多いPのほうが信頼性は高いと判断する。

  3. C

    最も重視すべき指標は正解率なので、正解率の高いPを採用し、途中の行動は評価の対象から外す。

  4. D

    許可外の書き換えは100件中3件と少ないので誤差として扱い、正解率と費用の2つだけでPとQを比べる。

正解と解説を見る

正解:A

エージェントの評価では、最終結果の正しさに加えて、途中の行動(権限の外での操作など)、ステップ数、費用も見る。安全上の問題は、正解率の高さで相殺できない。

項目エージェントPエージェントQ
最終結果が正しかった割合(100件)92%88%
1件あたりの平均ステップ数3112
1件あたりの平均費用120円40円
処理の途中で、許可されていないファイルを書き換えた件数3件0件

学習のポイント:「正解率が高い=採用」とはならない。途中の行動まで評価するのがエージェントの評価の要点。

この問題を演習で解く →

生成AIパスポートのトップへ 問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。