AI資格 模擬試験

生成AIパスポート 模擬試験 第5回 問32・第3章 AIエージェント(AIエージェントのリスク・安全性・評価)

試行ごとのばらつきの評価

D社は、請求データの照合を夜間に無人で処理させるエージェントを選ぶ。候補のXとYで、同じ20件のタスクをそれぞれ5回ずつ試行し、表の結果を得た。この業務に向く候補と、その理由の組合せとして、最も適切なものを1つ選べ。

  1. A

    Y。無人で毎回1回だけ実行する業務では、繰り返しても安定して成功する割合が重要だから。

  2. B

    X。2つの指標の平均がXは65%、Yは72.5%で差が小さいので、上限の高いXを選ぶべきだから。

  3. C

    X。少なくとも1回成功する割合が高いので、どのタスクでも本番で成功しやすいから。

  4. D

    どちらとも言えない。エージェントの出力は毎回変わるので、複数回の試行で評価しても意味がないから。

正解と解説を見る

正解:A

エージェントの出力は試行ごとに変わる。複数回試行し、「一度でも成功するか」と「毎回成功するか」を分けて評価する。無人の本番運用では後者が重要になる。

指標エージェントXエージェントY
5回のうち少なくとも1回成功したタスクの割合90%75%
5回すべてで成功したタスクの割合40%70%

学習のポイント:人が結果を選べる用途なら「少なくとも1回」、無人の自動処理なら「毎回」の指標を見る。

この問題を演習で解く →

生成AIパスポートのトップへ 問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。