AI資格 模擬試験

生成AIパスポート 模擬試験 第2回 問31・第3章 AIエージェント(AIエージェントのリスク・安全性・評価)

エージェントの評価観点

I社は、問い合わせメールを分類して担当部署のシステムに起票するAIエージェントを、本番に導入する前に評価したい。評価の進め方として、適切なものを2つ選べ。

  1. A

    代表的な問い合わせで1回ずつ試し、すべて正しく起票できたら本番に導入する

  2. B

    起票の結果だけでなく、途中でどのツールをどの引数で呼んだかという手順も確かめる

  3. C

    同じ問い合わせで複数回実行し、成功率と結果のばらつきを確かめる

  4. D

    使うLLMの一般的なベンチマークの点数が高ければ、エージェントとしての評価は省く

正解と解説を見る

正解:B・C

エージェントの評価では、最終的な結果に加えて、途中のツールの使い方や手順も見る。出力は毎回変わりうるため、複数回の実行で成功率と安定性を測る。

学習のポイント:LLM単体の性能評価と、エージェントとしての評価を混同しない。

この問題を演習で解く →

生成AIパスポートのトップへ 問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。