エージェントの評価観点
I社は、問い合わせメールを分類して担当部署のシステムに起票するAIエージェントを、本番に導入する前に評価したい。評価の進め方として、適切なものを2つ選べ。
- A
代表的な問い合わせで1回ずつ試し、すべて正しく起票できたら本番に導入する
- B
起票の結果だけでなく、途中でどのツールをどの引数で呼んだかという手順も確かめる
- C
同じ問い合わせで複数回実行し、成功率と結果のばらつきを確かめる
- D
使うLLMの一般的なベンチマークの点数が高ければ、エージェントとしての評価は省く
正解と解説を見る
正解:B・C
エージェントの評価では、最終的な結果に加えて、途中のツールの使い方や手順も見る。出力は毎回変わりうるため、複数回の実行で成功率と安定性を測る。
- A
誤り。1回ずつの確認では、出力のばらつきや、まれな入力での失敗を見落としやすい。試す件数と回数が足りない。
- B
正しい。結果が合っていても、不要なツールを呼んだり誤った引数で何度もやり直したりしていれば、コストや誤操作のリスクがある。過程も評価の対象になる。
- C
正しい。LLMの出力は毎回同じとは限らないため、1回の成功では安定しているとは言えない。複数回の実行で成功率を測る。
- D
誤り。ベンチマークはLLM単体の能力を測るもので、ツールの使い方や業務の手順に沿った動きは測れない。エージェントとしての評価は別に行う必要がある。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。