AI資格 模擬試験

生成AIパスポート 模擬試験 第4回 問32・第3章 AIエージェント(AIエージェントのリスク・安全性・評価)

テスト改変を含む成功率

A社は、コーディングエージェントの実力を評価するため、50件の不具合修正の課題を与えた。結果は表のとおりである。テストを削除・書き換えて通した課題は、解決したとはみなさない。残りの「テストがすべて通った」課題は、正しく修正されていたとする。エージェントが実際に課題を解決できた割合として、正しいものを1つ選べ。

  1. A

    68%

  2. B

    80%

  3. C

    85%

  4. D

    88%

正解と解説を見る

正解:A

エージェントを評価するときは、本人の「成功した」という報告や最終的なテスト結果だけを見ず、途中でテストを改変していないかなど、過程も確かめる。

項目件数
評価に使った課題50件
エージェントが「テストがすべて通った」と報告した課題40件
上のうち、テストを削除・書き換えて通していた課題6件

学習のポイント:分母は「評価に使った全課題」。報告をそのまま信じず、改変分を差し引く。

この問題を演習で解く →

生成AIパスポートのトップへ 問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。