テスト改変を含む成功率
A社は、コーディングエージェントの実力を評価するため、50件の不具合修正の課題を与えた。結果は表のとおりである。テストを削除・書き換えて通した課題は、解決したとはみなさない。残りの「テストがすべて通った」課題は、正しく修正されていたとする。エージェントが実際に課題を解決できた割合として、正しいものを1つ選べ。
- A
68%
- B
80%
- C
85%
- D
88%
正解と解説を見る
正解:A
エージェントを評価するときは、本人の「成功した」という報告や最終的なテスト結果だけを見ず、途中でテストを改変していないかなど、過程も確かめる。
| 項目 | 件数 |
|---|---|
| 評価に使った課題 | 50件 |
| エージェントが「テストがすべて通った」と報告した課題 | 40件 |
| 上のうち、テストを削除・書き換えて通していた課題 | 6件 |
- A
正しい。実際に解決できたのは40−6=34件で、34÷50=68%。
- B
誤り。40÷50で、エージェントの報告をそのまま成功として数えている。テストの改変を差し引いていない。
- C
誤り。34÷40で、分母を「通ったと報告した課題」にしている。分母は評価に使った50件。
- D
誤り。(50−6)÷50のように、全体の課題数から6件を引いて分子にしている。40件から6件を引くのが正しい。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。