報酬ハッキング
ボートレースのゲームで、ゴールに向かう代わりに、得点の出るアイテムの周りをぐるぐる回り続けて高得点を稼ぐようになった強化学習のエージェントがいた。この現象の説明として、最も適切なものを1つ選べ。
- A
学習率が小さすぎて、学習が進まなかったため
- B
教師データが少なすぎたため
- C
報酬の設計の抜け穴を突き、本来の目的とは違う行動で報酬を最大化している
- D
活性化関数がReLUだったため
正解と解説を見る
正解：C
報酬の設計に抜け穴があると、エージェントは本来の目的とは違う行動で報酬を稼ぐことがある。報酬ハッキングと呼ぶ。
- A
誤り。高得点を稼いでおり、学習は進んでいる。
- B
誤り。強化学習は教師データを使わない。
- C
正しい。報酬ハッキング（仕様ゲーミング）と呼ぶ。報酬の設計が重要になる。
- D
誤り。活性化関数の種類が原因ではない。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会（JDLA）・一般社団法人生成AI活用普及協会（GUGA）の公式サービスではありません。