TD学習
強化学習のTD（時間的差分）学習の説明として、最も適切なものを1つ選べ。
- A
エピソードが終わって得られた報酬の合計だけを使って更新する
- B
環境のモデルを使い、すべての状態を一度に計算し直す
- C
教師データとの誤差を使い、ネットワークの重みを更新する
- D
エピソードの終わりを待たず、1ステップ先の推定値を使って今の価値の推定を更新する
正解と解説を見る
正解：D
TD学習は1ステップ先の推定値を使って更新するので、エピソードの終了を待たなくてよい。Q学習やSARSAはTD学習の一種。
| 手法 | 更新で使う「次の価値」 | 方策 |
|---|---|---|
| Q学習 | 次の状態で最大のQ | オフポリシー |
| SARSA | 実際に選んだ次の行動のQ | オンポリシー |
- A
誤り。モンテカルロ法の説明。
- B
誤り。動的計画法の説明。
- C
誤り。教師あり学習の説明。
- D
正しい。推定値で推定値を更新する（ブートストラップ）ため、途中の段階から学習が進む。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会（JDLA）・一般社団法人生成AI活用普及協会（GUGA）の公式サービスではありません。