AdamW
AdamWがAdamに対して改良した点として、最も適切なものを1つ選べ。
- A
ミニバッチを使わず、全データで勾配を計算する
- B
モーメンタムの考えを取りやめる
- C
活性化関数をReLUに固定する
- D
重み減衰（正則化）を、勾配の更新とは切り離して適用する
正解と解説を見る
正解：D
AdamWはAdamの重み減衰を更新から分離した手法で、Transformerなどの大規模なモデルの学習でよく使われる。
- A
誤り。AdamWもミニバッチで学習する。
- B
誤り。Adamと同じく、モーメントを使う。
- C
誤り。活性化関数とは関係がない。
- D
正しい。Adamで正則化を勾配に足すと、適応的な学習率の影響で期待どおりに働かない問題を改善する。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会（JDLA）・一般社団法人生成AI活用普及協会（GUGA）の公式サービスではありません。