重み減衰の対象
AdamWなどで重み減衰(weight decay)を使うとき、実践的な設定として、最も適切なものを1つ選べ。
- A
すべてのパラメータに、必ず同じ重み減衰を適用しなければならない。
- B
バイアスや、正規化層のパラメータには、重み減衰を適用しないことが多い。
- C
重み減衰は、学習率と同じ値にしなければならない。
- D
重み減衰は、推論時に適用する。
正解と解説を見る
正解:B
重み減衰は、重みの大きさを抑える正則化。実際の学習では、重み行列には適用し、バイアスや層正規化のパラメータには適用しない設定が一般的。
- A
誤り。対象を分けることが多い。
- B
正しい。これらを小さくしても、過学習を抑える効果は小さく、性能を損なうことがある。
- C
誤り。別のハイパーパラメータ。
- D
誤り。学習時の正則化。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。