LARSとLAMB
非常に大きなバッチサイズで学習するときに、層ごとの重みの大きさと勾配の大きさの比に応じて、学習率を調整する最適化手法の組み合わせとして、最も適切なものを1つ選べ。
- A
AdaGradとRMSprop
- B
ドロップアウトとバッチ正規化
- C
k-meansと主成分分析
- D
LARSとLAMB
正解と解説を見る
正解：D
LARSは、層ごとに、重みのノルムと勾配のノルムの比で学習率を調整する。LAMBは、それをAdamに適用したもの。BERTの学習の高速化などで使われた。
- A
誤り。パラメータごとの学習率の調整だが、層ごとのノルム比を使うわけではない。
- B
誤り。正則化や正規化の手法。
- C
誤り。教師なし学習の手法。
- D
正しい。大バッチでも、精度を保ちやすくする。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会（JDLA）・一般社団法人生成AI活用普及協会（GUGA）の公式サービスではありません。