コサイン減衰

正解：C

コサイン減衰は、学習率を余弦関数の形で下げる。ウォームアップと組み合わせることが多く、Transformerなどで広く使われる。

学習率のスケジュール：最初は小さな学習率から上げ（ウォームアップ）、その後コサイン曲線などで下げていく。

• A

  誤り。一定のエポックごとに、学習率を段階的に下げる。

• B

  誤り。変化させない。

• C

  正しい。ステップ状の減衰より、滑らかに下がる。

• D

  誤り。学習率は減衰させる。

学習のポイント：リスタート付きのものもある。