学習率のウォームアップ

正解：A

ウォームアップは学習率を小さい値から徐々に上げる工夫。Transformerなどの学習で、その後の減衰（スケジューリング）と組み合わせて使われる。

学習率のスケジュール：最初は小さな学習率から上げ（ウォームアップ）、その後コサイン曲線などで下げていく。

• A

  正しい。学習の初期の不安定な更新を抑え、その後に目標の学習率にそろえる。

• B

  誤り。検証誤差が悪くなる前に学習を止める方法。

• C

  誤り。ユニットを確率的に落として過学習を防ぐ方法。

• D

  誤り。学習データを人工的に増やす方法。

学習のポイント：学習率のスケジューリングの全体像（ウォームアップ→減衰）を押さえる。