学習率と損失の推移
A社のエンジニアが、同じモデルとデータで学習率だけを変え、エポックごとの訓練データの損失を記録した(表)。この結果の解釈として最も適切なものを1つ選べ。
- A
Aは学習率が大きすぎて重みの更新が行き過ぎ、損失が発散したと考えられるので、学習率を下げて試す。
- B
Cは訓練データの損失が順調に下がっているので、未知のデータでも高い精度が出ると判断してよい。
- C
Aは損失が増え続けているので過学習が起きており、正則化を強めたりデータを増やしたりすれば解決する。
- D
Bは損失がほとんど下がらないので過学習が起きており、学習データを減らして調整する。
正解と解説を見る
正解:A
学習率が大きすぎると損失が発散し、小さすぎると学習が遅くなる。過学習や汎化性能は、訓練データの損失だけでなく検証データの損失を見て判断する。
| 設定 | 学習率 | 1エポック | 2エポック | 3エポック | 4エポック | 5エポック |
|---|---|---|---|---|---|---|
| A | 1.0 | 2.30 | 5.81 | 14.2 | 37.5 | 計算不能(数値があふれた) |
| B | 0.0001 | 2.30 | 2.29 | 2.28 | 2.27 | 2.26 |
| C | 0.01 | 2.30 | 1.42 | 0.91 | 0.63 | 0.52 |
- A
正しい。学習率が大きすぎると、損失が小さくなる方向へ重みを動かしても行き過ぎてしまい、損失が増え続けて発散する。
- B
誤り。訓練データの損失だけでは、汎化性能(未知のデータへの強さ)はわからない。検証データやテストデータで確かめる必要がある。
- C
誤り。過学習は、訓練データの損失は下がるのに検証データの損失が上がる現象。訓練データの損失そのものが増えているのは過学習ではない。
- D
誤り。Bは学習率が小さすぎて更新幅が小さく、学習が遅いだけと考えられる。過学習かどうかは検証データの損失を見ないと判断できない。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。