勾配消失問題
F社では、シグモイド関数を使った層の多いニューラルネットワークを学習させた。すると、出力に近い層の重みは更新されるのに、入力に近い層の重みはほとんど変わらなかった。この現象と対策の説明として適切なものを2つ選べ。
- A
誤差を出力側から入力側へ伝える途中で、勾配が掛け合わされて小さくなる。その結果、入力に近い層の重みがほとんど更新されない。
- B
学習データが少ないため、モデルが訓練データに合わせすぎている。データを増やせば入力側の層も更新されるようになる。
- C
勾配が伝わるたびに大きくなり、重みが極端な値に発散している。勾配の大きさに上限を設けることが対策になる。
- D
シグモイド関数の微分は最大でも0.25と小さく、勾配が縮みやすい。そこで、中間層にReLUを使うことが対策になる。
正解と解説を見る
正解:A・D
勾配消失は、誤差逆伝播の途中で勾配が小さくなり、入力に近い層の学習が進まなくなる現象。ReLUなどの活性化関数を使うと起きにくくなる。
- A
正しい。これが勾配消失問題。層が深いほど、小さな値が何度も掛け合わされ、勾配が0に近づく。
- B
誤り。これは過学習の説明。入力側の層だけが更新されないのは、データ量ではなく、勾配が伝わる仕組みの問題。
- C
誤り。これは勾配爆発の説明と対策(勾配クリッピング)。今回の症状は、勾配が小さくなる勾配消失。
- D
正しい。ReLUの微分は、入力が正なら1なので、勾配が縮みにくい。深層学習が広がった要因の一つ。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。