AI資格 模擬試験

G検定 模擬問題 第2回 問53・ディープラーニングの概要(誤差逆伝播法)

勾配消失の原因

深いネットワークで勾配消失が起こる仕組みの説明として、最も適切なものを1つ選べ。

  1. A

    学習率が大きすぎるため、勾配が0になる。

  2. B

    誤差逆伝播で、1より小さい値(シグモイド関数の微分など)が層の数だけ掛け合わされ、入力に近い層ほど勾配が小さくなる。

  3. C

    学習データが多すぎるため、勾配が0になる。

  4. D

    出力層の活性化関数を使わないため、勾配が0になる。

正解と解説を見る

正解:B

勾配消失は、1より小さい微分が層の数だけ掛け合わされて起こる。

層の数に対する勾配の大きさの折れ線グラフ(縦軸は対数)。シグモイドでは0.25の累乗で急に小さくなり、ReLUでは1のまま保たれる。

勾配消失:シグモイドの微分は最大0.25なので、層を重ねるほど勾配が小さくなる。ReLUは正の側で微分が1。

学習のポイント:勾配消失の対策(ReLU、He の初期値、残差接続、バッチ正規化)を押さえる。

この問題を演習で解く →

問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。