AI資格 模擬試験

G検定 模擬問題 第3回 問54・ディープラーニングの概要(誤差逆伝播法)

勾配消失への構造的な対策

深いネットワークで勾配消失を起こしにくくするための工夫の組合せとして、最も適切なものを1つ選べ。

  1. A

    活性化関数をすべてシグモイド関数にし、層を増やす。

  2. B

    重みの初期値をすべて0にする。

  3. C

    学習率を0にする。

  4. D

    ReLU などの活性化関数、He の初期値などの重みの初期化、バッチ正規化、スキップ結合(残差接続)を使う。

正解と解説を見る

正解:D

勾配消失は、活性化関数・初期化・正規化・スキップ結合の工夫で起こりにくくできる。

層の数に対する勾配の大きさの折れ線グラフ(縦軸は対数)。シグモイドでは0.25の累乗で急に小さくなり、ReLUでは1のまま保たれる。

勾配消失:シグモイドの微分は最大0.25なので、層を重ねるほど勾配が小さくなる。ReLUは正の側で微分が1。

学習のポイント:それぞれの工夫が、なぜ勾配消失を防ぐのかを説明できるようにする。

この問題を演習で解く →

問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。