AI資格 模擬試験

生成AIパスポート 模擬試験 第2回 問6・第1章 AIの基礎と歴史(ニューラルネットワーク)

勾配消失問題

F社では、シグモイド関数を使った層の多いニューラルネットワークを学習させた。すると、出力に近い層の重みは更新されるのに、入力に近い層の重みはほとんど変わらなかった。この現象と対策の説明として適切なものを2つ選べ。

  1. A

    誤差を出力側から入力側へ伝える途中で、勾配が掛け合わされて小さくなる。その結果、入力に近い層の重みがほとんど更新されない。

  2. B

    学習データが少ないため、モデルが訓練データに合わせすぎている。データを増やせば入力側の層も更新されるようになる。

  3. C

    勾配が伝わるたびに大きくなり、重みが極端な値に発散している。勾配の大きさに上限を設けることが対策になる。

  4. D

    シグモイド関数の微分は最大でも0.25と小さく、勾配が縮みやすい。そこで、中間層にReLUを使うことが対策になる。

正解と解説を見る

正解:A・D

勾配消失は、誤差逆伝播の途中で勾配が小さくなり、入力に近い層の学習が進まなくなる現象。ReLUなどの活性化関数を使うと起きにくくなる。

学習のポイント:勾配が「消える」のは勾配消失、「大きくなりすぎる」のは勾配爆発。過学習とも区別する。

この問題を演習で解く →

生成AIパスポートのトップへ 問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。