活性化関数が必要な理由
A社の開発チームで、ニューラルネットワークの隠れ層の活性化関数を、すべて恒等関数(入力をそのまま出力する関数)に置き換える案が出た。この案の問題点として最も適切なものを1つ選べ。
- A
恒等関数は微分できないので、誤差逆伝播で勾配を計算できず、学習が始まらない。
- B
何層重ねても全体が1層の線形変換と同じになり、曲線的な境界や複雑な関係を表現できない。
- C
入力が重みを通らずにそのまま出力へ渡るので、学習で調整するパラメータがなくなる。
- D
層を深くするほど表現力は増すので問題はなく、活性化関数の種類は精度に影響しない。
正解と解説を見る
正解:B
活性化関数は、ネットワークに非線形性を与える役割を持つ。非線形性がないと、深いネットワークでも1層の線形モデルと同じ表現力になる。
- A
誤り。恒等関数の微分は常に1で、勾配は計算できる。問題は学習できないことではなく、表現力が線形の範囲にとどまること。
- B
正しい。線形変換を何回重ねても線形変換のままになる。層を重ねて複雑な関係を表すには、ReLUやシグモイドなどの非線形な活性化関数が必要。
- C
誤り。活性化関数を変えても、各層の重みとバイアスは残り、学習で調整される。活性化関数と重みの役割を取り違えている。
- D
誤り。非線形性がなければ、層を深くしても表現力は増えない。活性化関数の選び方は精度や学習のしやすさに影響する。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。