事前学習の提案

正解：D

ヒントンらは、1層ずつ事前学習してから全体を学習する方法で、深いネットワークを学習しやすくした。

ディープラーニングの歴史：誤差逆伝播法の普及（1986）・LeNet・事前学習の提案（2006）・ILSVRC 2012（AlexNet）・GAN・ResNet・Transformer・GPT-3・ChatGPT・GPT-4。

• A

  誤り。深いネットワークを学習するための工夫が求められていた。

• B

  誤り。重みがすべて同じだと、うまく学習できない。

• C

  誤り。活性化関数がないと、層を重ねても線形な変換しかできない。

• D

  正しい。深いネットワークでも学習が進むようになり、ディープラーニングが注目されるきっかけになった。現在は ReLU や初期化の工夫などで、事前学習なしで学習することが多い。

学習のポイント：事前学習（積層オートエンコーダ、深層信念ネットワーク）の考え方を押さえる。