Pre-LN
Transformerで、層正規化をサブ層（Attentionやフィードフォワード層）の前に置く構成（Pre-LN）の利点として、最も適切なものを1つ選べ。
- A
パラメータの数が必ず半分になる
- B
正規化が不要になる
- C
学習が安定しやすく、層が深くても勾配が伝わりやすい
- D
位置エンコーディングが不要になる
正解と解説を見る
正解：C
Pre-LNは、サブ層の前に層正規化を置く。深いTransformerの学習が安定しやすい。
- A
誤り。パラメータ数は変わらない。
- B
誤り。正規化を行う位置が変わるだけ。
- C
正しい。元の論文の、サブ層の後に置く構成（Post-LN）に比べて、学習初期が安定しやすい。
- D
誤り。位置の情報は別の仕組みで与える。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会（JDLA）・一般社団法人生成AI活用普及協会（GUGA）の公式サービスではありません。