GELU
BERT や GPT などの Transformer を使ったモデルでよく使われる、ReLU に似ているが 0 の付近でなめらかに変化する活性化関数として、最も適切なものを1つ選べ。
- A
ステップ関数
- B
ソフトマックス関数
- C
GELU(Gaussian Error Linear Unit)
- D
恒等関数
正解と解説を見る
正解:C
GELU は、Transformer 系のモデルでよく使われる、なめらかな ReLU に似た活性化関数。

- A
誤り。入力が0を超えると1、それ以外は0を出力する関数で、微分がほとんどの場所で0になるため、誤差逆伝播法には向かない。
- B
誤り。多クラス分類の出力層で使う関数。
- C
正しい。入力に、正規分布にもとづく値を掛けて出力する。負の入力でも完全には0にならず、なめらかに変化する。
- D
誤り。入力をそのまま出力する関数で、非線形性がない。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。