AI資格 模擬試験

G検定 模擬問題 第2回 問54・ディープラーニングの概要(活性化関数)

GELU

BERT や GPT などの Transformer を使ったモデルでよく使われる、ReLU に似ているが 0 の付近でなめらかに変化する活性化関数として、最も適切なものを1つ選べ。

  1. A

    ステップ関数

  2. B

    ソフトマックス関数

  3. C

    GELU(Gaussian Error Linear Unit)

  4. D

    恒等関数

正解と解説を見る

正解:C

GELU は、Transformer 系のモデルでよく使われる、なめらかな ReLU に似た活性化関数。

ReLUと、ELU、GELU、Swish、Mish、ソフトプラスの曲線を重ねた図。ReLUの角がなめらかになっている。

ELU・GELU・Swish・Mish・ソフトプラスは、ReLUをなめらかにした活性化関数(図の6本の曲線)。

学習のポイント:活性化関数の種類(ステップ、シグモイド、tanh、ReLU、Leaky ReLU、GELU)と使われる場所を整理する。

この問題を演習で解く →

問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。