AI資格 模擬試験

G検定 模擬試験 第6回 問71・ディープラーニングの要素技術（Attention）

Transformerブロックの構成

次の文章を読み、（ア）（イ）（ウ）に入る語句の組み合わせとして最も適切なものを1つ選べ。

Transformerの1つのブロックは、（ア）で位置どうしの情報を混ぜ、（イ）で各位置の表現を変換し、それぞれを（ウ）と層正規化で包んで、深い層でも学習できるようにしている。

  1. A

    （ア）フィードフォワード層　（イ）自己注意　（ウ）残差接続

  2. B

    （ア）自己注意　（イ）フィードフォワード層　（ウ）残差接続

  3. C

    （ア）自己注意　（イ）残差接続　（ウ）フィードフォワード層

  4. D

    （ア）畳み込み　（イ）プーリング　（ウ）ドロップアウト

正解と解説を見る

正解：B

Transformerのブロックは、自己注意、フィードフォワード層、残差接続、層正規化から成る。自己注意が位置間の関係を、フィードフォワード層が各位置の表現を担う。

Self-Attention、足し算と正規化、フィードフォワード、足し算と正規化の順につながるTransformerブロックの図。

Transformerのブロックは、Self-Attentionとフィードフォワード層を、残差接続と正規化でつないで重ねる。

学習のポイント：層を深く積んでも、学習が安定する。

この問題を演習で解く →

問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会（JDLA）・一般社団法人生成AI活用普及協会（GUGA）の公式サービスではありません。