AI資格 模擬試験

G検定 模擬問題 第2回 問70・ディープラーニングの要素技術（Attention）

Transformer

2017年の論文「Attention Is All You Need」で提案された Transformer の特徴として、最も適切なものを1つ選べ。

  1. A

    RNN を使い、系列を1つずつ順番に処理する。

  2. B

    画像専用のモデルで、言語には使えない。

  3. C

    畳み込み層だけでできている。

  4. D

    RNN を使わず Attention だけで系列を処理するため、並列に計算しやすく、離れた位置の関係もとらえやすい。

正解と解説を見る

正解：D

Transformer は RNN を使わず Attention で系列を処理し、並列計算しやすい。

Self-Attention、足し算と正規化、フィードフォワード、足し算と正規化の順につながるTransformerブロックの図。

Transformerのブロックは、Self-Attentionとフィードフォワード層を、残差接続と正規化でつないで重ねる。

学習のポイント：Transformer のエンコーダ（BERT）とデコーダ（GPT）の使われ方を押さえる。

この問題を演習で解く →

問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会（JDLA）・一般社団法人生成AI活用普及協会（GUGA）の公式サービスではありません。