AI資格 模擬試験

G検定 模擬試験 第4回 問65・ディープラーニングの要素技術（Attention）

BERTとGPTの構造

TransformerのうちエンコーダだけをもつモデルとデコーダだけをもつモデルをA・Bとする。BERTとGPTの組み合わせとして、最も適切なものを1つ選べ。

  1. A

    BERTはデコーダのみ、GPTはエンコーダのみ

  2. B

    BERTはエンコーダのみ、GPTはデコーダのみ

  3. C

    BERTもGPTも、エンコーダとデコーダの両方を使う

  4. D

    BERTもGPTも、畳み込み層だけで構成される

正解と解説を見る

正解：B

BERTはエンコーダ型で双方向の文脈を使い、GPTはデコーダ型で左から右へ次の単語を予測する。T5はエンコーダ・デコーダ型。

5語の文について、双方向の注意（全部見える）と、過去だけを見る因果マスクの注意（下三角だけ見える）を比べた行列の図。

BERTは前後両方を見る（双方向）、GPTは過去だけを見る（因果マスク）。Masked Self-Attentionは未来の単語を隠す。

学習のポイント：文章の理解に強いのがエンコーダ型、文章の生成に強いのがデコーダ型、という使い分けを覚える。

この問題を演習で解く →

問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会（JDLA）・一般社団法人生成AI活用普及協会（GUGA）の公式サービスではありません。