AI資格 模擬試験

G検定 模擬問題 第1回 問71・ディープラーニングの要素技術（Attention）

位置エンコーディング

Transformer で位置エンコーディング（Positional Encoding）が必要な理由として、最も適切なものを1つ選べ。

  1. A

    単語の数を減らして計算量を抑えるため。

  2. B

    語彙にない単語を扱えるようにするため。

  3. C

    勾配消失を防ぐため。

  4. D

    RNN を使わない Transformer は、そのままでは単語の順番の情報を扱えないため。

正解と解説を見る

正解：D

位置エンコーディングは、順番の情報を持たない Transformer に単語の位置を教えるために使う。

位置と次元ごとにsinとcosの値を並べた図。位置が違うと異なる縞模様になる。

位置エンコーディング：Attentionは語順を区別できないので、位置ごとに異なるパターン（sin・cos）を足して順番を伝える。

学習のポイント：RNN と Transformer で、順番の情報の扱い方がどう違うかを押さえる。

この問題を演習で解く →

問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会（JDLA）・一般社団法人生成AI活用普及協会（GUGA）の公式サービスではありません。