Self-Attention
図は、2017年に提案されたモデルが、文「猫がネズミを追う」の「追う」を処理するとき、文中の各単語にどれだけ注目しているかを重みで示したものである。このように、文中の各単語が他のどの単語とどれくらい関係があるかを計算して文脈を捉える、このモデルの中核の仕組みとして、最も適切なものを1つ選べ。
- A
位置エンコーディング（Positional Encoding）
- B
残差接続（スキップ接続）
- C
Self-Attention（自己注意機構）
- D
畳み込み（Convolution）
正解と解説を見る
正解：C
Self-Attentionは、系列の各要素について、他の要素（デコーダでは、それより前の要素）との関連の強さを計算する。系列を順番に処理しなくてよいので、並列に計算でき、長い距離の関係も捉えやすい。
- A
誤り。Transformerの部品だが、単語の順番の情報を加える仕組み。単語どうしの関係を計算するのはSelf-Attention。
- B
誤り。層の入力を出力に足して、深い層の学習を安定させる仕組み。
- C
正しい。単語どうしの関連の強さを重みとして計算する。
- D
誤り。CNNで、画像の局所的な特徴を取り出す処理。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会（JDLA）・一般社団法人生成AI活用普及協会（GUGA）の公式サービスではありません。