AI資格 模擬試験

G検定 模擬問題 第1回 問59・ディープラーニングの要素技術（Attention）

スケール化内積注意

Transformer のスケール化内積注意（Scaled Dot-Product Attention）で、クエリとキーの内積を √d（d はキーの次元数）で割る理由として、最も適切なものを1つ選べ。

  1. A

    単語の順番の情報をベクトルに加えるため。

  2. B

    次元数が大きいと内積の値が大きくなり、ソフトマックス関数の出力が極端になって勾配が小さくなるのを防ぐため。

  3. C

    未来の単語を参照しないように、注意の重みを隠すため。

  4. D

    複数の注意を並列に計算し、異なる観点の関係をとらえるため。

正解と解説を見る

正解：B

√d で割るのは、内積が大きくなりすぎてソフトマックスの勾配が消えるのを防ぐため。

学習のポイント：Transformer の構成要素（Self-Attention、マルチヘッド、位置エンコーディング、マスク）の役割を区別する。

この問題を演習で解く →

問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会（JDLA）・一般社団法人生成AI活用普及協会（GUGA）の公式サービスではありません。