AI資格 模擬試験

生成AIパスポート 模擬試験 第3回 問9・第2章 生成AI(生成AIを支える技術革新(Transformer以降))

Attention出力の計算

表は、Self-Attentionで単語「読む」を処理するときの、各単語への注意の重み(ソフトマックス適用後で、合計は1)と、各単語のValue(説明のため1次元の値にしたもの)である。この位置のAttentionの出力は、Valueを注意の重みで加重して合計した値になる。出力の値として、最も適切なものを1つ選べ。なお、小数第2位を四捨五入する。

  1. A

    2.0

  2. B

    4.6

  3. C

    6.7

  4. D

    8.6

正解と解説を見る

正解:B

Attentionの出力は、QueryとKeyから求めた重みでValueを加重して合計した値。関係の強い単語ほど出力への影響が大きくなる。

単語注意の重みValue
私0.62
本0.38
読む0.110

学習のポイント:重みが最大の単語だけを使う、単純平均にする、重みの対応を取り違える、といった計算ミスに注意する。

この問題を演習で解く →

生成AIパスポートのトップへ 問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。