Attention出力の計算
表は、Self-Attentionで単語「読む」を処理するときの、各単語への注意の重み(ソフトマックス適用後で、合計は1)と、各単語のValue(説明のため1次元の値にしたもの)である。この位置のAttentionの出力は、Valueを注意の重みで加重して合計した値になる。出力の値として、最も適切なものを1つ選べ。なお、小数第2位を四捨五入する。
- A
2.0
- B
4.6
- C
6.7
- D
8.6
正解と解説を見る
正解:B
Attentionの出力は、QueryとKeyから求めた重みでValueを加重して合計した値。関係の強い単語ほど出力への影響が大きくなる。
| 単語 | 注意の重み | Value |
|---|---|---|
| 私 | 0.6 | 2 |
| 本 | 0.3 | 8 |
| 読む | 0.1 | 10 |
- A
誤り。重みが最も大きい単語「私」のValueだけを選んだ値。Attentionは全単語のValueを重みで混ぜ合わせる。
- B
正しい。0.6×2+0.3×8+0.1×10=1.2+2.4+1.0=4.6。
- C
誤り。重みを使わず、Valueを単純に平均した値(20÷3≒6.7)。
- D
誤り。重みとValueの対応を逆にした値(0.1×2+0.3×8+0.6×10=8.6)。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。