Attentionの計算
Attention の基本的な計算の流れとして、最も適切なものを1つ選べ。
- A
クエリとキーの類似度（内積など）をソフトマックス関数で重みに変え、その重みでバリューの重み付きの和をとる。
- B
入力のうち最大の値だけを残し、ほかは捨てる。
- C
入力をランダムに一部隠して、元に戻すように学習する。
- D
入力の平均をとって、すべての要素に同じ重みを与える。
正解と解説を見る
正解：A
Attention は、クエリとキーの類似度から重みを求め、バリューの重み付きの和をとる。
- A
正しい。どの要素にどれだけ注目するかを、データに応じて決められる。
- B
誤り。これは最大プーリングに近い処理。
- C
誤り。これはマスクを使った事前学習などの考え方。
- D
誤り。Attention は、要素ごとに違う重みを与える。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会（JDLA）・一般社団法人生成AI活用普及協会（GUGA）の公式サービスではありません。