マルチヘッド注意の狙い
開発部のAさんは、社内勉強会でTransformerの仕組みを説明している。Transformerでは、Attentionを複数の「ヘッド」に分けて並列に計算するマルチヘッドアテンションが使われる。この仕組みを採用する主な狙いとして、最も適切なものを1つ選べ。
- A
単語の並び順の情報を各ヘッドに分けて持たせ、位置エンコーディングを使わなくて済むようにする。
- B
ヘッドごとに別々の候補文を生成し、その中から最も確率の高い文を最終出力として選べるようにする。
- C
ヘッドごとに異なる観点の関係(係り受け、指示語の参照先など)を同時に捉え、結果を統合できるようにする。
- D
ヘッドごとに異なる言語を担当させ、多言語が混ざった入力を言語別に分けて処理できるようにする。
正解と解説を見る
正解:C
マルチヘッドアテンションは、Attentionを複数のヘッドで並列に計算し、それぞれが別の関係性を捉えたうえで結果を統合する仕組みである。そのため、1つのAttentionよりも豊かな文脈表現が得られる。
- A
誤り。語順の情報を与えるのは位置エンコーディング(位置埋め込み)の役割で、マルチヘッドにしても語順の情報は必要なままである。
- B
誤り。複数の候補文を並行して探す方法はビームサーチなどの生成時の探索手法であり、Attentionのヘッドの役割ではない。
- C
正しい。各ヘッドがそれぞれ別の重みで単語どうしの関係を計算する。その結果を結合するので、文脈を多面的に捉えられる。
- D
誤り。ヘッドは言語ごとに割り当てられるものではない。どのヘッドも同じ入力全体について関係を計算する。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。