マルチヘッド注意の利点
A社の研修担当者が、社内勉強会でTransformerの資料を作っている。資料には「Attentionを1つだけ使うのではなく、複数のヘッドに分けて並列に計算する(マルチヘッドAttention)」と書かれている。この仕組みの主な利点の説明として、最も適切なものを1つ選べ。
- A
ヘッドごとに担当する言語を分けるため、多言語の文章を混ぜずに翻訳できる。
- B
ヘッドの数だけ系列を分割して処理するため、計算量が系列長に比例する程度まで下がる。
- C
ヘッドごとに異なる観点の関係(文法上のつながり、指示語と指す語など)を同時に捉えられる。
- D
ヘッドごとに単語の位置を割り当てるため、位置エンコーディングを使わずに語順を扱える。
正解と解説を見る
正解:C
マルチヘッドAttentionは、注目の計算を複数のヘッドで並列に行い、結果を結合する。ヘッドごとに異なる種類の関係を学べるので、文脈をより豊かに表現できる。
- A
誤り。ヘッドは言語ごとに割り当てられるものではない。どの関係を捉えるかは学習の結果として決まる。
- B
誤り。各ヘッドは系列全体を見るので、系列長の2乗に比例する計算量は基本的に変わらない。
- C
正しい。ヘッドごとに異なる重みで注目先を計算するため、1つのAttentionでは混ざってしまう複数の関係を並行して表現できる。
- D
誤り。Attention自体は語順を区別しない。語順の情報は位置エンコーディングなどで別に与える。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。