AI資格 模擬試験

生成AIパスポート 模擬試験 第6回 問9・第2章 生成AI(生成AIを支える技術革新(Transformer以降))

マルチヘッド注意の利点

A社の研修担当者が、社内勉強会でTransformerの資料を作っている。資料には「Attentionを1つだけ使うのではなく、複数のヘッドに分けて並列に計算する(マルチヘッドAttention)」と書かれている。この仕組みの主な利点の説明として、最も適切なものを1つ選べ。

  1. A

    ヘッドごとに担当する言語を分けるため、多言語の文章を混ぜずに翻訳できる。

  2. B

    ヘッドの数だけ系列を分割して処理するため、計算量が系列長に比例する程度まで下がる。

  3. C

    ヘッドごとに異なる観点の関係(文法上のつながり、指示語と指す語など)を同時に捉えられる。

  4. D

    ヘッドごとに単語の位置を割り当てるため、位置エンコーディングを使わずに語順を扱える。

正解と解説を見る

正解:C

マルチヘッドAttentionは、注目の計算を複数のヘッドで並列に行い、結果を結合する。ヘッドごとに異なる種類の関係を学べるので、文脈をより豊かに表現できる。

学習のポイント:語順を与えるのは位置エンコーディング、計算量の2乗はヘッドを増やしても残る、の2点を混同しない。

この問題を演習で解く →

生成AIパスポートのトップへ 問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。