AI資格 模擬試験

生成AIパスポート 模擬試験 第5回 問9・第2章 生成AI(生成AIを支える技術革新(Transformer以降))

マルチヘッド注意の狙い

開発部のAさんは、社内勉強会でTransformerの仕組みを説明している。Transformerでは、Attentionを複数の「ヘッド」に分けて並列に計算するマルチヘッドアテンションが使われる。この仕組みを採用する主な狙いとして、最も適切なものを1つ選べ。

  1. A

    単語の並び順の情報を各ヘッドに分けて持たせ、位置エンコーディングを使わなくて済むようにする。

  2. B

    ヘッドごとに別々の候補文を生成し、その中から最も確率の高い文を最終出力として選べるようにする。

  3. C

    ヘッドごとに異なる観点の関係(係り受け、指示語の参照先など)を同時に捉え、結果を統合できるようにする。

  4. D

    ヘッドごとに異なる言語を担当させ、多言語が混ざった入力を言語別に分けて処理できるようにする。

正解と解説を見る

正解:C

マルチヘッドアテンションは、Attentionを複数のヘッドで並列に計算し、それぞれが別の関係性を捉えたうえで結果を統合する仕組みである。そのため、1つのAttentionよりも豊かな文脈表現が得られる。

学習のポイント:「複数の候補を出して選ぶ」のはビームサーチ、「語順」は位置エンコーディングの役割であり、ヘッドの役割と取り違えないこと。

この問題を演習で解く →

生成AIパスポートのトップへ 問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。