AI資格 模擬試験

G検定 模擬試験 第6回 問67・ディープラーニングの要素技術（Attention）

Multi-Query Attention

複数のヘッドで、Queryは別々に持ち、KeyとValueは全ヘッドで共有する注意機構（Multi-Query Attention）の利点として、最も適切なものを1つ選べ。

  1. A

    学習データが、不要になる。

  2. B

    KeyとValueのキャッシュが小さくなり、推論時のメモリと速度が改善される。

  3. C

    ヘッドの数が、必ず増える。

  4. D

    位置情報が、不要になる。

正解と解説を見る

正解：B

Multi-Query Attentionは、KeyとValueを全ヘッドで共有する。推論時のKVキャッシュを小さくできる。Grouped-Queryは、ヘッドをグループに分けて共有する。

学習のポイント：大規模言語モデルの推論の効率化。

この問題を演習で解く →

問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会（JDLA）・一般社団法人生成AI活用普及協会（GUGA）の公式サービスではありません。