AI資格 模擬試験

生成AIパスポート 模擬試験 第2回 問10・第2章 生成AI(生成AIを支える技術革新(Transformer以降))

Attentionの計算量

Self-Attentionでは、各トークンについて、入力内のすべてのトークンとの関連度(Attentionスコア)を計算する。ほかの条件を変えずに、入力を4,000トークンから12,000トークンに増やしたとき、計算するAttentionスコアの数(トークンの組の数)はおよそ何倍になるか。最も適切なものを1つ選べ。

  1. A

    約3倍

  2. B

    約6倍

  3. C

    約9倍

  4. D

    約27倍

正解と解説を見る

正解:C

Self-Attentionの計算量とメモリ量は、系列長nの2乗に比例して増える。このため、コンテキストを長くするとコストが急に大きくなり、計算を効率化する工夫が研究されている。

学習のポイント:長さが3倍なら計算は9倍。比例(3倍)と答えるミスがよくある。

この問題を演習で解く →

生成AIパスポートのトップへ 問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。