AI資格 模擬試験

G検定 模擬問題 第3回 問68・ディープラーニングの要素技術（Attention）

Self-Attentionの計算量

Transformer の Self-Attention で、入力の系列の長さが長くなると計算量が大きく増える理由として、最も適切なものを1つ選べ。

  1. A

    系列の長さに関係なく、計算量は常に一定だから

  2. B

    系列を1つずつ順番にしか処理できないから

  3. C

    すべての要素どうしの組合せで関係を計算するため、計算量が系列の長さの2乗に比例して増えるから

  4. D

    位置エンコーディングの計算が非常に重いから

正解と解説を見る

正解：C

Self-Attention は、要素どうしのすべての組合せを計算するため、計算量が系列の長さの2乗で増える。

学習のポイント：大規模言語モデルで、扱える文章の長さ（コンテキスト長）に限りがある理由を押さえる。

この問題を演習で解く →

問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会（JDLA）・一般社団法人生成AI活用普及協会（GUGA）の公式サービスではありません。