AI資格 模擬試験

生成AIパスポート 模擬試験 第6回 問10・第2章 生成AI(生成AIを支える技術革新(Transformer以降))

Transformerが大規模化した理由

B社の技術顧問が「RNNに代わってTransformerが主流になったことが、モデルの大規模化を後押しした」と説明した。TransformerがRNNと比べて大規模な学習に向いていた理由として、適切なものを2つ選べ。

  1. A

    系列中のトークンを順番に待たずに同時に処理でき、GPUで並列計算しやすい。

  2. B

    Attentionの計算量は系列長に比例して増えるだけなので、長い文章でも負担が小さい。

  3. C

    離れた位置にあるトークン同士も、1回のAttentionで直接関係づけられる。

  4. D

    単語の並び順を扱う仕組みが要らないため、構造が単純で学習が安定する。

正解と解説を見る

正解:A・C

Transformerは並列計算しやすく、遠くの関係も直接捉えられるため、大量のデータとGPUを使った大規模学習に向いていた。一方で、系列長の2乗に比例する計算量という弱点がある。

学習のポイント:利点は「並列化」と「遠くの関係」、弱点は「長さの2乗の計算量」とセットで覚える。

この問題を演習で解く →

生成AIパスポートのトップへ 問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。