AI資格 模擬試験

生成AIパスポート 模擬試験 第5回 問10・第2章 生成AI(生成AIを支える技術革新(Transformer以降))

RNNに対する優位点

Bさんは、文章生成AIの多くがRNN(再帰型ニューラルネットワーク)ではなくTransformerを基盤にしている理由を、新人向け資料にまとめることにした。RNNと比べたTransformerの利点として適切なものを2つ選べ。

  1. A

    系列の各要素をまとめて同時に処理できるため、GPUで学習を並列化しやすい。

  2. B

    離れた位置にある単語どうしの関係も、直接重みを計算して捉えやすい。

  3. C

    単語を前から1つずつ順番に読み込むため、語順の情報を特別な工夫なしで保持できる。

  4. D

    入力が長くなっても、計算量は入力の長さに比例する程度にしか増えない。

正解と解説を見る

正解:A・B

Transformerの利点は、並列計算ができることと、長い距離の依存関係を捉えやすいことである。一方、入力長に対して計算量が2乗で増える点と、語順を位置エンコーディングで補う必要がある点には注意する。

学習のポイント:「順番に読むので語順が自然にわかる」はRNNの性質であり、Transformerの説明に紛れ込ませたひっかけに注意すること。

この問題を演習で解く →

生成AIパスポートのトップへ 問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。