RNNに対する優位点
Bさんは、文章生成AIの多くがRNN(再帰型ニューラルネットワーク)ではなくTransformerを基盤にしている理由を、新人向け資料にまとめることにした。RNNと比べたTransformerの利点として適切なものを2つ選べ。
- A
系列の各要素をまとめて同時に処理できるため、GPUで学習を並列化しやすい。
- B
離れた位置にある単語どうしの関係も、直接重みを計算して捉えやすい。
- C
単語を前から1つずつ順番に読み込むため、語順の情報を特別な工夫なしで保持できる。
- D
入力が長くなっても、計算量は入力の長さに比例する程度にしか増えない。
正解と解説を見る
正解:A・B
Transformerの利点は、並列計算ができることと、長い距離の依存関係を捉えやすいことである。一方、入力長に対して計算量が2乗で増える点と、語順を位置エンコーディングで補う必要がある点には注意する。
- A
正しい。RNNは前の時刻の計算結果を待って次へ進む必要がある。Transformerは系列全体を同時に計算できるので、大規模な学習に向いている。
- B
正しい。Attentionは任意の2つの位置の関係を直接計算する。そのため、RNNで情報が薄れやすかった長い距離の関係も捉えやすい。
- C
誤り。これはRNNの特徴である。Transformerは要素をまとめて処理するので、語順を表すには位置エンコーディングが必要になる。
- D
誤り。標準的なSelf-Attentionの計算量は、入力長のおおむね2乗に比例して増える。長い入力が重くなるのはTransformerの弱点である。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。