Transformerが大規模化した理由
B社の技術顧問が「RNNに代わってTransformerが主流になったことが、モデルの大規模化を後押しした」と説明した。TransformerがRNNと比べて大規模な学習に向いていた理由として、適切なものを2つ選べ。
- A
系列中のトークンを順番に待たずに同時に処理でき、GPUで並列計算しやすい。
- B
Attentionの計算量は系列長に比例して増えるだけなので、長い文章でも負担が小さい。
- C
離れた位置にあるトークン同士も、1回のAttentionで直接関係づけられる。
- D
単語の並び順を扱う仕組みが要らないため、構造が単純で学習が安定する。
正解と解説を見る
正解:A・C
Transformerは並列計算しやすく、遠くの関係も直接捉えられるため、大量のデータとGPUを使った大規模学習に向いていた。一方で、系列長の2乗に比例する計算量という弱点がある。
- A
正しい。RNNは前の時刻の計算結果を待つ必要があるが、Transformerは学習時に系列全体をまとめて計算できる。
- B
誤り。Self-Attentionの計算量は系列長の2乗に比例して増える。長い文章ほど負担が大きくなるのが弱点。
- C
正しい。RNNでは情報が多くの時刻をたどって伝わるため、遠くの関係が弱まりやすい。Attentionでは直接参照できる。
- D
誤り。Attentionだけでは語順を区別できないため、位置エンコーディングで順序の情報を加えている。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。