Attentionの計算量
Self-Attentionでは、各トークンについて、入力内のすべてのトークンとの関連度(Attentionスコア)を計算する。ほかの条件を変えずに、入力を4,000トークンから12,000トークンに増やしたとき、計算するAttentionスコアの数(トークンの組の数)はおよそ何倍になるか。最も適切なものを1つ選べ。
- A
約3倍
- B
約6倍
- C
約9倍
- D
約27倍
正解と解説を見る
正解:C
Self-Attentionの計算量とメモリ量は、系列長nの2乗に比例して増える。このため、コンテキストを長くするとコストが急に大きくなり、計算を効率化する工夫が研究されている。
- A
誤り。トークン数の比(12,000÷4,000=3)をそのまま答えている。組の数はトークン数の2乗に比例する。
- B
誤り。3倍を2倍するという誤った計算をしている。2乗であれば3×3になる。
- C
正しい。組の数はn×nに比例するので、(12,000÷4,000)²=3²=9倍になる。前方だけを見るマスクがあって組の数がほぼ半分になっても、倍率は変わらない。
- D
誤り。3の3乗にしている。Attentionスコアは2つのトークンの組ごとに計算するので、2乗になる。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。