Sliding Window Attention
長い系列で、各位置が、前後の一定の範囲（窓）の位置だけに注意を向ける方式の利点として、最も適切なものを1つ選べ。
- A
すべての位置に、常に直接注意を向けられる。
- B
計算量が、系列の長さの2乗になる。
- C
位置の情報が、不要になる。
- D
計算量とメモリが、系列の長さに対して、線形に近くなり、長い文章を扱いやすくなる。
正解と解説を見る
正解：D
通常の自己注意は、系列の長さの2乗の計算量。窓を限定すると、長さに比例する計算量になる。LongformerやMistralなどで採用された。
- A
誤り。窓の範囲に限られる。
- B
誤り。通常の自己注意の計算量。
- C
誤り。位置の情報は必要。
- D
正しい。離れた位置への注意は、層を重ねることで伝える。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会（JDLA）・一般社団法人生成AI活用普及協会（GUGA）の公式サービスではありません。