G検定模擬試験第6回問66・ディープラーニングの要素技術（Attention）

Flash Attention

Transformerの注意機構の計算で、結果を変えずに、GPUのメモリへのアクセスを減らす工夫（タイル分割など）で、高速化とメモリの節約を実現した手法として、最も適切なものを1つ選べ。

正解と解説を見る

正解：C

Flash Attentionは、注意機構の計算を、小さなブロックに分け、高速なメモリ（SRAM）の中で行う。長い系列でも、メモリの使用量が抑えられる。

学習のポイント：計算の結果は、通常の注意機構と等しい。

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会（JDLA）・一般社団法人生成AI活用普及協会（GUGA）の公式サービスではありません。