相対位置エンコーディング
Transformerの位置情報の与え方のうち、各語の絶対的な位置ではなく、語どうしの相対的な位置関係を扱いやすくし、回転行列を使う方法（RoPE）の特徴として、最も適切なものを1つ選べ。
- A
QueryとKeyに位置に応じた回転を加え、内積に相対的な位置の情報が反映される
- B
位置の情報を、一切使わない
- C
語を、アルファベット順に並べ替える
- D
文章を画像に変換してから処理する
正解と解説を見る
正解：A
RoPEは、QueryとKeyを位置に応じて回転させる。内積が相対位置に依存するようになり、多くの大規模言語モデルで使われる。
| 方式 | 位置の表し方 | 例 |
|---|---|---|
| 絶対位置 | 単語が先頭から何番目か | sin・cosを足す、学習する埋め込み |
| 相対位置 | 2つの単語の距離（何語離れているか） | 相対位置バイアス、RoPE（回転） |
- A
正しい。長い文章への拡張もしやすい。
- B
誤り。位置の情報を使う。
- C
誤り。そのような処理ではない。
- D
誤り。そのような処理ではない。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会（JDLA）・一般社団法人生成AI活用普及協会（GUGA）の公式サービスではありません。