位置エンコーディングの役割
A社の研修で、講師が次のように説明した。「Transformerにとって『犬が猫を追う』と『猫が犬を追う』は、語の並びを示す情報を加えなければ区別しにくい。そのため、各トークンに位置の情報を加えている」。この位置情報を加える理由として、最も適切なものを1つ選べ。
- A
辞書にない単語を出現位置ごとに細かく分けて登録し、未知語が出ないようにする。
- B
位置情報を加えて注目する範囲を近くの単語だけに限り、Attentionの計算量を減らして処理を速くする。
- C
Attentionの計算だけでは語の並び順を区別できないため、各トークンに位置を表す情報を加えて語順を反映させる。
- D
単語を前から1つずつ順番に処理させ、前の単語の情報を次の単語へ受け渡せるようにする。
正解と解説を見る
正解:C
Transformerは全トークンを並列に処理するため、そのままでは語順の情報がない。そこで位置エンコーディングを加えて、語順を区別できるようにしている。
- A
誤り。未知語への対応は、サブワード単位に分割するトークナイザの役割であり、位置エンコーディングとは関係がない。
- B
誤り。位置エンコーディングは、注目する範囲を狭めて計算量を減らす仕組みではない。語順の情報を加えるための仕組みである。
- C
正しい。Self-Attentionは入力を集合のように扱い、順番を区別しない。位置エンコーディングを加えることで語順を区別できるようになる。
- D
誤り。RNNの処理方法の説明。Transformerは順番に処理せず、並列に計算する。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。