AI資格 模擬試験

生成AIパスポート 模擬試験 第4回 問9・第2章 生成AI(生成AIを支える技術革新(Transformer以降))

位置エンコーディングの役割

A社の研修で、講師が次のように説明した。「Transformerにとって『犬が猫を追う』と『猫が犬を追う』は、語の並びを示す情報を加えなければ区別しにくい。そのため、各トークンに位置の情報を加えている」。この位置情報を加える理由として、最も適切なものを1つ選べ。

  1. A

    辞書にない単語を出現位置ごとに細かく分けて登録し、未知語が出ないようにする。

  2. B

    位置情報を加えて注目する範囲を近くの単語だけに限り、Attentionの計算量を減らして処理を速くする。

  3. C

    Attentionの計算だけでは語の並び順を区別できないため、各トークンに位置を表す情報を加えて語順を反映させる。

  4. D

    単語を前から1つずつ順番に処理させ、前の単語の情報を次の単語へ受け渡せるようにする。

正解と解説を見る

正解:C

Transformerは全トークンを並列に処理するため、そのままでは語順の情報がない。そこで位置エンコーディングを加えて、語順を区別できるようにしている。

学習のポイント:「順番に処理する」はRNNの特徴。Transformerは並列に処理し、語順は位置情報で補う。

この問題を演習で解く →

生成AIパスポートのトップへ 問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。