後ろの単語を隠すマスク
A社のエンジニアが、文章を生成するデコーダ型のTransformerを学習させている。学習では、正解の文全体を一度に入力して、すべての位置の予測を並列に計算する。そのうえで、各位置の予測では、その位置より後ろにある単語をAttentionで参照できないようにする処理(マスク)を入れている。この処理の目的として、最も適切なものを1つ選べ。
- A
学習データに含まれる個人情報や機密の語句を隠し、モデルがそれを記憶しないようにするため。
- B
注目する単語を直前の数語に限って計算量を減らし、長い文章を高速に処理できるようにするため。
- C
Attentionだけでは語順がわからないので、単語の並び順の情報を与えて、語順の違いを区別できるようにするため。
- D
生成時は前の単語だけを手がかりに次の単語を予測するので、学習時も後ろの正解を見られないようにするため。
正解と解説を見る
正解:D
デコーダ型のTransformerは、後ろの位置を隠すマスク(因果マスク)を使う。これにより、自己回帰で生成するときと同じ条件を保ったまま、文全体の予測を並列に学習できる。
- A
誤り。データの匿名化(マスキング)と取り違えている。このマスクは、文中の位置どうしの参照関係を制限するもので、情報を保護するためのものではない。
- B
誤り。直前の一定範囲だけに注目する方式(スライディングウィンドウ型のAttention)の説明。このマスクは前の単語をすべて参照できるようにし、後ろの単語だけを隠す。
- C
誤り。これは位置エンコーディングの役割。マスクは、どの単語を参照してよいかを制限する仕組み。
- D
正しい。後ろの単語が見えると、正解を見て答える学習になってしまう。マスクで生成時と同じ条件にそろえることで、並列に学習できる。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。