AI資格 模擬試験

生成AIパスポート 模擬試験 第3回 問19・第2章 生成AI(生成AIを支える技術革新(Transformer以降))

後ろの単語を隠すマスク

A社のエンジニアが、文章を生成するデコーダ型のTransformerを学習させている。学習では、正解の文全体を一度に入力して、すべての位置の予測を並列に計算する。そのうえで、各位置の予測では、その位置より後ろにある単語をAttentionで参照できないようにする処理(マスク)を入れている。この処理の目的として、最も適切なものを1つ選べ。

  1. A

    学習データに含まれる個人情報や機密の語句を隠し、モデルがそれを記憶しないようにするため。

  2. B

    注目する単語を直前の数語に限って計算量を減らし、長い文章を高速に処理できるようにするため。

  3. C

    Attentionだけでは語順がわからないので、単語の並び順の情報を与えて、語順の違いを区別できるようにするため。

  4. D

    生成時は前の単語だけを手がかりに次の単語を予測するので、学習時も後ろの正解を見られないようにするため。

正解と解説を見る

正解:D

デコーダ型のTransformerは、後ろの位置を隠すマスク(因果マスク)を使う。これにより、自己回帰で生成するときと同じ条件を保ったまま、文全体の予測を並列に学習できる。

学習のポイント:語順を与えるのは位置エンコーディング、後ろを隠すのはマスク。どちらもTransformerの部品なので取り違えやすい。

この問題を演習で解く →

生成AIパスポートのトップへ 問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。