AI資格 模擬試験

G検定 模擬試験 第6回 問70・ディープラーニングの要素技術（Attention）

パディングマスク

可変長の文章をバッチにまとめるときに、短い文を埋めたダミーの部分（パディング）を、注意機構が参照しないようにするための工夫として、最も適切なものを1つ選べ。

  1. A

    パディングも、通常の単語と同じように、注意の対象にする。

  2. B

    パディングの位置のスコアを非常に小さな値にして、ソフトマックスの後の重みが0になるようにマスクする。

  3. C

    パディングの位置を、学習データから削除する。

  4. D

    パディングには、乱数を入れる。

正解と解説を見る

正解：B

パディングマスクは、注意のスコアで、パディングの位置を除外する。デコーダでは、未来の位置を隠す因果マスクも使う。

長さ4と長さ2の2つの文を、長さ4にそろえるために<PAD>を足し、<PAD>の位置に注意を向けないマスク（0）を示した表と図。

パディングマスク：長さの違う文を同じ長さにそろえるために足した<PAD>には、注意（Attention）を向けないようにマスクする。

学習のポイント：両方のマスクを組み合わせることもある。

この問題を演習で解く →

問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会（JDLA）・一般社団法人生成AI活用普及協会（GUGA）の公式サービスではありません。