AI資格 模擬試験

G検定 模擬問題 第3回 問67・ディープラーニングの要素技術（Attention）

Masked Self-Attention

1. A

   まだ生成していない未来の単語の情報を参照できないようにし、前の単語だけから次の単語を予測させるため

2. B

   単語の数を減らして計算を速くするため

3. C

   単語の位置の情報を加えるため

4. D

   画像の一部を隠してデータを増やすため

正解と解説を見る

正解：A

マスク付きの Self-Attention は、未来の単語を参照できないようにする。

BERTは前後両方を見る（双方向）、GPTは過去だけを見る（因果マスク）。Masked Self-Attentionは未来の単語を隠す。

• A

  正しい。学習のときにも、推論のときと同じ条件にする。

• B

  誤り。マスクの目的ではない。

• C

  誤り。これは位置エンコーディングの役割。

• D

  誤り。これは Cutout などのデータ拡張の説明。

学習のポイント：BERT のマスク（単語を隠して当てる）と、デコーダのマスク（未来を見ない）の違いを押さえる。

問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会（JDLA）・一般社団法人生成AI活用普及協会（GUGA）の公式サービスではありません。