AI資格 模擬試験

G検定 模擬問題 第1回 問76・ディープラーニングの応用例（自然言語処理）

BERTの事前学習

BERT の説明として、最も適切なものを1つ選べ。

  1. A

    Transformer のエンコーダを使い、文中の一部の単語を隠して当てるタスクなどで事前学習する。

  2. B

    Transformer のデコーダを使い、それまでの単語から次の単語を予測するタスクで事前学習する。

  3. C

    周りの単語から中心の単語を予測する、またはその逆を学習して、単語の分散表現を得る。

  4. D

    RNN のエンコーダで入力文をベクトルにし、デコーダで別の文に変換する。

正解と解説を見る

正解：A

BERT は Transformer のエンコーダを使い、マスクした単語を当てるなどのタスクで双方向の文脈を学習する。

「猫が[MASK]を追う」の[MASK]の部分を、前後の単語から予測する流れを示した図。

BERTの事前学習：文の一部を[MASK]で隠し、前後の文脈から隠された単語を当てる（マスク言語モデル）。次の文かどうかの判定も使う。

学習のポイント：BERT と GPT の違い（エンコーダかデコーダか、双方向か一方向か、事前学習のタスク）を押さえる。

この問題を演習で解く →

問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会（JDLA）・一般社団法人生成AI活用普及協会（GUGA）の公式サービスではありません。