GPT
GPT（Generative Pre-trained Transformer）の事前学習の仕方として、最も適切なものを1つ選べ。
- A
Transformer のデコーダを使い、それまでの単語から次の単語を予測するように学習する。
- B
文中の一部の単語を隠して、前後の文脈から当てるように学習する。
- C
画像とテキストの対応を学習する。
- D
ラベル付きのデータだけで学習する。
正解と解説を見る
正解：A
GPT は、Transformer のデコーダで次の単語を予測する自己回帰型の言語モデル。
| モデル | 構造・特徴 |
|---|---|
| BERT | Transformerのエンコーダ。穴埋め（マスク言語モデル）で事前学習。文の理解に強い |
| GPT | Transformerのデコーダ。次の語を予測して事前学習。文章の生成に強い |
- A
正しい。左から右へ一方向に文脈を使う自己回帰型の言語モデルで、文章の生成に向く。
- B
誤り。これは BERT の Masked Language Model の説明。
- C
誤り。これは CLIP などの説明。
- D
誤り。GPT は大量のラベルなしの文章で事前学習する。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会（JDLA）・一般社団法人生成AI活用普及協会（GUGA）の公式サービスではありません。