エンコーダ型とデコーダ型
A社は、問い合わせメールを「請求」「不具合」「解約」などに自動で分類する機能と、問い合わせへの返信文を自動で作る機能を検討している。Transformerを使うモデルの構成と用途の関係について、最も適切なものを1つ選べ。
- A
デコーダのみの構成は文の前後を同時に参照する双方向のAttentionを使うので分類に向き、文章を順に作る生成にはエンコーダのみの構成が向く。
- B
Transformerはエンコーダとデコーダの両方がそろって初めて動く仕組みなので、どちらか一方だけで構成したモデルは実用化されていない。
- C
エンコーダのみの構成は文全体を前後両方向から読むので分類や検索用の埋め込みに向き、デコーダのみの構成は前のトークンから次を予測するので文章生成に向く。
- D
エンコーダ・デコーダ構成は画像を扱うために考えられた方式なので、翻訳や要約のように文章を別の文章に変換するタスクには使われない。
正解と解説を見る
正解:C
Transformerには、エンコーダのみ(理解・分類・埋め込み)、デコーダのみ(文章生成)、エンコーダ・デコーダ(翻訳・要約)の3つの構成がある。現在の対話型LLMの多くはデコーダのみの構成である。
- A
誤り。役割が逆になっている。デコーダは後ろのトークンを見ないようにマスクをかけ、前から順に生成する。
- B
誤り。分類などに使うエンコーダのみのモデルも、現在の多くのLLMのようなデコーダのみのモデルも広く実用化されている。
- C
正しい。エンコーダは双方向に文脈を捉えるので理解系のタスクに向き、デコーダは次トークン予測を繰り返すので生成系のタスクに向く。
- D
誤り。もともとのTransformerは機械翻訳のためのエンコーダ・デコーダ構成で、翻訳や要約に使われてきた。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。