トークン化
大規模言語モデルが、文章を、モデルが扱いやすい小さな単位（単語や、単語の一部など）に分割する処理として、最も適切なものを1つ選べ。
- A
埋め込み（エンベディング）
- B
トークン化
- C
ドロップアウト
- D
正規化（バッチ正規化）
正解と解説を見る
正解：B
文章はトークンに分割され、各トークンは、埋め込み（ベクトル）に変換される。トークン数が、入力の長さや料金の単位になることが多い。
| 入力文 | トークンの例 |
|---|---|
| 生成AIは便利です | 生成 / AI / は / 便利 / です |
| unbelievable | un / believ / able |
- A
誤り。分割したトークンを、ベクトルに変換する処理。
- B
正しい。分割した単位がトークンで、サブワードがよく使われる。
- C
誤り。過学習を抑える手法。
- D
誤り。学習を安定させるために、層の出力をそろえる手法。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会（JDLA）・一般社団法人生成AI活用普及協会（GUGA）の公式サービスではありません。