日本語文書のトークン数
B社の法務部では、日本語の契約書をLLMのAPIで要約する仕組みを検討している。担当者が、トークン数と利用料・入力の上限について社内向けの説明を作る。説明として適切なものを2つ選べ。
- A
同じ内容でも、日本語は英語よりトークン数が多くなりやすく、利用料や入力上限の見積もりに影響する。
- B
料金は入力した文書のトークン数で決まり、モデルが出力した要約のトークン数は料金に含まれない。
- C
トークンの区切り方は利用者が後から設定で変えられるため、日本語向けに変更すればトークン数を減らせる。
- D
トークンの区切り方はモデルによって異なるため、同じ契約書でもモデルによってトークン数が変わる。
正解と解説を見る
正解:A・D
LLMの入力上限と料金は文字数ではなくトークン数で決まる。トークン数は言語とモデル(トークナイザ)によって変わる。
- A
正しい。多くのトークナイザは英語の比率が高いデータで作られており、日本語は1トークンあたりの文字数が少なくなりやすい。
- B
誤り。一般的なAPIは、出力トークンにも課金する。出力の単価は入力より高く設定されていることが多い。
- C
誤り。トークナイザはモデルの学習と一体で決まっている。利用者がAPIの設定で変えるものではない。
- D
正しい。語彙(トークナイザ)はモデルごとに作られるので、モデルを替えるとトークン数と費用も変わる。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。