回答が途中で切れる原因
企画部の担当者が、生成AIのAPIを使って長い調査報告書の下書きを作らせたところ、結論の章の途中で文章が途切れてしまった。原因と対応として、最も適切なものを1つ選べ。
- A
パラメータ数が少ないモデルは一定の文字数を超える文章を記憶できないので、途中から先を出力できなくなった。
- B
temperatureが高すぎて内容が発散したので、モデルが自動的にハルシネーションを検知して出力を打ち切った。
- C
出力できる最大トークン数の上限に達した可能性があるので、上限の設定を見直すか、章ごとに分けて生成させる。
- D
top-pを0.9に設定していたので、文章全体の累積確率が90%に達した時点で生成が終了した。
正解と解説を見る
正解:C
LLMの出力は、終了を表すトークンが出るか、最大出力トークン数に達するまで続く。途中で切れたときは、まず出力上限とコンテキスト長を確認する。
- A
誤り。出力の長さは、主に出力トークン数の上限やコンテキスト長の設定で決まる。パラメータ数で直接決まるわけではない。
- B
誤り。温度は出力の多様さに影響するが、モデルが幻覚を検知して出力を止める仕組みではない。
- C
正しい。出力トークン数が上限に達すると、文の途中でも生成が止まる。設定を見直すか、分割して生成すれば対処できる。
- D
誤り。top-pは、毎回の次トークンの候補をどこまで残すかの設定で、文章の長さや終了のタイミングを決めるものではない。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。