表示開始と完了の時間
F社は社内チャットボットの応答時間を見積もっている。このモデルは、要求を受けてから最初のトークンが出るまでに1.0秒かかり、その後は毎秒40トークンの速さで出力する。回答の長さは1,200トークンとする(最初のトークンが出た後の1,200トークン分の生成に、毎秒40トークンの時間がかかると考える)。ストリーミング表示(生成されたトークンから順に画面に出す方式)を使うとき、利用者が最初の文字を目にするまでの時間と、回答全体が表示し終わるまでの時間の組合せとして、最も適切なものを1つ選べ。ネットワークの遅延は考えない。
- A
最初の文字まで約1.0秒、全体の表示完了まで約30秒
- B
最初の文字まで約31秒、全体の表示完了まで約31秒
- C
最初の文字まで約1.0秒、全体の表示完了まで約31秒
- D
最初の文字まで約0.025秒、全体の表示完了まで約30秒
正解と解説を見る
正解:C
LLMはトークンを1つずつ生成するので、応答時間は「最初のトークンまでの時間」と「出力の長さ÷生成速度」に分けて考える。ストリーミング表示は、全体の時間を変えずに体感の待ち時間を短くする。
- A
誤り。最初のトークンまでの1.0秒を全体の時間に足し忘れている。
- B
誤り。全文の生成を待ってからまとめて表示する方式の考え方。ストリーミングなら約1.0秒で表示が始まる。
- C
正しい。ストリーミングでは最初のトークンが出た時点で表示が始まる。全体は1.0秒+1,200÷40=30秒で31秒。
- D
誤り。1トークンあたりの生成時間(1÷40秒)を最初の待ち時間と取り違え、1.0秒も足していない。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。