AI資格 模擬試験

生成AIパスポート 模擬試験 第6回 問15・第2章 生成AI(生成AIの生成(推論)プロセス)

表示開始と完了の時間

F社は社内チャットボットの応答時間を見積もっている。このモデルは、要求を受けてから最初のトークンが出るまでに1.0秒かかり、その後は毎秒40トークンの速さで出力する。回答の長さは1,200トークンとする(最初のトークンが出た後の1,200トークン分の生成に、毎秒40トークンの時間がかかると考える)。ストリーミング表示(生成されたトークンから順に画面に出す方式)を使うとき、利用者が最初の文字を目にするまでの時間と、回答全体が表示し終わるまでの時間の組合せとして、最も適切なものを1つ選べ。ネットワークの遅延は考えない。

  1. A

    最初の文字まで約1.0秒、全体の表示完了まで約30秒

  2. B

    最初の文字まで約31秒、全体の表示完了まで約31秒

  3. C

    最初の文字まで約1.0秒、全体の表示完了まで約31秒

  4. D

    最初の文字まで約0.025秒、全体の表示完了まで約30秒

正解と解説を見る

正解:C

LLMはトークンを1つずつ生成するので、応答時間は「最初のトークンまでの時間」と「出力の長さ÷生成速度」に分けて考える。ストリーミング表示は、全体の時間を変えずに体感の待ち時間を短くする。

学習のポイント:ストリーミングで短くなるのは表示開始までの時間で、完了までの時間は変わらない。

この問題を演習で解く →

生成AIパスポートのトップへ 問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。