パラメータ数とコンテキスト長
I社の情報システム部が、導入候補のLLMを比べる資料を作っている。資料に記載する「パラメータ数」と「コンテキスト長」の説明として、適切なものを2つ選べ。
- A
パラメータ数は学習で調整される重みの数で、多いほど推論に必要なメモリや計算量も増える。
- B
コンテキスト長を超えて古くなった会話も、モデルが学習して覚えているので、引き続き参照できる。
- C
パラメータ数が多いモデルほど、学習データの対象期間が新しく、知識のカットオフも新しい。
- D
コンテキスト長は1回の処理で扱えるトークン数の上限で、入力と出力の合計で数えることが多い。
正解と解説を見る
正解:A・D
パラメータ数はモデルの規模と必要な資源を、コンテキスト長は1回に扱える情報量を表す。どちらも、知識の新しさや会話の記憶とは別の概念である。
- A
正しい。パラメータは推論のたびに使われる重みなので、数が多いほど必要なメモリと計算資源が増える。
- B
誤り。会話の内容で重みは更新されない。上限からあふれた部分は、モデルからは見えなくなる。
- C
誤り。知識のカットオフは学習データを集めた時期で決まる。パラメータ数の大小とは別の指標である。
- D
正しい。会話履歴、資料、出力を合わせて、この上限に収める必要がある。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。