量子化と必要なメモリ
A社は、パラメータ数70億のLLMを社内サーバで動かすため、各パラメータを8ビット(1バイト)に量子化して保存する。重みの保存だけに必要なメモリ量として、最も適切なものを1つ選べ。なお、1GB=10億(10^9)バイトとし、重み以外のメモリは考えない。
- A
約0.875GB
- B
約7GB
- C
約14GB
- D
約56GB
正解と解説を見る
正解:B
重みのメモリ量は「パラメータ数×1パラメータあたりのバイト数」で概算できる。量子化で精度を下げるほどメモリは減るが、精度が落ちることがある。
- A
誤り。ビットとバイトを取り違え、70億バイトではなく70億ビットとして8で割った値(70億÷8=8.75億バイト)。
- B
正しい。70億×1バイト=70億バイト=7GB。
- C
誤り。16ビット(2バイト)で保存した場合の値(70億×2バイト)。
- D
誤り。8ビットを8バイトとして計算した値(70億×8バイト)。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。