モデルの重みとメモリ量
開発チームは、70億(7×10⁹)個のパラメータを持つLLMを社内サーバーで動かすことを検討している。重みを16ビット(2バイト)の浮動小数点数で保持するとき、重みだけに必要なメモリ容量はおよそいくらか。1GB=10⁹バイトとし、最も適切なものを1つ選べ。
- A
約3.5GB
- B
約7GB
- C
約14GB
- D
約112GB
正解と解説を見る
正解:C
重みのメモリ量は「パラメータ数×1パラメータあたりのバイト数」で見積もれる。量子化でビット数を減らすと、必要なメモリを大きく減らせる。
- A
誤り。4ビット(0.5バイト)に量子化したときの値である。
- B
誤り。1パラメータを1バイト(8ビット)として計算している。
- C
正しい。7×10⁹個×2バイト=14×10⁹バイト=約14GBになる。実際に動かすには、これに加えて計算途中のデータなどのメモリが必要になる。
- D
誤り。7×10⁹×16で、ビット数をバイト数として計算している(112×10⁹ビット=14GB)。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。