モデル軽量化の手法
H社は、GPUのメモリが限られた社内サーバーで、オープンなLLMを動かしたい。性能の低下をなるべく抑えながら、モデルのメモリ使用量や計算量を減らす手法として適切なものを2つ選べ。
- A
重みを16ビットから4ビットなど、より少ないビット数で表す量子化を行う。
- B
コンテキスト長を長く設定して、1回で多くの情報をまとめて処理させる。
- C
出力への影響が小さい重みや構造を取り除く、枝刈り(プルーニング)を行う。
- D
社内文書を検索して入力に加えるRAGを導入し、モデルが覚える知識の量を減らす。
正解と解説を見る
正解:A・C
LLMの軽量化には、量子化・枝刈り・知識蒸留などがある。RAGやコンテキスト長の調整は、モデルの大きさを小さくする手法ではない。
- A
正しい。量子化は重み1つあたりのデータ量を減らし、メモリ使用量と計算量を削減する。
- B
誤り。コンテキスト長を長くすると、Attentionの計算やKVキャッシュのために、メモリと計算量はかえって増える。
- C
正しい。不要な部分を取り除いて、モデルを小さく、計算を軽くする手法である。
- D
誤り。RAGは回答の根拠となる情報を補う仕組みである。モデル自体の大きさやメモリ使用量は変わらない。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。