MoEの総パラメータと稼働量
B社は、Mixture of Experts(MoE)構造のLLMの導入を検討している。表はそのモデルの構成である。トークンを1つ処理するごとに、共有部分はすべて使われ、エキスパートはルーターが選んだものだけが使われる。このモデルの総パラメータ数と、1トークンの処理で使われるパラメータ数の組合せとして、正しいものを1つ選べ。
- A
総パラメータ数1,600億、1トークンで使われるパラメータ数200億
- B
総パラメータ数1,800億、1トークンで使われるパラメータ数400億
- C
総パラメータ数1,800億、1トークンで使われるパラメータ数1,800億
- D
総パラメータ数1,800億、1トークンで使われるパラメータ数300億
正解と解説を見る
正解:B
MoEは、総パラメータ数を大きくしても、1トークンで使うのは一部のエキスパートだけなので、計算量を抑えられる。総パラメータ数と、1トークンで動くパラメータ数(アクティブパラメータ数)を分けて考える。
| 項目 | 値 |
|---|---|
| 共有部分のパラメータ数(全トークンで使用) | 200億 |
| エキスパートの数 | 16 |
| エキスパート1つあたりのパラメータ数 | 100億 |
| 1トークンあたりに選ばれるエキスパートの数 | 2 |
- A
誤り。共有部分の200億を、総数にも1トークン分にも足し忘れている。
- B
正しい。総パラメータ数は200億+100億×16=1,800億。1トークンで使われるのは、200億+100億×2=400億である。
- C
誤り。MoEでも全エキスパートを毎回使うと考えた誤り。実際には選ばれた2つのエキスパートだけが動く。
- D
誤り。選ばれるエキスパートを1つとして計算している。表では2つ選ばれる。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。