AI資格 模擬試験

生成AIパスポート 模擬試験 第4回 問10・第2章 生成AI(生成AIを支える技術革新(Transformer以降))

MoEの総パラメータと稼働量

B社は、Mixture of Experts(MoE)構造のLLMの導入を検討している。表はそのモデルの構成である。トークンを1つ処理するごとに、共有部分はすべて使われ、エキスパートはルーターが選んだものだけが使われる。このモデルの総パラメータ数と、1トークンの処理で使われるパラメータ数の組合せとして、正しいものを1つ選べ。

  1. A

    総パラメータ数1,600億、1トークンで使われるパラメータ数200億

  2. B

    総パラメータ数1,800億、1トークンで使われるパラメータ数400億

  3. C

    総パラメータ数1,800億、1トークンで使われるパラメータ数1,800億

  4. D

    総パラメータ数1,800億、1トークンで使われるパラメータ数300億

正解と解説を見る

正解:B

MoEは、総パラメータ数を大きくしても、1トークンで使うのは一部のエキスパートだけなので、計算量を抑えられる。総パラメータ数と、1トークンで動くパラメータ数(アクティブパラメータ数)を分けて考える。

項目値
共有部分のパラメータ数(全トークンで使用)200億
エキスパートの数16
エキスパート1つあたりのパラメータ数100億
1トークンあたりに選ばれるエキスパートの数2

学習のポイント:共有部分は常に足し、エキスパートは選ばれた数だけ掛ける。メモリには総パラメータ数分が必要になる点にも注意。

この問題を演習で解く →

生成AIパスポートのトップへ 問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。