Mixture of Experts
A社の技術調査担当者は、最近のLLMの説明で「総パラメータ数は非常に大きいが、1トークンを処理するときに使うのはその一部なので、推論の計算量を抑えられる」という構成を見つけた。この構成として、最も適切なものを1つ選べ。
- A
Mixture of Experts(MoE):複数の専門家ネットワークの中から、ルーターがトークンごとに一部を選んで計算する。
- B
パイプライン並列:モデルの層を複数のGPUに分けて配置し、順番に計算していく。
- C
知識蒸留:大きなモデルの出力を手本にして、パラメータの少ない小さなモデルを別に学習させる。
- D
アンサンブル:複数のモデルをすべて動かし、それぞれの出力を多数決や平均でまとめる。
正解と解説を見る
正解:A
MoEは、総パラメータ数(モデルの容量)と1トークンあたりの計算量を切り分けられる。そのため、大規模なモデルを効率よく動かす構成として使われている。
- A
正しい。トークンごとに一部の専門家だけを動かすので、総パラメータ数に比べて計算量を抑えられる。
- B
誤り。モデルをどう配置するかの工夫で、1トークンごとに全パラメータを使う点は変わらない。
- C
誤り。蒸留でできるのは総パラメータ数自体が小さいモデルで、大きなモデルの一部だけを使う構成ではない。
- D
誤り。すべてのモデルを動かすので、計算量はむしろ増える。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。