AI資格 模擬試験

生成AIパスポート 模擬試験 第3回 問18・第2章 生成AI(ChatGPTと主要な生成AIモデルの動向)

Mixture of Experts

A社の技術調査担当者は、最近のLLMの説明で「総パラメータ数は非常に大きいが、1トークンを処理するときに使うのはその一部なので、推論の計算量を抑えられる」という構成を見つけた。この構成として、最も適切なものを1つ選べ。

  1. A

    Mixture of Experts(MoE):複数の専門家ネットワークの中から、ルーターがトークンごとに一部を選んで計算する。

  2. B

    パイプライン並列:モデルの層を複数のGPUに分けて配置し、順番に計算していく。

  3. C

    知識蒸留:大きなモデルの出力を手本にして、パラメータの少ない小さなモデルを別に学習させる。

  4. D

    アンサンブル:複数のモデルをすべて動かし、それぞれの出力を多数決や平均でまとめる。

正解と解説を見る

正解:A

MoEは、総パラメータ数(モデルの容量)と1トークンあたりの計算量を切り分けられる。そのため、大規模なモデルを効率よく動かす構成として使われている。

学習のポイント:「総パラメータは大きいが、使うのは一部」とあればMoE。全部動かすアンサンブルと混同しない。

この問題を演習で解く →

生成AIパスポートのトップへ 問題一覧へ

このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。