データ並列とモデル並列
複数のGPUで、大規模なニューラルネットワークを学習するときの並列化の方式の組み合わせとして、最も適切なものを1つ選べ。
- A
データ並列は、各GPUに同じモデルを置き、データを分けて勾配を集約する。モデル並列は、モデル自体を分割して、複数のGPUに置く。
- B
データ並列は、モデルを分割し、モデル並列は、データを分割する。
- C
どちらも、GPUを1つだけ使う方式である。
- D
並列化すると、モデルの精度が、必ず向上する。
正解と解説を見る
正解：A
データ並列は、同じモデルを複数のGPUに複製し、別々のデータで勾配を計算して平均する。モデル並列は、層やテンソルを分割して配置する。大規模言語モデルでは、組み合わせて使う。
| 用語 | 内容 |
|---|---|
| データ並列 | 同じモデルを複数の装置に置き、データを分けて学習する |
| モデル並列 | モデルそのものを複数の装置に分けて置く |
- A
正しい。モデルが1つのGPUに載らないときは、モデル並列やパイプライン並列を使う。
- B
誤り。逆である。
- C
誤り。複数のGPUを使う。
- D
誤り。学習の速度やメモリの問題を扱う方式。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会（JDLA）・一般社団法人生成AI活用普及協会（GUGA）の公式サービスではありません。