SwiGLU
大規模言語モデルのTransformerで、フィードフォワード層に、Swish関数を使ったゲート付きの構造（SwiGLU）を採用する利点として、最も適切なものを1つ選べ。
- A
層の計算が、必ず不要になる。
- B
パラメータが、まったく学習されなくなる。
- C
学習データが、不要になる。
- D
入力から作った信号で、別の信号をゲートして調整し、同じ規模のReLUの層より、性能が良くなりやすい。
正解と解説を見る
正解：D
GLU系の構造は、2つの線形変換の一方を活性化してゲートにし、もう一方と掛ける。SwiGLUは、ゲートにSwishを使う。性能が良く、最近のLLMで広く使われる。
| 用語 | 内容 |
|---|---|
| SwiGLU | Swishで作ったゲートと線形変換の積を使う活性化。Transformerのフィードフォワード層で使われる |
| InfoNCE損失 | 対照学習の損失。正例を、多数の負例の中から見分けるように学習する |
| Dice損失 | セグメンテーションで、予測と正解の重なりの割合にもとづく損失。クラス不均衡に強い |
| ステキャスティック・デプス | 学習時に層をランダムに飛ばして、深いネットワークの学習を安定させる |
- A
誤り。ゲート用の線形変換が追加される。
- B
誤り。学習される。
- C
誤り。データは必要。
- D
正しい。PaLMやLLaMAなどで採用された。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会（JDLA）・一般社団法人生成AI活用普及協会（GUGA）の公式サービスではありません。