事前学習
大規模言語モデルの事前学習についての説明として、最も適切なものを1つ選べ。
- A
人が作った質問と模範解答のペアで、指示に従って答えられるように学習する。
- B
人が複数の回答を比べた評価をもとに、好まれる回答を出すように調整する。
- C
利用者との対話の内容をそのつど取り込み、公開後も重みを更新し続ける。
- D
大量の文章を使い、直前までの文脈から次のトークンを予測する課題を解く。
正解と解説を見る
正解:D
事前学習は、大量のテキストから、次のトークンを予測する形で行う。これで、文法や知識、文脈の捉え方などを獲得する。

- A
誤り。事前学習のあとに行う、指示チューニングの説明。
- B
誤り。RLHFの説明。事前学習のあとに行う。
- C
誤り。事前学習は公開前に行う。利用中の会話で、重みがそのつど更新されるわけではない。
- D
正しい。次トークン予測が基本の課題で、文法や知識を身につける。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。