対話型LLMの学習の順序
C社の開発チームが、対話型LLMができるまでの学習工程を表にまとめた。一般的な開発で行う順として、最も適切なものを1つ選べ。
- A
ア → イ → ウ
- B
ウ → ア → イ
- C
イ → ア → ウ
- D
ア → ウ → イ
正解と解説を見る
正解:A
大量のテキストで基礎的な言語能力を身につけ(事前学習)、指示への従い方を学び(指示チューニング)、最後に人の好みや安全性に合わせる(RLHFなど)。
| 記号 | 工程の内容 |
|---|---|
| ア | Web文書などの大量のテキストで、次のトークンを予測する学習を行う |
| イ | 「指示」と「模範回答」のペアのデータで、指示に従って答えるように調整する |
| ウ | 複数の回答を人が比べた好みのデータを使い、より好まれる出力になるように調整する |
- A
正しい。事前学習(ア)、指示チューニング(イ)、RLHFなど人の好みに合わせる調整(ウ)の順で行うのが一般的である。
- B
誤り。好みを比べるための回答を作れるモデルがまだない段階では、ウの調整は行えない。
- C
誤り。指示チューニングは、事前学習で言語の知識を身につけたモデルに対して行う。最初に行う工程ではない。
- D
誤り。人の好みに合わせる調整は、指示に従って回答できるようになったモデルの出力を比べて行う。通常は指示チューニングの後に行う。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。