対話型LLMの学習順序
A社の研修資料には、対話型LLMを作るときの代表的な学習工程ア〜ウが、順番がばらばらの状態で載っている。一般的な実施順序として、最も適切なものを1つ選べ。
- A
ア → イ → ウ
- B
イ → ア → ウ
- C
イ → ウ → ア
- D
ウ → イ → ア
正解と解説を見る
正解:C
対話型LLMは一般に、事前学習(次トークン予測)、指示チューニング(教師ありファインチューニング)、選好による調整(RLHFなど)の順に作られる。
| 記号 | 工程の内容 |
|---|---|
| ア | 同じ質問への複数の回答を人が比べた選好データを使い、より有用で安全な回答を出すように調整する |
| イ | Web文書や書籍などの大量のテキストで、次のトークンを予測する学習を行う |
| ウ | 指示文と模範回答の組を使い、指示に沿って回答するように教師ありで学習する |
- A
誤り。選好による調整は、指示に従える状態のモデルを仕上げる工程であり、最初には行わない。
- B
誤り。選好による調整は、指示チューニング(教師ありファインチューニング)の後に行うのが一般的である。
- C
正しい。事前学習で言語の知識を身に付け、指示チューニングで指示に従えるようにし、最後に人の好みに合わせて調整する。
- D
誤り。指示と回答の学習は、大量のテキストで事前学習したモデルに対して行う。事前学習より先には行わない。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。