継続事前学習の使いどころ
E社は製薬分野の社内技術報告書を数十億トークン分持っているが、質問と模範回答の組や、回答の良し悪しを比べたデータはない。目的は、最新の報告書の内容を答えさせることではなく、分野特有の専門用語や言い回しに慣れたモデルを作ることである。この段階で最初に行う学習として、最も適切なものを1つ選べ。
- A
指示チューニングを行い、報告書を使って指示に従う力を高める。
- B
報告書をベクトルデータベースに登録し、RAGで関連する箇所を検索して回答させる。
- C
RLHFを行い、報告書の文体に近い回答ほど高い報酬を与えて学習させる。
- D
報告書の文章で次トークン予測を続ける継続事前学習を行い、分野の言葉づかいを学ばせる。
正解と解説を見る
正解:D
ラベルのない大量の分野別文章がある場合は、継続事前学習で分野に適応させる。そのうえで、必要に応じて指示チューニングなどを重ねる。
- A
誤り。指示チューニングには、指示と模範回答を組にしたデータが必要。今回はそのデータがない。
- B
誤り。RAGは文書の内容を参照して答えるのに向く。モデル自体の言葉づかいを変える目的には合わない。
- C
誤り。RLHFには、人が回答を比べた好みのデータが必要。語彙を身につけさせる最初の工程にも向かない。
- D
正しい。正解ラベルのない大量の文章でも、文章そのものを予測の対象にして学習できる。分野の語彙や文体を身につけさせるのに向く。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。