長文の中ほどの見落とし
法務部のEさんは、約150ページの契約書を全文プロンプトに入れて、条項について質問している。入力はモデルのコンテキスト長の範囲内に収まっている。冒頭や末尾の条項についての回答は正確だが、中ほどにある条項についての質問では、該当箇所を見落とした回答が目立った。この状況の解釈と対応として、最も適切なものを1つ選べ。
- A
学習データに同じ契約書が含まれていないことが原因なので、その契約書でモデルを追加学習する。
- B
温度の設定が高すぎて条項をランダムに読み飛ばしているため、温度を0にして回答させる。
- C
長い入力の中ほどにある情報は参照されにくい傾向があるため、関連箇所を抜き出して渡したり、質問を分割したりする。
- D
入力のうちコンテキスト長を超えた中ほどの部分が切り捨てられたため、コンテキスト長の長いモデルに替える。
正解と解説を見る
正解:C
コンテキスト長の範囲内であっても、長い入力の中ほどにある情報は見落とされやすい。必要な箇所を抜き出す、RAGで関連部分を検索して渡す、質問を分けるといった工夫が有効である。
- A
誤り。契約書はプロンプトとして与えられているので、学習データに含まれているかどうかは原因ではない。追加学習はこの問題への対策として的外れである。
- B
誤り。温度は出力するトークンの選び方を調整する設定であり、入力のどこに注目するかの偏りは解消できない。
- C
正しい。長いコンテキストでは、中ほどの情報が活用されにくい現象(lost in the middle)が知られている。入力を絞り込むと精度が上がりやすい。
- D
誤り。問題文のとおり、入力はコンテキスト長の範囲内に収まっており、切り捨ては起きていない。上限内でも中ほどの情報は見落とされやすい。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。