知識の期限と古い回答
法務部のFさんが、先月改正された規制の内容をLLMに質問したところ、改正前の内容が自信のある言い方で返ってきた。LLMには検索機能や外部文書を参照する機能は付いていない。この状況の理解と対応として、最も適切なものを1つ選べ。
- A
学習データの収集時点より後の改正を知らないため、古い情報が出た可能性がある。最新の公的資料を確認するか、資料を入力して参照させる。
- B
存在しない条文を作り出すハルシネーションが起きているので、temperatureを0にすれば改正後の内容を正しく答えられる。
- C
プロンプトインジェクションで古い情報を答えるよう誘導されているので、会話をリセットすれば改正後の内容を答えられる。
- D
コンテキスト長が足りずに改正の部分が切り捨てられたので、質問を短くすれば改正後の内容を答えられる。
正解と解説を見る
正解:A
LLMの知識は、学習データの期限で止まっている。期限後の情報について古い内容を答えるのは、もっともらしい作り話(幻覚)とは原因が異なる。検索や資料の入力で最新情報を補う必要がある。
- A
正しい。LLMは学習データの期限(知識カットオフ)より後の出来事を知らない。最新の一次資料で確認する必要がある。
- B
誤り。今回の回答は、当時は正しかった古い情報である。温度を下げても、学習していない改正の内容を知ることはできない。
- C
誤り。悪意のある指示が入る経路はなく、会話をリセットしても学習データの期限は変わらない。
- D
誤り。改正の情報は入力に含まれておらず、学習データにもないので、コンテキスト長の問題ではない。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。