検証は良いのに本番で不振
A社は会員の解約を予測するモデルを作った。特徴量には利用回数や問い合わせ件数に加え、「解約手続きページの閲覧回数(集計期間には、解約申請をした後の期間も含む)」を入れていた。訓練と検証の結果は良かったが、本番の運用では表のように精度が大きく下がった。原因として最も可能性が高いものを1つ選べ。
- A
訓練データに過剰に適合する過学習が起きていて、その影響が本番で初めて表に出た。
- B
予測する時点では手に入らない、答えに直結する情報が特徴量に入り込み、過去データでの評価が実力以上に良く出た。
- C
学習率が大きすぎて誤差が十分に下がらず、重みが最適な値に近づかないまま学習が終わった。
- D
モデルが単純すぎてデータの傾向を十分に学べない学習不足が起きていて、本番データには対応できなかった。
正解と解説を見る
正解:B
予測時点では得られない情報や結果そのものを含む情報が特徴量に入ると、過去データでの評価だけが高くなり、本番で精度が下がる。特徴量は「予測する時点で本当に手に入るか」で確認する。
| 評価に使ったデータ | 正解率 |
|---|---|
| 訓練データ | 99% |
| 検証データ(訓練に使っていない過去データ) | 98% |
| 本番運用(1か月後の実データ) | 71% |
- A
誤り。過学習なら、訓練に使っていない検証データで精度が下がるはず。検証でも98%出ているので、過学習だけでは説明できない。
- B
正しい。解約申請後の閲覧回数には結果が含まれている(リーク)。過去データでは答えが見えているので評価が高くなるが、予測時点ではその情報がないので本番で精度が下がる。
- C
誤り。学習率が大きすぎて誤差が下がらないなら、訓練データでの精度も低くなる。訓練で99%出ている状況とは合わない。
- D
誤り。学習不足なら訓練データや検証データでも精度が低くなる。訓練99%・検証98%という結果と合わない。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。