出力例と形式の安定
B社のサポート部門では、問い合わせ100件を生成AIで「料金」「不具合」「解約」「その他」の4種類に分類し、ラベル1語だけを出力させている。プロンプトを表のように3回改訂し、指定した形式から外れた出力の件数を数えた。この結果の解釈として、最も適切なものを1つ選べ。
- A
v2では例を示したことで形式がそろい、12件減った。v3では自由な説明も求めたため形式が崩れやすくなったと考えられ、理由は別の項目として出力させるなどの工夫が必要である。
- B
v3の悪化は、生成のランダムさが足りずに出力が単調になったためであり、温度を上げて出力に変化を持たせれば形式から外れる件数は減る。
- C
v3で増えたのは、v2の例でモデルが追加学習した内容が、新しい指示で上書きされて失われたためであり、例を再び学習させれば元に戻る。
- D
v1からv2で例を3組足して12件減ったので、例を6組に増やせばさらに12件減り、v3の指示を加えても形式から外れる件数は0件になる。
正解と解説を見る
正解:A
出力例(Few-shot)は形式を安定させる。一方で、形式の指定とぶつかる指示を加えると、出力が崩れることがある。説明が必要なら、出力の項目を分けて指定する。
| 版 | プロンプトの内容 | 形式から外れた件数(100件中) |
|---|---|---|
| v1 | 4つのラベルの説明だけ | 18件 |
| v2 | v1に、入力と出力ラベルの例を3組追加 | 6件 |
| v3 | v2に「分類の理由も詳しく説明してください」を追加 | 11件 |
- A
正しい。Few-shotの例で形式が安定した一方、ラベル1語という指定と、詳しい説明を求める指示がぶつかって、形式から外れる出力が増えたと読み取れる。
- B
誤り。温度を上げると出力のばらつきは大きくなり、形式から外れやすくなる。原因の見立ても逆になっている。
- C
誤り。プロンプト中の例は重みを更新しない(文脈内学習)。学習が消えたという説明は、ファインチューニングとの取り違えである。
- D
誤り。例の数と効果は比例しない。また、v3の悪化は指示の矛盾が原因なので、例を増やしても解消するとは限らない。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会(JDLA)・一般社団法人生成AI活用普及協会(GUGA)の公式サービスではありません。