TF-IDF
文書の中での単語の出現頻度に、多くの文書に共通して現れる単語ほど小さくなる重みを掛けて、その文書を特徴づける単語を見つける手法として、最も適切なものを1つ選べ。
- A
word2vec
- B
形態素解析
- C
n-gram
- D
TF-IDF
正解と解説を見る
正解：D
TF-IDF は、出現頻度とその単語の珍しさを掛け合わせて、文書を特徴づける単語を見つける。
| 単語（文書1・10語中） | TF | 含む文書数 | IDF = ln(3 ÷ 含む文書数) | TF × IDF |
|---|---|---|---|---|
| の | 3 ÷ 10 = 0.3 | 3 | 0 | 0 |
| 機械学習 | 2 ÷ 10 = 0.2 | 1 | 1.10 | 0.22 |
- A
誤り。周りの単語から単語の分散表現を学習する手法。
- B
誤り。文を意味を持つ最小の単位（形態素）に分け、品詞などを判定する処理。
- C
誤り。連続する n 個の単語や文字のまとまりを単位として扱う考え方。
- D
正しい。TF（単語の出現頻度）と IDF（その単語が現れる文書の少なさ）を掛け合わせる。「の」「は」のようにどの文書にも出る単語の重みは小さくなる。
このサイトの問題は、各試験の公開されているシラバスに沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。日本ディープラーニング協会（JDLA）・一般社団法人生成AI活用普及協会（GUGA）の公式サービスではありません。