预处理
1. 去停用词，低频词
2. Normalization：将不同时态的英文单词映射到同一个英文单词上 stemming / Lemazater
stemming : 可能将 flies -> fli 生成无效单词
Lemmazater： 保证生成有效单词 使用 knowledge base
Word Representation :
1） 图像 语音 文本 都需要转化成向量 ，one-hot
Boolean Vector / Count Vector
2） 然后对两句话的 one-hot向量，可以计算距离，也可以算余弦相似度 v1 * v2 / |v1|*|v2|
3） tf-idf : 提取文本特征向量
tfidf(w) = tf(d,w) * idf(w)
tf : 某文档D中W出现的次数， 这里W出现次数越多 tf-idf越大
idf: 总文档中，包含单词W的文档数量 ， w出现在越少的文档里，值越大
总结：文档d中出现次数越多，总词库中包含w的文档越少，tf-idf越大
应用： 从而可以对文本生成 tf-idf向量，向量长度 = |V|
词向量：
1） one-hot 编码的单个单词向量之间，是彼此垂直的，无法计算相似度 ； sparsity 稀疏性
2） one-hot representation -> Distributed representation 分布式表示法 T59
比较 ： one-hot representation Distributed representation
容量小 容量大，可以自定义维度
NLP核心： 如何计算该词向量 BERTS
3） 词向量的训练：
将某领域语料库（corpus），放入模型，就能学出词向量
传统词向量模型： SkipGram Glove CBOW
考虑上下文的模型： ELMO BERT XLNET
4） 训练完后，可视化
词向量领域 - 降维算法 T-SNE 其他领域 PCA
5）词向量 -> 句向量：
one-hot ： 将词向量相加
Distributed representation: 将词向量做平均 ，然后再在上面加一些 tf-idf向量作为特征
比如一个 4维向量，总长度为 4+|V|
6）训练词向量的思想： 通过上下文单词的词向量 -> 未知单词的词向量 CBOW
Skip-Gram: T67
例如 _ _ working _ _ project, it is interesting
1）最终目标是未知单词的词向量 ， 方法是最大化 概率乘积 T68
2） window_size
3）
4） Fast-Text subword model with skipGram： 使用了n-gram T 74