word2vec

介绍

cbow：上下文词向量求和，预测中心词
skip-gram：中心词预测上下文

优化

1、哈夫曼树
把常规的 softmax 优化为 哈夫曼softmax，优化的是每个样本在哈夫曼树上的路径概率
与样本无关。

2、负采样
对每一个正样本，按照词频构建负样本，构建二分类任务，梯度下降求解。
可以用常规的 softmax 函数

参考博客

https://www.cnblogs.com/pinard/p/7160330.html