Word2vec学习

什么是Word2vec?为什么要有这么一个东西?

word2vec是 word embedding 的方式之一, 属于NLP领域。他是将转化为「可计算」「结构化」的向量的过程。

Word2vec的两种训练方式

CBOW(Continuous Bag-of-Words Model)和Skip-gram (Continuous Skip-gram Model),是Word2vec 的两种训练模式。

CBOW

通过上下文(Context)来预测当前值,相当于一句话里抠掉一个词,让你来猜这个词是什么意思(类似小学填空题)。
eg:我 _____ 大便,(“我”和“大便”都是输入(input),_____为我们预测要输出的内容(output))

Skip-gram

用当前词来预测上下文。相当于给你一个词(input word),让你猜前面和后面可能出现什么词。(大概感觉就是和CBOW反过来)
eg:___ 拉 _____

类似的数学模型:
image

原文地址:https://www.cnblogs.com/jev-0987/p/14980554.html