How to Generate a Good Word Embedding? 作者：Siwei Lai、Kang Liu、Liheng Xu、Jun Zhao
我们分析词嵌入训练的三个关键组成部分：模型，语料库和训练参数。 我们将现有的基于神经网络的词嵌入算法归类，并使用相同的语料库进行比较。
我们以三种方式评估每个词嵌入：1. 分析其语义属性; 2. 将其用作监督任务的特征; 3. 使用它来初始化神经网络
我们提供了几个简单的准则来训练词嵌入。
- 语料库所覆盖的领域比语料库大小更重要。 我们建议先为所需的任务选择一个合适领域的语料库，然后使用较大的语料库来获取更好的结果
- 如果训练语料库足够大，可以使用更复杂的模型
- 迭代的早期停止度量应该依赖于所需任务的开发集合，而不是训练嵌入的验证损失