Wide & Deep论文解读

Wide & Deep算法解决的问题

在推荐系统中LR算法应用的非常广泛,但是LR是一种线性模型,没法学到特征交叉(高阶组合特征),为了解决这个问题,在实际中我们常常需要做特征工程提取高阶特征,一种常用的做法就是求特征的cross-product,如(“gender=female” and “language=en”)。但是在推荐系统中我们一般回对离散特征进行one-hot编码得到高维稀疏特征,也就是说许多特征组合在训练数据中可能从来没有出现过,模型没法学的这部分组合特征的权重。

深度学习+embedding可以不依赖人工特征学到高阶特征,但是容易过度泛化。

本文提出Wide & Deep模型,结合了LR和deep model的优点,旨在使得训练得到的模型能够同时获得记忆(memorization)和泛化(generalization)能力:
记忆(memorization)即从历史数据中发现item或者特征之间的相关性。
泛化(generalization)即相关性的传递,发现在历史数据中很少或者没有出现的新的特征组合。
 
在推荐系统中,记忆体现的准确性,而泛化体现的是新颖性。
 

Wide & Deep模型结构

模型表达式:

wide模型输入:

原始输入特征和交叉特征。

deep模型输入:

原始输入特征

原文地址:https://www.cnblogs.com/xumaomao/p/11457852.html