转自：https://coladrill.github.io/2020/06/01/用户行为序列建模/
https://zhuanlan.zhihu.com/p/138136777?utm_source=qq&utm_medium=social&utm_oi=566394839504048128
https://tech.meituan.com/2020/04/16/transformer-in-meituan.html
Transformer 在美团搜索排序中的实践 : https://tech.meituan.com/2020/04/16/transformer-in-meituan.html
理解用户是搜索排序中一个非常重要的问题，工业级的推荐系统一般需要大量的泛化特征来较好的表达用户。这些泛化特征可以分为两类：
- 偏静态的特征，例如用户的基本属性（年龄、性别、职业等等）特征、长期偏好（品类、价格等等）特征；
- 动态变化的特征，例如刻画用户兴趣的实时行为序列特征。
用户的实时行为特征能够明显加强不同样本之间的区分度，所以在模型中优化用户行为序列建模是让模型更好理解用户的关键环节。
推荐系统中的用户兴趣变化非常剧烈，比如电商推荐中，用户一会看看服饰，一会看看电子产品，若只使用静态特征进行推荐，每次推荐的内容是一样的，这无疑是不能满足用户需求，实时性需要保障。
大致来讲，用户行为序列建模包含以下几种方式：
- Pooling方法；特点是将用户历史行为看做一个无序集合，方法有sum/max pooling等；
- Attention模型：属于Pooling方法的一种，优点在于灵活的捕捉全局和局部的联系，方法有DIN、DIEN、DSIN、BST等；
- 序列模型：将用户行为看做一个具有时间属性的序列，方法有RNN、LSTN、GRU等；
- 关注用户的多兴趣表达：方法有MIND等；
结合业务场景的其他方法。