from: 七月在线
电商推荐与销量预测相关案例
一、预测用户对哪个事件感兴趣（感兴趣不一定去参加）
用户历史参加事件、社交信息、浏览信息（app）、要预测的事件
recall：召回率
准确率：
协同过滤不考虑卖/买的东西是什么，只关心历史数据中哪两个用户的兴趣度一样。（1-2）
（2，3 -> 3）（视作分类模型：LR/SVM/GBDT/DNN/RF，除了预测感兴趣与不感兴趣，还想知道感兴趣的程度--概率）svm也会输出概率，但是用的不多。
二、代码
1. import pickle （py3）内存不足的时候，可以保持原来的数据结构，Load到本地，是二进制的。Load很快，如果原来是字典，load内存后仍然是字典；如果原来是数组，load内存后仍然是数组。 （py2 import cPickle）
2. 处理关联数据：只处理有共同行为的关联信息
1）计算关联用户：
历史信息：计算cosine相似度
注册时的个人信息：计算cosine相似度
相似度可使用属性：位置、时区、注册时间（可能是小伙伴邀请注册）、国家id、性别等（在数据处理时全部转换成数值）用户维度处理信息
2）用户社交关系挖掘
朋友数量，朋友中每个朋友参加活动的频次
3）构造event和event相似度数据
4）活跃度/event热度 数据
处理上述特征的时候，归一化处理
5）组合上述数据，训练
mmwrite/mmread 处理时先存到本地，然后训练时，读取到内存。可以节省内存
协同过滤：ABCD有相似度，根据BCD的喜欢的东西，对A推荐东西，并给出推荐度。
便利店销量预测
1. 希望做的事情，提前六周知道未来的销量。但是每个国家的节日不同，销量不同。
2. 修改xgboost的loss函数（因为该竞赛的loss不是常用的loss，xgboost里没有该loss）
需要知道loss的一阶导数（grad）与二阶导数（hess）
2. 除了训练时修改了xgboost的导数，还要定义对应的loss，在训练时把loss作为参数传进去。
3. 与时间有很紧密的联系：促销、药店（流感期）
4. xgboost可以显示特征重要性
5. lightgbm比xgboost快一些
6. 交叉验证训练数据
数据与特征决定上限，模型只是逼近上限
对最终结果，数据与特征更重要一些