从中国农业银行“雅典娜杯”数据挖掘大赛看金融行业数据分析与建模方法

【说在前面】本人博客新手一枚,象牙塔的老白,职业场的小白。以下内容仅为个人见解,欢迎批评指正,不喜勿喷![握手][握手]
【再啰嗦一下】如果你对数据挖掘感兴趣,欢迎先浏览我的另一篇随笔:数据挖掘比赛/项目全流程介绍
【再啰嗦一下】如果你对金融科技感兴趣,欢迎浏览我的另一篇随笔:如果你想了解金融科技,不妨先了解金融科技有哪些可能?
【最后再说一下】本文结合了博主、内部赛优秀团队以及外部赛冠/亚/季军的方案分享!

如何进行金融行业数据分析与建模,是挖掘金融行业数据价值的重要手段。金融行业数据分析与建模方法主要包括七个重要环节,每个环节紧密相连。

1. 赛题介绍

1.1 赛题名称

贷款风险预测(逾期还款分三种情况:要么用户不愿意还款、要么没有钱还款、要么忘了还款)

1.2 问题描述

根据数据集中8万用户的相关信息,预测用户未来是否会逾期还款。

1.3 提供数据

用户基本信息、银行卡流水、信用卡账单信息以及用户行为数据,字段内容均为脱敏数据。

1.4 评估指标

Kolmogorov-Smirnov(KS)是风险评分领域常用的评估指标,反应模型对正负样本的辨识能力,KS越高表明模型对正负样本的辨识能力越强。
KS = max { | f(s|P) - f(s|N) | }
其中,f(s|P) 为正样本预测值的累计分布函数,f(s|N) 为负样本在预测值上的累计分布函数。

2. 数据探索

通过数据可视化查看数据样本的分布以及特征的统计规律。

  • 正/负样本比例1:4(应该是人工采样过,实际业务中逾期样本比例很少)
  • 训练集/测试集样本比例6w:8k
  • ......

3. 数据预处理

主要包括数据的缺失值处理、异常值处理、拼接、去重等基本处理。同时,还有汇率转换和单位净值*份额等基本数据操作。

4. 特征工程

4.1 基本特征

根据类别型和数值型数据在标签上的分布进行预处理,包括标准化、归一化、离散化、平滑化、one-hot编码等。

4.2 时序变化特征

  • 银行卡流水:计算用户在全局、特定条件下(交易类型,非工资收入/工资收入,支出/收入)的金额和时间的统计特征(sum/count/mean/median/std/min/max)
  • 信用卡账单:计算用户在全局、特定条件下(银行标识,还款状态)的金额(上期账单金额,上期还款金额,本期账单余额,信用卡额度)和账单时间戳的统计信息
  • 浏览行为:计算用户每天每种行为类型/子类型的count、浏览行为数和浏览时间的统计信息
  • 日期的转换:根据上半年/下半年、季度、月份等时间维度,提取大量可能的日期特征衍生
  • 滑动窗口处理:根据不同时间区间(近一个月、近两个月等),计算用户对应的银行流水、信用卡账单、浏览行为的基础特征/统计特征
  • 屏蔽采样时间差异的特征:取前五条和最后五条处理等
  • ......

4.3 交叉特征

  • 除法:例如某浏览行为类型占总浏览的比例、工资收入/非工资收入等
  • 减法:最大时间戳-最小时间戳(表示某种行为的时间跨度)等
  • 拼接:例如行为类型-子类型1/2,拼接后计算特征等
  • 用户的个人信息之间的交叉特征衍生
  • ......

4.4 业务理解特征

  • 上期未还款金额 = 上期账单金额 - 上期还款金额
  • 相邻两期账单金额差 = 本期账单余额 - 上期账单金额
  • if 上期账单金额 > 信用卡额度,爆卡 = 1 else 爆卡 = 0
  • if 上期还款金额 < 上期账单金额,未足额还款 = 1 else 未足额还款 = 0
  • 缺失副表的数量
  • ......

5. 特征选择

  • 删除相关性高的特征(例如取阈值0.98)
  • 使用低成本特征选择算子,过滤掉不重要的特征(例如取50%)
  • 使用预训练的lightgbm模型获得特征重要性(例如取top3500)

6. 模型选择及调参

  • 经过实验选择了lightgbm模型
  • 使用网格搜索/贝叶斯优化对其进行调参(调整叶子节点数、最大深度、行/列采样比例、正则项系数等)
  • 通过KS指标/自定义评价函数,通过交叉验证,获取较为准确的模型迭代轮次

7. 模型融合

  • bagging
  • stacking
  • ......

如果你对金融科技感兴趣,欢迎浏览我的另一篇博客:如果你想了解金融科技,不妨先了解金融科技有哪些可能?
如果您对数据挖掘感兴趣,欢迎浏览我的另一篇博客:数据挖掘比赛/项目全流程介绍
如果你对智能推荐感兴趣,欢迎先浏览我的另一篇随笔:智能推荐算法演变及学习笔记
如果您对人工智能算法感兴趣,欢迎浏览我的另一篇博客:人工智能新手入门学习路线和学习资源合集(含AI综述/python/机器学习/深度学习/tensorflow)
如果你是计算机专业的应届毕业生,欢迎浏览我的另外一篇博客:如果你是一个计算机领域的应届生,你如何准备求职面试?
如果你是计算机专业的本科生,欢迎浏览我的另外一篇博客:如果你是一个计算机领域的本科生,你可以选择学习什么?
如果你是计算机专业的研究生,欢迎浏览我的另外一篇博客:如果你是一个计算机领域的研究生,你可以选择学习什么?
之后博主将持续分享各大算法的学习思路和学习笔记:hello world: 我的博客写作思路

原文地址:https://www.cnblogs.com/zhengzhicong/p/12857003.html