首先，看下Smote算法之前，我们先看下当正负样本不均衡的时候，我们通常用的方法：
- 抽样
常规的包含过抽样、欠抽样、组合抽样
过抽样：将样本较少的一类sample补齐
欠抽样：将样本较多的一类sample压缩
组合抽样：约定一个量级N，同时进行过抽样和欠抽样，使得正负样本量和等于约定量级N
这种方法要么丢失数据信息，要么会导致较少样本共线性，存在明显缺陷
- 权重调整
常规的包括算法中的weight，weight matrix
改变入参的权重比，比如boosting中的全量迭代方式、逻辑回归中的前置的权重设置
这种方式的弊端在于无法控制合适的权重比，需要多次尝试
- 核函数修正
通过核函数的改变，来抵消样本不平衡带来的问题
这种使用场景局限，前置的知识学习代价高，核函数调整代价高，黑盒优化
- 模型修正
通过现有的较少的样本类别的数据，用算法去探查数据之间的特征，判读数据是否满足一定的规律
比如，通过线性拟合，发现少类样本成线性关系，可以新增线性拟合模型下的新点
实际规律比较难发现，难度较高
算法基本原理：
(1)对于少数类中每一个样本x，以欧氏距离为标准计算它到少数类样本集中所有样本的距离，得到其k近邻。
(2)根据样本不平衡比例设置一个采样比例以确定采样倍率N，对于每一个少数类样本x，从其k近邻中随机选择若干个样本，假设选择的近邻为xn。
(3)对于每一个随机选出的近邻xn，分别与原样本按照如下的公式构建新的样本。
Smote算法的思想其实很简单，先随机选定n个少类的样本，如下图
再找出最靠近它的m个少类样本，如下图
再任选最临近的m个少类样本中的任意一点，
伪代码：
function SMOTE(T, N, k)
Input: T; N; k # T:少数类样本数目
# N:过采样的数目
# K:最近邻的数量
Output: (N/100) * T # 合成的少数类样本
Variables: Sample[][] # 存放原始少数类样本
newindex #控制合成数量
initialized to 0;
Synthetic[][]
if N < 100 then
Randomize the T minority class samples
T = (N/100)*T
N = 100
end if
N = (int)N/100 # 假定SMOTE的数量是100的整数倍
for i = 1 to T do
Compute k nearest neighbors for i, and save the indices in the nnarray
POPULATE(N, i, nnarray)
end for
end function
Algorithm 2 Function to generate synthetic samples
function POPULATE(N, i, nnarray)
Input: N; i; nnarray # N:生成的样本数量
# i:原始样本下标
# nnarray:存放最近邻的数组
Output: N new synthetic samples in Synthetic array
while N != 0 do
nn = random(1,k)
for attr = 1 to numattrs do # numattrs:属性的数量
Compute: dif = Sample[nnarray[nn]][attr] − Sample[i][attr]
Compute: gap = random(0, 1)
Synthetic[newindex][attr] = Sample[i][attr] + gap * dif
end for
newindex + +
N − −
end while
end function
项目经验：
1.采样方法比直接调整阈值的方法要好。
2.使用采样方法可以提高模型的泛化能力，存在过拟合风险，最好联合正则化同时使用。
3.过采样结果比欠采样多数时间稳定，但是还是要具体问题具体分析，主要还是看数据的分布，SMOTE效果还是不错的。
4.和SMOTE算法使用的模型最好是可以防止过拟合的模型，随机森林，L2正则+逻辑回归，XGBoost等模型。