特征工程

卡方分箱

卡方分箱原理

数据分析与数据挖掘之四大分布三大检验

python自带分箱函数  --  无法实现对分类型数据的分箱，可借助卡方分箱算法实现

import numpy as np
import pandas as pd

data = np.random.randint(100, size=(10000,))

#自定义分箱
#cut(x, bins, right=True, labels=None, retbins=False, precision=3, include_lowest=False, duplicates='raise')
pd.cut(data, bins=[0, 10, 20, 50, 70, 100], right=False)

#等宽分箱
pd.cut(data, bins=5, right=False, labels=range(5))

#等频分箱
#qcut(x, q, labels=None, retbins=False, precision=3, duplicates='raise')
pd.qcut(data, q=5, labels=range(5))

#等频分箱 - 老版本重复值过多报错问题
'''该代码倾向于将重复值全划分到更高的组，自带的qcut则倾向于将其划分到更低的组'''
def pct_rank_qcut(series, n):
    '''
    series：要分箱的列
    n：箱子数
    '''
    edages = pd.Series(range(1,n+1))/n #转换成百分比
    func = lambda x: (edages >= x).argmax() #返回列表中第一次出现true的索引值
    return series.rank(pct=1).astype(float).apply(func) #百分位数,返回组下标，数据类型若为object，结果会有问题，因此进行了astype