【ML】数据清洗

之前听别人说,一个好的数据分析师80%的时间都花在数据清洗上,一个高质量的数据集才能支撑的了接下来的数据分析和应用。

什么是好的数据质量呢,我认为只要满足俩个方面就可以了:

1.完整:比如说 缺值少值,值不完整,NAN之类

2.合法:数据的类型,内容,大小是符合该特征的。比如,一个年龄的特征值不可能出现小数,也不可以是“张三”。

如何进行数据清洗:

填充

这一步通常用于处理缺失值。这是一个比较尴尬的问题,缺失值和的存在会使得数据稀疏,而补全值也会影响准确性。比如说,我们使用当前列的均值,或者使用当前列出现频率最高的数据用于处理,但是如果整个样本中老年人比较多,而缺失的这个人又是个婴儿,那么这个处理就和现实有偏差了。

#对年龄空值进行均值填充
df['Age'].fillna(df['Age'].mean(), inplace=True)

删除:

如果一列或者一行数据中只有NAN,NAN占了大多数,数据质量很差,那么我们可以把这一行删掉。

需要注意的一点是,pandas的read_csv()并没有可选参数来忽略空行,因此我们需要在数据读入进去以后再使用dropna()进行处理,删除空行。

#把空行删掉
df.dropna(how='all',inplace=True) 

或者遇到重复数据,比如一个人被记录了多次,可以把多余的数据删掉。

# 删除重复数据行
df.drop_duplicates(['first_name','last_name'],inplace=True)

替换:

比如,如有有一列的数据不合法,weight的数值哟肚饿单位是Kg,有的是lbs,那么就要统一单位。

# 获取 weight 数据列中单位为 lbs 的数据
rows_with_lbs = df['weight'].str.contains('lbs').fillna(False)
# 将 lbs转换为 kgs, 2.2lbs=1kgs
for i,lbs_row in df[rows_with_lbs].iterrows():
    # 截取从头开始到倒数第三个字符之前,即去掉lbs。
    weight = int(float(lbs_row['weight'][:-3])/2.2)
    df.at[i,'weight'] = '{}kgs'.format(weight) 

比如,删掉非ASCII字符。

# 删除非 ASCII 字符
df['name'].replace({r'[^x00-x7F]+':''}, regex=True, inplace=True)

拆列:

这个通常用于构造新的特征,比如方差,平均数等等,或者把有一列多参数分开。

比如把名字分成名和姓。

# 切分名字,删除源数据列
df[['first_name','last_name']] = df['name'].str.split(expand=True)
df.drop('name', axis=1, inplace=True)
原文地址:https://www.cnblogs.com/guangluwutu/p/12363659.html