1 前言
保持数据格式一致以及可读,否则数据不可能正确合并
清洗数据的过程中记下清洗过程的每一步,方便数据回溯以及过程复用
2 数据清洗基础知识
2.1 找出需要清洗的数据
仔细观察文件,观察数据字段,寻找不一致的地方
2.1.1 替换标题
将不宜动读的短标题换成容易理解的长标题
2.1.2 合并标题与数据
2.2 数据格式化
将可读性差的数据和数据类型转换为可读性强的格式
2.2.1 格式化字符串与数据
推荐 format()
2.2.2 格式化日期
import datetime
datetime.strftime() 日期转换为字符串
datetime.strptime() 字符串转化为日期
2.3 找出离群值与不良数据
错误数据:查看数据值是否有错误(缺失)
离群值:NA
2.4 找出重复值
2.4.1 判断数据唯一性
a.找到唯一键
b.利用集合,numpy库,去重
2.5 模糊匹配
多个数据集或者未标准化的脏数据,可以用模糊匹配来寻找和合并重复值
相关功能包
fuzzywuzzy
2.6 正则表达式
re包
2.7 处理重复记录
a. 合并重复行
b.合并不同数据集(pandas)