python数据处理(六)之数据清洗:标准化和脚本化

1.数据归一化和标准化

a. 归一化:对数据集进行计算,使数据都位于一个特定的范围

b.标准化:

c.删除离群值

2.数据存储

a.保存到SQLite数据库中

b.导出到简单的文件中csv

3.找到适合项目的数据清洗方法

写脚本(确定代码结构,用于后续使用、学习和分享)代码是否能够帮你节省时间,提高效率

4.数据清洗脚本化

4.1 代码规范看python之禅,让代码更加清晰明确

4.2 让可复用的代码更加通用

4.3 为代码编写文档

首要列出需要完成的任务

编写脚本

优化脚本

为函数添加一些文档字符串和行内注释

5.用新数据测试

寻找相似的数据测试脚本

内置测试模块unittest/nose/pytest库

原文地址:https://www.cnblogs.com/qiu-hua/p/12622818.html