日常数据大部分时间是存在噪声值的, 为了模型能够更好展现效果,往往需要进行噪声处理,即数据预处理
一:数据缺失值处理
准备数据
import pandas as pd
import numpy as np
from pandas import Series,DataFrame
from numpy import nan as NA
#导包
data =Series([17,None,34,NA,45])
数据为缺失部分存在缺失数据
检查是否存在空值
一.1 缺失值删除
对于:dataframe 数据
一,2 缺失值补全
准备数据
二:检查和过滤异常值
找出data3 数据大于1 的数据并重新赋值
三:检查和移除重复数据
数据准备
找出重复数据 并删除数据 
三 :常规聚合函数
每列数据的和
每行数据的和
每列最小数值所在的行
每行最小数值所在的列
每列最大数值所在的行统计每行最大数所在的列
相对于上一行的累积结果
计算方差
计算标准差
计算百分比变化
计算协方差
计算相关系数