数据挖掘(一)

一、数据的相关问题

  1. 数据的质量
  2. 数据预处理,使数据更适合分析
  3. 根据数据联系分析数据,找到数据之间的联系,利用联系进行其余分析

二、名词解释

  • 数据集:数据对象的集合
  • 属性:对象的性质或特性
  • 测量标度:将数值或符号值与对象的属性相关联的规则

数据集的特性

  • 维度
  • 稀疏性:非零项所占比例很小,只存非零项,可节省时间和空间
  • 分辨率:影响数据的性质

数据清理:清理不真实或重复的对象(如人的身高2米,体重2kg)

涉及测量误差的问题: 
噪声、伪像、偏倚、精度、准确率 
涉及数据质量的问题: 
离群点、遗漏、不一致的值、重复数据

数据收集错误:遗漏数据对象、不正确包含数据对象,也就是有其他相似但并不应该包含的数据的干扰

离群点:不同于数据集中其他大部分数据的对象 
遗漏值:对象遗漏属性(比如有人不愿意透漏姓名、年龄)

聚集:将两个或多个对象合并成单个对象(如表1:学号姓名,表2学号成绩,聚集之后就变成一个表:学号姓名成绩)

抽样:选择数据对象子集进行分析的方法,数据挖掘中采用抽样是为了节省数据处理需要的时间、费用。

有效抽样的原理:样本越具代表性,效果越接近整个数据集

抽样方法:简单随机抽样(有放回、无放回),分层抽样(对于总体由不同类型对象组成,且数量差别很大)

关于作者

后端程序员,五年开发经验,从事互联网金融方向。技术公众号「清泉白石」。如果您在阅读文章时有什么疑问或者发现文章的错误,欢迎在公众号里给我留言。

原文地址:https://www.cnblogs.com/fonxian/p/5060402.html