什么是数据挖掘(What is Data Mining?)

What is Data Mining?

发现模式和模型拥有下列特点,

  • 时效性:持有一定的新数据
  • 有用性:模型可操作可利用
  • 非显然性:不是显而易见的系统
  • 可理解性:人类能够理解的模式

附带问题:清理数据、可视化数据、数据仓库式(利于检索)

数据挖掘(Data Mining)是数据“模型”的发现过程。

医学家约翰·斯诺在研究霍乱的传播时,利用了统计学的方法。他通过在一张标注霍乱病例的地图来说明,霍乱是通过水源传播的。


Why Mine Data?

  • 大量数据被收集入库。
  • 计算机便宜又强大。
  • 强大的竞争压力驱使。

Data Mining Tasks

  • 利用变量预测未来
  • 寻找一种模型来解释数据

Meaningfulness of Answers

A big data-mining risk is that you will "discover" patterns that are meaningless.

大数据挖掘的风险是你可能“发现”一些没有意义的模式。

邦弗朗尼原理(Bonferroni's principle)非正式描述

在数据随机性假设基础上,可以计算所寻找事件出现次数的期望值。如果该结果显著高于你所希望找到的真正实例数据,那么可以预期,寻找到的几乎任何事物都是臆造的,也就是说,它们是在统计上出现的家乡,而不是你所寻找时间的凭证。

Example

1950年,超心理学家Joseph Rhine推测,有些人有超感知力。

他设计了一个实验,收实验者被要求猜10张牌的颜色——可能是红色或者蓝色。

他发现1/1000的人有超感知力,能够猜中所有的牌的颜色。

他告诉这些人他们有超感知力,并要求他们做另一个同类的测试。

可惜,几乎所有人失去了他们的超感知力。

他的得出了什么结论呢?

他的结论是:你不能告诉人们有超感知力,这样会使他们失去能力……^_^

原文地址:https://www.cnblogs.com/justany/p/2769011.html