数据挖掘笔记(1)

1)数据挖掘的一种定义
     是一项通过探測大量数据以发现有意义的模式和规则的业务流程。
     数据挖掘是一种业务流程,它以其他业务流程产生的大量数据为输入,一般经过收集,清洗,整理。识别、分析和度量等加工,得到某种有意义的模式或规则作为输出。

而这样的输出反过来能够为其他业务流程提供度量,推断,预測等作用。


     数据挖掘的基础是大量的数据,不同的挖掘方法和目的对于数据量的要求会有所不同。但一般而言,都是数据越多越好。对于数据挖掘而言,全部数据都是实用的。但对于某种具体的挖掘任务,就须要识别有效数据和无效数据。这就是数据清理的基本目的。
     数据挖掘的过程并非单线的,非常多时候都须要不停地迭代。
     发现有意义的模式和规则是数据挖掘的根本目的。这里的模式和规则能够是一种关联(比方身高和饮食,销量与季节等),趋势(比方人口增长趋势,销量趋势)。

一般来讲,依据数据总能够找到一种模式或者规则(对于有限的样本数据总能够找到一种拟合函数),因此必须寻找有意义的模式或规则。这里的有意义是指能够给我们的其他业务过程提供“实用“的帮助。
     在数据挖掘过程中,每一个环节事实上都带有非常大的主观性。由于数据量大,数据维度多,数据所包括的信息取决于人的视角,要穷尽全部的可能是不现实的,因此取舍在数据挖掘过程中非常重要。

正由于数据挖掘的特殊性,非常多时候我们都希望能得到某种通用的模式。这当然是无可厚非的事情。

但由于数据挖掘是基于历史数据。样本数据总是有限的,因此假设涉及到对未来的预測,那么在数据挖掘过程中就应始终保持对通用模式的警惕(放之四海而皆准的都应该警惕),同一时候也须要防止过渡拟合。

   
2)数据挖掘的一般过程
     A)识别业务机会
     数据挖掘的重点的是结果(得到有价值的信息),而不是利用先进的技术。识别业务机会是数据挖掘的任务定义过程。
     B)将数据转换为信息。
    将数据转换为信息就是数据挖掘的挖掘过程。数据的好坏对信息的获取有比較直接的影响,由于在挖掘过程中。须要花费大量的时间和精力来进行数据的清理和整理。为了降低这样的成本,为数据挖掘而提供的数据应该有良好的数据格式(尽量结构化和标准化),尽可能多的维度(通常是越具体越好)。
     这从另外一个角度,也给业务或者产品的设计者。数据结构的设计者提出了更高的要求。
     C)依据信息採取行动。
     这是数据挖掘的根本目的。数据挖掘得到的信息应该得到应用。

只实用了才干从实际中验证数据挖掘工作的好坏。挖掘策略是否有效。
     D)度量结果。


      对数据挖掘得到的信息通过实际应用进行检測,从而能够评价和改进挖掘过程。并且,通过应用产生的数据能够增加到新的挖掘过程中,对挖掘形成良性的促进。

3)须要注意的问题
      学习的东西不真实
      A) 模式不代表不论什么基本规则
             数据本身是没有好坏的。数据是中性的。

但人们从数据获得的信息往往带有认知的主观性。比方我们觉得月亮上有月兔,不过由于有些像。但实际没有。


              数据不会说谎,理解(挖掘)会有偏差;说谎的人会玩弄数据;
      B) 模型集可能不反映相关的总体
             样本数据太少。样本数据不能非常好的反映总体的情况下就会产生这样的问题。比方1,1,2,3,5,8.看到这些数据。非常easy觉得是斐波纳契数列。假设这是商店的每天卖出的商品数。能用斐波纳契数列做商品的销售模型?显然不行的。


      C)数据的具体程度有误
            还是上面的样例,数据量太小,数据量太少,数据的具体程度太低,往往得不到所要的结果。还会产生误导。
      学习的东西无用
        包括两个方面。一是得出的东西众所周知,二是不能用,这个不能用可能是法律的。或者条件所限。





原文地址:https://www.cnblogs.com/lxjshuju/p/6928367.html