决策树

决策树:
1、场景:最典型的应用场景是预测和分类,如新客户分类。
2、特点:决策树有很好的直观性,生成模式简单,对预测和分类结果也有很好的解释性。
3、相关概念:熵是无序性(或不确定性)的度量指标。假如事件A的全概率划分是(A1,A2,...,An)
,每部分发生的概率是(p1,p2,...,pn),那信息熵定义为:
entropy(p1,p2...pn)=-p1log2p1-p2log2p2-....pnlog2pn
Information Gain(IG),信息增益和信息熵描述的信息是一致的;描述的是对于数据集合S,将其按照
其属性A切分后,获得的信息增益值。
Gain(S, A)=E(S)–E(S, A)

原文地址:https://www.cnblogs.com/wei23/p/10890884.html