决策树算法

决策树归纳算法(ID3)

ID3算法:选择属性判断节点

信息获取量:Gain(A)=Info(D)-Info_A(D)    两个熵之间的差值  假设A为年龄

Info(D):直接目标属性类的熵,14个目标,9个买,5个不买,算此的信息熵

Info_A(D):按A来分类,A下面目标属性类的熵    14个目标,按年龄来分,5个年轻,4个中年,5个老年。其中5个年轻里面2个买,3个不买,以此类推

  以年龄为分类算出的信息获取量最大,所以以年龄为跟节点

dot文件转pdf:dot -Tpdf C:Users64369DesktopjcsallElectronicInformationGainOri.dot -o C:Users64369Desktopjcsoutpu.pdf

原文地址:https://www.cnblogs.com/wang-xun/p/11209596.html