10-2[RF] OOB validation

          main idea:

在使用bootstrap生成gi的训练集时,会有一部分数据没有被选中,使用这一部分数据(OOB)进行validation。

1.数据没有被选中的概率

假设训练集大小为N,使用bootstrap生成N’(假设N’=N)条数据用于gi的训练(有放回抽样),则某条特定数据没有被选中的概率为:

      image

当N很大(趋于无穷)时,大约有1/3的数据没有被选中:

      image

称这些没有被选中的数据为OOB(out of bag)

2.使用OOB进行validation

  a. 在每一条记录上做validation

     image

     黄色标注数据(Xn,yn),由于没有被用于训练g2,g3,gT,所以可以用于做这些小g的validation

     image

b. 汇总

     image 

    

原文地址:https://www.cnblogs.com/porco/p/4260857.html