机器学习笔记之遗传算法(GA)

      遗传算法是一种大致基于模拟进化的学习方法,假设常被描述为二进制串。在遗传算法中,每一步都根据给定的适应度评估准则去评估当前的假设,然后用概率的方法选择适应度最高的假设作为产生下一代的种子。产生下一代的办法有交叉和变异两种方法。

      遗传算法和遗传编程是进化计算的两种普遍方法。

遗传算法原理

    在遗传算法中各个假设首先表示成二进制位串。用if-then的编码规则将某个属性转换为二进制串。假设一个属性

Outlook可以取Sunny、Overcast和Rain,则该属性可以通过三个二进制位来描述,相应的位表示取某个值的属性。

例子:

(Outlook属性 = Overcast||Rain)&&(Wind属性=Strong)则二进制表示为

                      Outlook        Wind

                        011              10

      表示了假设以后,再应用下面的迭代函数。

 GA(Fitness,Fitness_threshold,p,r,m)
      Fitness:适应度评分函数;
      Fitness_threshold:指定终止迭代的门限;
      p:群体中假设的数量;
      r:每一步通过交叉取代群体成员的比例;
      m:变异率;

      算法的每一次迭代都从概率的方法选择(具体选择那些个体,与个体的适应度有关)(1-r)p直接进入下一代群体,rp个体通过交叉产生群体进入下一代。然后再从下一代选择mp的成员变异,得到这一轮迭代的下一代群体。

                                    

      个体选择:适应度比例选择,锦标赛选择和排序选择。

      交叉算子:两点交叉,多点交叉和均匀交叉。(可以自定义交叉规则)。

      变异算子:从父亲位串中选择一位取反。(当然也可以选择多位)。


      遗传算法实现难题:拥挤问题,群体中某个体适应度大大高于其他个体,因此它迅速繁殖,降低了群体的多样性。解法办法:修改选择函数、适应度共享等。

遗传编程(GP)

    遗传编程是遗传算法的一种应用,只不过现在的个体计算机程序,通过GA学习可以得到那种算法的适应性最强。在遗传编程的实现中,GP操作的程序被表示为解析树,然后遗传交叉的时候,交叉解析数的某个子树节点。


进化和学习模型

      拉马克进化:如果个体在生命周期内学会了避开某种有毒食物,它能把这种特性遗传给后代。科学证明这种理论冲突,但是它可以提高计算机遗传算法的效率。

      鲍德温效应:如果个体具有学习的性能,则个体就会较少地依赖遗传中“基因的不足”,这种个体容易生存下来;如果没有学习能力的个体则单靠遗传的基因,会处于劣势。因此,个体的学习能力间接加速群体适应性进化。Hinton&Nowlan对一个简单的神经网络,运用鲍德温效应进行了实践,即让一些权值固定,另一些权值可以通过样本训练的。实验中,允许学习的时候,群体适应度迅速提高。

并行遗传算法

     GA算法适合并行实现。并行方法把群体细分成相对独立的个体群,每个群成为一个类属(deme),每个类属分配一个计算节点,在这些节点上应用GA算法。类属与类属之间可以通过迁移来复制或交换其他特性,但是将这种概率设置的比类属内部的基因交换概率比低。

原文地址:https://www.cnblogs.com/javawebsoa/p/3237007.html