进化神经网络（总结）
一、总结
一句话总结：
【也就是神经网络的遗传变异进化那一套】：进化神经网络（evolutionary neural networks,ENN）是基于进化计算和神经网络两大智能分支，将二者有机融合在一起产生的一种全新神经网络模型。
1、进化神经网络的优缺点？
优点：避免梯度下降中的局部最优，而找到全局最优
缺点：优化起来有点慢，可以用并行解决
在梯度下降中, 我们需要的只是梯度, 让这个神经网络的参数滑到梯度躺平的地方就好了, 因为梯度给你指明了一个优化的方向, 所以如果是监督学习, 优化起来会非常快. 而神经网络的进化, 使用的却是另一种手段. 用原始的点创造出很多新的点, 然后通过新的点来确定下一代的起点在哪. 这样的循环再不断地继续. 可以想象, 如果在监督学习中, 我们需要不断产生非常多新的网络, 测试新的网络, 这将比梯度法慢很多. 但是不使用梯度的方法还有一个好处, 那就是有效避免局部最优.
2、进化神经网络如何提升？
利用并行计算，来模拟找到最适合环境的宝宝神经网络
因为涉及到了很多的宝宝, 我们大可将这些宝宝利用计算机强大的并行能力有效的计算. 研究指出, 如果合理的运用这种能力, 他们的训练效果可比传统的强化学习快多了[2]. 或许当基于梯度的方法达到瓶颈后, 这些基于进化的方法或许能为我们打开另一扇窗.
二、进化神经网络
转自或参考：
进化神经网络_百度百科
https://baike.baidu.com/item/%E8%BF%9B%E5%8C%96%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/13480183?fr=aladdin
神经网络也能进化? Neuro-Evolution - 知乎
https://zhuanlan.zhihu.com/p/29074742