Coursera台大机器学习技法课程笔记13-Deep Learning

                  深度学习面临的问题和现在解决的办法:

                

              简要来说,分两步使用DL:初始化时一层一层的选择权重,而后再进行训练:

              

            那么怎么做pre-training,即怎么选择权重呢?好的权重能够不改变原有资料的信息,即编码过后信息够解码过后仍能保持

           

          用类神经网络做如下:

         

               这样做的原因就是,能找到一个好的特征转换:找到隐藏的资料结构,学到数据典型的表现形式

              

             在层与层的autoencoder过程中,不需要标签信息:

             

       下面介绍了一个regularization方法:在资料中加入artifical noise(很疯狂的想法):

       

      上面的autoencoder是非线性的,下面介绍一个线性的模型,实际上就是PCA算法

      

    对Ein进行优化

    

   继续推导,得到结论:对资料的投影方向,就应该是其最大的几个特征值对应的特征向量的方向

  

           PCA

   

  

原文地址:https://www.cnblogs.com/573177885qq/p/4705725.html