神经网络拟合连续函数

参考自:https://www.zhihu.com/question/268384579下面的回答。

1.分段线性函数可以拟合任意连续函数,如何理解?

评论里的回答:可以通过让每个分段的长度无穷小来逼近。

//回答中提到了Borel可测函数,搜了一下发现十分复杂,遂中止。

2.含两个隐层神经元的单隐层感知机可以形成脉冲函数,即累计量大于0的话就为1,否则为0(个人理解)。

感知机中的激活函数为,符号判别函数:

 总之使用感知机可以通过积分的思想拟合连续函数:

 

 3.阶梯函数在函数空间是稠密的,所以用连续函数可以逼近可测函数。

 4.通用近似定理

https://zhuanlan.zhihu.com/p/39030338

第一次学习通用近似定理。

 参考:https://www.jianshu.com/p/d27cbfb01711

 5.神经网络是要拟合数据集的一个连续函数的分布,那么衡量这个拟合结果就需要损失函数,损失函数最小,无约束求极值梯度下降,也可以用熵的原理。

  

6.浅析 Hinton 最近提出的 Capsule 计划: https://zhuanlan.zhihu.com/p/29435406

原文地址:https://www.cnblogs.com/BlueBlueSea/p/11921646.html