CNN 适合处理图片类输入数据，单独的，数据之间没有关系。
rnn则适合处理序列类数据，视频帧，语言。
深度神经网络一般指隐藏层大于2的神经网络。深层网络相对于浅层网络，表达能力更强。仅有一个隐藏层的神经网络就能拟合任何一个函数，但是需要很多神经元，深层网络用少得多的神经元就能拟合相同的函数。也即是说，为了拟合一个函数，要么使用一个浅而宽的网络，要么使用一个深而窄的网络，后者更节约资源。深层网络的缺点是不容易训练。
感知器有一个问题，当面对的数据集不是线性可分的时候，『感知器规则』可能无法收敛，这意味着我们永远也无法完成一个感知器的训练。为了解决这个问题，我们使用一个可导的线性函数来替代感知器的阶跃函数，这种感知器就叫做线性单元。线性单元在面对线性不可分的数据集时，会收敛到一个最佳的近似上。