1. 理论问题
可表示 VS 可学习
深度模型更好的建模了非线性函数，但是需要多少样本，多少机器资源来实现，效果上的上下界是什么，理论上是否可以估计出来，这是很难的问题
2. 建模问题
图像，语音 都有一些成功的建模方法；自然语言处理更困难；为什么呢，从自然界生物语言能力的发展 严重滞后于 图像和听觉能力的进化可以一窥
建模方法上，最近的进展方方面，对自然语言处理的问题来说CNN，RNN具有更好的表达性，训练复杂度也更高，效果更好
3. 工程问题
DNN 普遍采用SGD（随机梯度下降）算法来训练，但SGD本身是不可并行的，所以这里存在一个工程实现的难题。
目前google采用 parameter server的方式来解决。Baidu采用 多GPU/和CPU MPI/PS三种可选的方式来解决