Theano是深度学习较早的库之一，由深度学习三大先驱（Geoffrey Hinton(Google)、Yann LeCun(Facebook)）的Yoshua Bengio构建。
使用Python组织逻辑，C编译执行，CUDA并行加速计算，是非常好的实验平台。
它的库源码中包含大量注释，并且提供深度学习的几个基本模型的代码实现文档。
以下转自Physical的博文Theano深度学习结构分析
Theano的一般结构
Theano基于Python的面向对象，所以它的神经网络也是基于面向对象的思路去写的。
【对象】
它认为，浅层网络的中分类器，深度网络中的每个层，都是一个对象。
在这个对象里，你被指定了输入格式，你只需要做两件事：
根据格式，定义参数、定义输出。
【数据读入/处理】
从文件读入数据，并且对数据进行全局分享处理(shared)
Theano中搞了一个奇怪的shared类型，Python的普通类型可以由theano.shared()方法转换。
Shared区是供GPU、C代码使用的内存区，与Python的内存区独立，但是由Tensor变量联系着。
这里就不得不提Theano的函数机制。theano.tensor中封装的着大量的惰性函数。
这些惰性函数，在Python里是不会执行的。需要在theano.function()里执行。
theano.function()有四大区：
inputs=[], 如果只是一个普通的列表，就把输入放在这个参数。如果输入有很多，应该放在givens区里。inputs区不支持shared变量，所以也要挪到givens区。
inputs在写function时基本是留空的，inputs=[],这个位置接受的是在线传入的值，如果是离线值，应当放到givens区里。
outputs=普通函数or惰性函数，就是指定工作函数。
这里有个trick，就是如何print出Tensor表达式的量（因为该量的值只会在执行时确定，不能使用get_value)。以取出Softmax的预测值y_pred为例。
只要写这样一个function就行了，function(inputs=[],outputs=classifier.y_pred,givens={....自己指定范围...})。
updates=参数更新的列表，格式[(原,新),(原,新)....]，Shared区的变量只能在updates里更新，Python的中赋值只会让变量留在Python的内存区。
但是在function的内存区和Python一点关系也每有。如果Python里设置一个Tensor关联一些Shared变量的话，Shared区的updates会波及到Python区的值。
如CNN教程里的，params这个Tensor，明明在Python的全局内存区，但是每次update之后，都会被改变。
也就是说Shared区能影响Python区，但是Python区无法动Shread区一根汗毛。
givens={x:List1[:],y:List2[:],.....},其中x和y是outputs函数里使用的变量的名字，一定要对应，下面会讲为什么。
theano.function()不是以Python的方式执行，而是迅速编译成C代码执行，相当于每个function都是一个独立的子程序，所以这四大区是必要的。
由于是独立子程序，Python中的普通变量显然不能很好工作。所以一般都设成shared类型。
实际上，tensor的不少惰性函数都需要在Python状态下的shared变量才能定义。原理未知。比如T.dot就不要求shared变量，但是grad的param一定要求是shared。
由于Theano的大部分计算都在function里，而function又是以C执行，所以Theano具有不输于C的速度，同时兼具Python的灵活性。
【主过程：前向传播构建&反向传播迭代】
创建各个神经网络层、分类器的实例对象，由I/O首尾相连，最后利用分类器构建cost函数，完成前向传播。
利用各个层对象的参数、cost函数，构建梯度表达式，以及updates列表。
为训练集、验证集、测试集创建以theano.function()为壳的模型。
使用mini-batch梯度法分批训练训练集，测试验证集&测试集。
在之前的随笔（Softmax回归（使用theano)中使用了简单的theano功能，提高了速度使得短时间内只能训练5000个到训练50000个mnist数据。
使用到的函数包括：
# T.matrix 分配给矩阵（matrix）” x = T.matrix('x') # T.ivector 分配给“int类型（i）的向量（vector）” y = T.ivector('y') # T.lscalar 分配给“long类型（l）的标量（scalar）” index = T.lscalar() # theano.shared将数据转化为theano.shared类型, T.cast将数据从float转成int32 label = T.cast(theano.shared(np.asarray(label, dtype=theano.config.floatX)), 'int32') # T.mean 获取均值 cost = -T.mean(T.log(hx)[T.arange(y.shape[0]), y]) + 0.5 * self.landa * T.sum(theta ** 2) # T.argmax 获取最大值的序列 predict = T.argmax(hx, axis=1) hx = T.nnet.softmax(T.dot(x, theta)) g_theta = T.grad(cost, theta)
对于T.nnet.softmax，之前不使用theano时的实现如下：
def h(self, x): m = np.exp(np.dot(x, self.theta.T)) sump = np.sum(m, axis=1) return m / sump
theano中将T.nnet.softmax定义为一个类，除了上述计算，还有用于求导的grad部分以及一些c代码。softmax_grad又用了另一个类来实现。
def perform(self, node, input_storage, output_storage): x, = input_storage e_x = numpy.exp(x - x.max(axis=1)[:, None]) sm = e_x / e_x.sum(axis=1)[:, None] output_storage[0][0] = sm
def grad(self, inp, grads): x, = inp g_sm, = grads sm = softmax_op(x) return [softmax_grad(g_sm, sm)]
T.grad将在下一篇随笔中进行理解。