深度学习实现彩色图像特征提取：线性解码器

在前面的讨论中，用到的激励函数都是sigmoid函数：

以为最终的输出层所有输出的范围是[0,1],而我们在自编码学习的动机就是使得输出等于输入，于是所有输入必须调整到[0,1]范围内，但是问题来了，有些数据集输入范围容易调整，比如Minist，但是PCA白化处理的输入并不满足[0,1],所以需要找到一种能够处理非[0,1]范围内的机制。

为了解决这个问题，我们让输出层的输出和该层输入相等：a⁽³⁾ = z⁽³⁾，这就相等于把激励函数改为 f(z) = z，称这个激励函数为线性激励函数，这样就可以输出大于1和小于0的值，那么我们就可以用实值作为输入训练整个自编码器，即输入的范围不用再限制在[0,1]之内,可以是任意实数。

在这个线性解码器模型中： $hat{x} = a^{(3)} = z^{(3)} = W^{(2)}a + b^{(2)}$ .

随着激励函数的改变，输出单元的梯度求法也要随之改变：

$egin{align} delta_i^{(3)} = frac{partial}{partial z_i} ;; frac{1}{2} left|y - hat{x} ight|^2 = - (y_i - hat{x}_i) cdot f'(z_i^{(3)}) end{align}$

因为输出层f(z) = z,所以 f'(z) = 1，于是：

$egin{align} delta_i^{(3)} = - (y_i - hat{x}_i) end{align}$

当采用反向传播计算误差时，还是和以前一样：

$egin{align} delta^{(2)} &= left( (W^{(2)})^Tdelta^{(3)} ight) ullet f'(z^{(2)}) end{align}$

这是因为隐层的激励函数还是sigmoid函数，没有改变。

下面的练习用线性编码器学习出彩色图像的特征，数据集http://ufldl.stanford.edu/wiki/resources/stl10_patches_100k.zip，里面是采样好的100,00幅8*8的RGB图像，随机前100幅采样得到的图像：

经过白化处理后：

学习出的特征：

可以看出和灰度图像类似，学习出的仍然是一些物体的边缘部分。

实验代码：linear_autoencoder.rar，minFunc.rar，其中minFunc.rar是用来优化自动编码代价函数的工具函数包。