稀疏自编码器一览表

以下是我们在推导sparse autoencoder时使用的符号一览表：

符号	含义
$extstyle x$	训练样本的输入特征， $extstyle x in Re^{n}$ .
$extstyle y$	输出值/目标值. 这里 $extstyle y$ 能够是向量. 在autoencoder中。 $extstyle y=x$ .
$extstyle (x^{(i)}, y^{(i)})$	第 $extstyle i$ 个训练样本
$extstyle h_{W,b}(x)$	输入为 $extstyle x$ 时的如果输出，当中包括參数 $extstyle W,b$ . 该输出应当与目标值 $extstyle y$ 具有同样的维数.
$extstyle W^{(l)}_{ij}$	连接第 $extstyle l$ 层 $extstyle j$ 单元和第 $extstyle l+1$ 层 $extstyle i$ 单元的參数.
$extstyle b^{(l)}_{i}$	第 $extstyle l+1$ 层 $extstyle i$ 单元的偏置项. 也能够看作是连接第 $extstyle l$ 层偏置单元和第 $extstyle l+1$ 层 $extstyle i$ 单元的參数.
$extstyle heta$	參数向量. 能够觉得该向量是通过将參数 $extstyle W,b$ 组合展开为一个长的列向量而得到.
$extstyle a^{(l)}_i$	网络中第 $extstyle l$ 层 $extstyle i$ 单元的激活（输出）值. 另外，因为 $extstyle L_1$ 层是输入层，所以 $extstyle a^{(1)}_i = x_i$ .
$extstyle f(cdot)$	激活函数. 本文中我们使用 $extstyle f(z) = anh(z)$ .
$extstyle z^{(l)}_i$	第 $extstyle l$ 层 $extstyle i$ 单元全部输入的加权和. 因此有 $extstyle a^{(l)}_i = f(z^{(l)}_i)$ .
$extstyle alpha$	学习率
$extstyle s_l$	第 $extstyle l$ 层的单元数目（不包括偏置单元）.
$extstyle n_l$	网络中的层数. 通常 $extstyle L_1$ 层是输入层， $extstyle L_{n_l}$ 层是输出层.
$extstyle lambda$	权重衰减系数.
$extstyle hat{x}$	对于一个autoencoder，该符号表示其输出值；亦即输入值 $extstyle x$ 的重构值. 与 $extstyle h_{W,b}(x)$ 含义同样.
$extstyle ho$	稀疏值，能够用它指定我们所需的稀疏程度
$extstyle hat ho_i$	（sparse autoencoder中）隐藏单元 $extstyle i$ 的平均激活值.
$extstyle eta$	（sparse autoencoder目标函数中）稀疏值惩处项的权重.