1. 全连接层：主要用于分类，把分布式特征映射到样本标记空间。全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来。全连接层中的权值矩阵Wi的每一行相当于一个分类模版，xi与Wi矩阵乘法，即可得到xi与每一个模板的匹配度，从中选取得分最高的匹配模板。
在 CNN 结构中，经多个卷积层和池化层后，连接着1个或1个以上的全连接层。全连接层中的每个神经元与其前一层的所有神经元进行全连接，全连接层可以整合卷积层或者池化层中具有类别区分性的局部信息。为了提升 CNN 网络性能，全连接层每个神经元的激励函数一般采用 ReLU 函数。最后一层全连接层的输出值被传递给一个输出，可以采用 softmax 逻辑回归（softmax regression）进行分类，该层也可 称为 softmax 层（softmax layer）。
x1、x2、x3是全连接层的输入，a1、a2、a3是输出