从上图可以看到，PCANet的训练分为三个步骤(stage)，前两个stage很相似，都是去平均，然后PCA取主成分并卷积，最后一步是二值化（为了产生非线性输出）和直方图量化。
设滤波器个数为f，
1、过滤器的计算：对图片均匀分块，去均值，然后求每块的特征向量和特征值，然后对特征值由大到小进行排序，选取f个最大的特征值对应的特征向量，即为所求过滤器。/2、卷积层计算：先对原图进行边界补零操作，然后和过滤器进行卷积操作。
PCANet有两层卷积操作，计算过程是一样的。
3、输出层的计算：对第二层得到图像进行二值化哈希编码，编码位数与第二层的滤波器个数相同。
公式为：
把原来的图像映射成，0-255，此处
一般设置成8,函数H 是一个阶跃函数。
,表示第二层的滤波器个数。
对于第一层的每个输出矩阵，将其分为B块，计算统计每个块的直方图信息，然后在将各个块的直方图特征进行级联，最终得到块扩展直方图特征：
在进行直方图分块时同样可以采用重叠分块和非重叠分块模式，需要视情况而定。实验表明非重叠分块适用于人脸识别，重叠分块模式使用于手写数字识别、文本识别、目标识别等等。此外直方图特征还为PCANet提取到的特征添加了一些变换上的稳定性（例如尺度不变形）。