OpenCV 之空间滤波

1 空间滤波

1.1 基本概念

空间域，在图像处理中，指的是像平面本身；空间滤波，则是在像平面内，对像素值所进行的滤波处理。

如上图所示，假设点 (x, y) 为图像 f 中的任意点，中间正方形是该点的 3x3 邻域 (也称为 “滤波器”)

当该邻域，从图像的左上角开始，以水平扫描的方式，逐个像素移动，最后到右下角时，便会产生一幅新的图像。

1.2 滤波机制

若输入图像为 f(x, y)，则经空间滤波后，输出图像 g(x, y) 为

$quad g(x, y) = sum limits_{s=-a}^a : sum limits_{t=-b}^b {w(s, t):f(x+s, y+t)} $，其中 w(s, t) 为滤波器模板

更形象的解释，如下图：卷积核(也即旋转180°的滤波器模板) 像手电筒一样，对图像 f(x, y) 中的像素，从左至右从上到下，逐个扫描计算后，便得到了输出图像 g(x, y)

1.3 相关和卷积

空间滤波中，相关和卷积，是两个容易混淆的概念，以下面的输入图像 f(x,y) 和滤波器模板 w(x, y) 为例：

相关 (Correlation)，和上述的滤波机制一样，即滤波器模板逐行扫描图像，并计算每个位置像素乘积和的过程。

卷积 (Convolution)，和 "相关" 过程类似，但是要首先旋转 180°，然后再执行和 “相关” 一样的操作。

二维中的旋转 180°，等于沿一个坐标轴翻转该模板，然后再沿另一个坐标轴再次翻转该模板。

注意：如果滤波器模板是对称的，则相关和卷积得到的结果是一样的。

2 filter2D 和 flip

OpenCV 中，用户可自定义滤波器模板，然后使用 filter2D() 函数，对图像进行空间滤波

void  filter2D (
    InputArray    src,
    OutputArray   dst,
    int           ddepth,
    InputArray    kernel,
    Point       anchor = Point(-1,-1),
    double      delta = 0,
    int         borderType = BORDER_DEFAULT 
)

其公式如下：

$ dst(x, y) = sum limits_{0 < x' <kernel.cols, \ 0<y'<kernel.rows} : kernel(x', y') * src(x+x'-anchor.x, y+y'-anchor.y) $

可以看出，锚点 $(anchor.x, anchor.y)$ 并不是 kernel 的镜像中心。

实际上，filter2D 求的是相关，不是卷积。

要想得到真正的卷积 (convolution)，首先，使用 flip() 函数翻转 kernel，然后，设置新的锚点 $(kernel.cols - anchor.x - 1, kernel.rows -anchor.y -1)$

void  flip (
    InputArray   src,
    OutputArray  dst,
    int          flipCode // 0, flip around x-axis; 1,flip around y-axis; -1, flip around both axes 
);

3 代码示例

下面详细阐述，如何设计滤波器模板，配合 filter2D() 函数，实现图像的一阶和二阶偏导运算。

在 x 方向上，一阶和二阶偏导数的计算结果，如下图所示：

3.1 一阶偏导

图像在 x 和 y 方向的一阶偏导如下：

$frac {partial f}{partial x} = f(x+1,y) - f(x,y)$

$frac {partial f}{partial y} = f(x, y+1) - f(x, y)$

则对应的滤波器模板为 $K_{x} = egin{bmatrix} -1 & 1 end{bmatrix} $，$K_{y} = egin{bmatrix} -1 \ 1 end{bmatrix} $

3.2 二阶偏导

同样的，在 x 和 y 方向的二阶偏导如下：

$frac {partial f^2} {partial x^2} = f(x+1, y) + f(x-1, y)- 2f(x,y)$

$frac {partial f^2}{partial y^2} = f(x, y+1) + f(x, y-1)- 2f(x,y)$

$frac {partial f^2}{partial x partial y} = f(x+1, y+1) - f(x+1, y) - f(x, y+1)+ f(x,y)$

则各自的滤波器模板为 $K_{xx} = egin{bmatrix} 1 & -2 & 1 end{bmatrix} $，$K_{yy} = egin{bmatrix} 1 \ -2 \ 1 end{bmatrix} $，$K_{xy} = egin{bmatrix} 1 & -1 \ -1 & 1 end{bmatrix} $

3.3 代码实现

#include "opencv2/imgproc.hpp"
#include "opencv2/highgui.hpp"

using namespace cv;

int main()
{
    // 读取图像
    Mat src = imread("test.bmp");
    if(src.empty()) {
        return -1;
    }
    cvtColor(src, src, CV_BGR2GRAY);

    Mat kx = (Mat_<float>(1,2) << -1, 1);  // 1行2列的 dx 模板
    Mat ky = (Mat_<float>(2,1) << -1, 1);  // 2行1列的 dy 模板

    Mat kxx = (Mat_<float>(1,3) << 1, -2, 1);     // 1行3列的 dxx 模板
    Mat kyy = (Mat_<float>(3,1) << 1, -2, 1);     // 3行1列的 dyy 模板
    Mat kxy = (Mat_<float>(2,2) << 1, -1, -1, 1); // 2行2列的 dxy 模板

    // 一阶偏导
    Mat dx, dy;
    filter2D(src, dx, CV_32FC1, kx);
    filter2D(src, dy, CV_32FC1, ky);

    // 二阶偏导
    Mat dxx, dyy, dxy;
    filter2D(src, dxx, CV_32FC1, kxx);
    filter2D(src, dyy, CV_32FC1, kyy);
    filter2D(src, dxy, CV_32FC1, kxy);

    // 显示图像
    imshow("dx", dx);
    imshow("dy", dy);
    imshow("dxx", dxx);
    imshow("dyy", dyy);
    imshow("dxy", dxy);

    waitKey(0);
}

以袋装洗手液作为输入图像，得到的偏导图像如下：

参考资料：

OpenCV Tutorials / imgproc module / Making your own linear filters

<数字图像处理> 冈萨雷斯, 第3章灰度变换与空间滤波

图像卷积与滤波的一些知识点，zouxy09

OpenCV 之 空间滤波