图像配准：从SIFT到深度学习

640?wx_fmt=jpeg

图像配准（Image Registration）是计算机视觉中的基本步骤。在本文中，我们首先介绍基于OpenCV的方法，然后介绍深度学习的方法。

什么是图像配准

图像配准就是找到一幅图像像素到另一幅图像像素间的空间映射关系。这些图像可以是不同时间（多时间配准），不同传感器在不同地方拍摄（多模式配准）。这些图像之间的空间关系可以是刚性（rigid）^1（平移和旋转），仿射（affine）^2（例如剪切），单应性^3（homographies）或复杂的大变形模型（complex large deformations models）。

640?wx_fmt=png

图像配准具有广泛的应用，适用于同一个场景中有多张图像需要进行匹配或叠加。在医学图像领域以及卫星图像分析和光流（optical flow）方面非常普遍。

640?wx_fmt=png

CT扫描和MRI配准

在本文中，我们将介绍图像配准的几种不同方法。

传统的基于特征的方法

自21世纪初以来，图像配准主要使用基于特征的方法。这些方法有三个步骤：关键点检测和特征描述，特征匹配，图像变换。简单的说，我们选择两个图像中的感兴趣点，将参考图像（reference image）与感测图像（sensed image）中的等价感兴趣点进行关联，然后变换感测图像使两个图像对齐。

640?wx_fmt=png

基于特征的方法

关键点检测和特征描述

关键点就是感兴趣点，它表示图像中重要或独特的内容（边角，边缘等）。每个关键点由描述符表示，关键点基本特征的特征向量。描述符应该对图像变换（定位，缩放，亮度等）具有鲁棒性。许多算法使用关键点检测和特征描述：

这些算法都可以在OpenCV中轻松使用。在下面的例子中，我们使用了AKAZE的OpenCV实现。其他算法的代码大致相同，只需要修改算法的名称。

import numpy as npimport cv2 as cvimg = cv.imread('image.jpg')gray= cv.cvtColor(img, cv.COLOR_BGR2GRAY)akaze = cv.AKAZE_create()kp, descriptor = akaze.detectAndCompute(gray, None)img=cv.drawKeypoints(gray, kp, img)cv.imwrite('keypoints.jpg', img)as np
import cv2 as cv

img = cv.imread('image.jpg')
gray= cv.cvtColor(img, cv.COLOR_BGR2GRAY)

akaze = cv.AKAZE_create()
kp, descriptor = akaze.detectAndCompute(gray, None)

img=cv.drawKeypoints(gray, kp, img)
cv.imwrite('keypoints.jpg', img)

640?wx_fmt=png

图像关键点

更过关于特征提取和描述的文档

特征匹配

一旦在一对图像中识别出关键点，我们就需要将两个图像中对应的关键点进行关联或“匹配”。其中一种方法是BFMatcher.knnMatch()。这个方法计算每对关键点之间的描述符的距离，并返回每个关键点的k个最佳匹配中的最小距离。

然后我们设定比率来保持正确率。实际上，为了使匹配更可靠，匹配的关键点需要比最近的错误匹配更靠近。

import numpy as npimport cv2 as cvimport matplotlib.pyplot as pltimg1 = cv.imread('image1.jpg', cv.IMREAD_GRAYSCALE)img2 = cv.imread('image2.jpg', cv.IMREAD_GRAYSCALE)# 初始化 AKAZE 探测器akaze = cv.AKAZE_create()# 使用 SIFT 查找关键点和描述kp1, des1 = akaze.detectAndCompute(img1, None)kp2, des2 = akaze.detectAndCompute(img2, None)# BFMatcher 默认参数bf = cv.BFMatcher()matches = bf.knnMatch(des1, des2, k=2)# 旋转测试good_matches = []for m,n in matches:    if m.distance < 0.75*n.distance:        good_matches.append([m])# 画匹配点img3 = cv.drawMatchesKnn(img1,kp1,img2,kp2,good_matches,None,flags=cv.DrawMatchesFlags_NOT_DRAW_SINGLE_POINTS)cv.imwrite('matches.jpg', img3)as np
import cv2 as cv
import matplotlib.pyplot as plt

img1 = cv.imread('image1.jpg', cv.IMREAD_GRAYSCALE)
img2 = cv.imread('image2.jpg', cv.IMREAD_GRAYSCALE)

# 初始化 AKAZE 探测器
akaze = cv.AKAZE_create()
# 使用 SIFT 查找关键点和描述
kp1, des1 = akaze.detectAndCompute(img1, None)
kp2, des2 = akaze.detectAndCompute(img2, None)

# BFMatcher 默认参数
bf = cv.BFMatcher()
matches = bf.knnMatch(des1, des2, k=2)

# 旋转测试
good_matches = []
for m,n in matches:
    if m.distance < 0.75*n.distance:
        good_matches.append([m])

# 画匹配点
img3 = cv.drawMatchesKnn(img1,kp1,img2,kp2,good_matches,None,flags=cv.DrawMatchesFlags_NOT_DRAW_SINGLE_POINTS)
cv.imwrite('matches.jpg', img3)

640?wx_fmt=png

匹配的关键点

OpenCV中有更多关于特征匹配的实现方法

图像变换

在匹配至少四对关键点之后，我们就可以将一个图像转换为另一个图像，称为图像变换^12（image warping）。空间中相同平面的两个图像通过单应性变换^13（Homographies）进行关联。Homographies是具有8个自由参数的几何变换，由3x3矩阵表示图像的整体变换（与局部变换相反）。因此，为了获得变换后的感测图像，需要计算Homographies矩阵。

为了得到最佳的变换，我们需要使用RANSAC算法检测异常值并去除。它内置在OpenCV的findHomography方法中。同时也存在RANSAC算法的替代方案，例如LMEDS：Least-Median鲁棒方法。

# 选择匹配关键点ref_matched_kpts = np.float32([kp1[m[0].queryIdx].pt for m in good_matches]).reshape(-1,1,2)sensed_matched_kpts = np.float32([kp2[m[0].trainIdx].pt for m in good_matches]).reshape(-1,1,2)# 计算 homographyH, status = cv.findHomography(ref_matched_kpts, sensed_matched_kpts, cv.RANSAC,5.0)# 变换warped_image = cv.warpPerspective(img1, H, (img1.shape[1]+img2.shape[1], img1.shape[0]))cv.imwrite('warped.jpg', warped_image)
ref_matched_kpts = np.float32([kp1[m[0].queryIdx].pt for m in good_matches]).reshape(-1,1,2)
sensed_matched_kpts = np.float32([kp2[m[0].trainIdx].pt for m in good_matches]).reshape(-1,1,2)

# 计算 homography
H, status = cv.findHomography(ref_matched_kpts, sensed_matched_kpts, cv.RANSAC,5.0)

# 变换
warped_image = cv.warpPerspective(img1, H, (img1.shape[1]+img2.shape[1], img1.shape[0]))

cv.imwrite('warped.jpg', warped_image)