特征匹配+单应性查找对象

目标

在这一章当中，

  • 我们将联合使用来自 calib3d 模块的特征匹配和 findHomography 来查找复杂图像中的已知对象。

基础

那我们上一节做了什么？我们使用了一个 queryImage，在其中找到了一些特征点，我们采用了另一个 trainImage，找到了该图像中的特征，最后找到它们之间特征点的最佳匹配。简而言之，我们在另一个杂乱的图像中找到了一个对象的某些部分的位置。这些信息足以在 trainImage 上准确找到对象。

为此，我们可以使用来自 calib3d 模块的函数，即 cv.findHomography() 。如果将两个图像中的特征点集传递给这个函数，它将找到该对象的透视变换。然后我们可以使用 cv.perspectiveTransform() 来查找对象。它需要至少四个正确的点来找到这种变换。

我们已经看到匹配时可能存在一些可能的错误，这可能会影响结果。为了解决这个问题，算法使用 RANSAC 或 LEAST_MEDIAN（可以由标志位决定）。因此，提供正确估计的良好匹配称为内点，剩余称为外点。 cv.findHomography() 返回一个指定了内点和外点的掩模。

那就让我们做吧！

代码

首先，像往常一样，让我们在图像中找到 SIFT 特征并应用比率测试来找到最佳匹配。

  1. import numpy as np
  2. import cv2 as cv
  3. from matplotlib import pyplot as plt
  4. MIN_MATCH_COUNT = 10
  5. img1 = cv.imread('box.png',0)          # queryImage
  6. img2 = cv.imread('box_in_scene.png',0) # trainImage
  7. # Initiate SIFT detector
  8. sift = cv.xfeatures2d.SIFT_create()
  9. # find the keypoints and descriptors with SIFT
  10. kp1, des1 = sift.detectAndCompute(img1,None)
  11. kp2, des2 = sift.detectAndCompute(img2,None)
  12. FLANN_INDEX_KDTREE = 1
  13. index_params = dict(algorithm = FLANN_INDEX_KDTREE, trees = 5)
  14. search_params = dict(checks = 50)
  15. flann = cv.FlannBasedMatcher(index_params, search_params)
  16. matches = flann.knnMatch(des1,des2,k=2)
  17. # store all the good matches as per Lowe's ratio test.
  18. good = []
  19. for m,n in matches:
  20.     if m.distance < 0.7*n.distance:
  21.         good.append(m)

现在我们设置一个条件，即至少 10 个匹配（由 MIN_MATCH_COUNT 定义）时才查找目标对象。否则只显示一条消息，说明没有足够的匹配。

如果找到足够的匹配，我们将提取两个图像中匹配的特征点的位置。他们被传入函数中以找到透视变换。一旦我们得到这个 3x3 变换矩阵，我们就用它将 queryImage 中的角点转换为 trainImage 中的对应点。然后绘制出来。

  1. if len(good)>MIN_MATCH_COUNT:
  2.     src_pts = np.float32([ kp1[m.queryIdx].pt for m in good ]).reshape(-1,1,2)
  3.     dst_pts = np.float32([ kp2[m.trainIdx].pt for m in good ]).reshape(-1,1,2)
  4.     M, mask = cv.findHomography(src_pts, dst_pts, cv.RANSAC,5.0)
  5.     matchesMask = mask.ravel().tolist()
  6.     h,w= img1.shape
  7.     pts = np.float32([ [0,0],[0,h-1],[w-1,h-1],[w-1,0] ]).reshape(-1,1,2)
  8.     dst = cv.perspectiveTransform(pts,M)
  9.     img2 = cv.polylines(img2,[np.int32(dst)],True,255,3, cv.LINE_AA)
  10. else:
  11.     print( "Not enough matches are found - {}/{}".format(len(good), MIN_MATCH_COUNT) )
  12.     matchesMask = None

最后，我们绘制内点（如果成功找到对象）或匹配特征点（如果失败）。

  1. draw_params = dict(matchColor = (0,255,0), # draw matches in green color
  2.                    singlePointColor = None,
  3.                    matchesMask = matchesMask, # draw only inliers
  4.                    flags = 2)
  5. img3 = cv.drawMatches(img1,kp1,img2,kp2,good,None,**draw_params)
  6. plt.imshow(img3, 'gray'),plt.show()

请参阅下面的结果。对象在图像中以白色标记：

homography_findobj.jpg

其他资源

练习