Python против C++ OpenCV matchTemplate

Question

У меня странная проблема с OpenCV. Я делал сопоставление шаблонов с OpenCV как на Python, так и на C++, однако, хотя Python использует методы C++ под капотом, я получаю совершенно разные результаты. Метод Python дает мне действительно точное место, C++ просто даже не близко. Что является причиной этого? Это мой код C++ или что-то еще??

Я использую Python 2.7.11, Apple LLVM версии 7.3.0 (clang-703.0.29) и OpenCV3.0.

Мой код Python:

def toGray(img):
    _, _, channels = img.shape
    if channels == 3:
        gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    else:
        gray = img
    return gray

def template_match(img, template):
    w, h = template.shape[::-1]
    res = cv2.matchTemplate(img,template,cv2.TM_CCOEFF_NORMED)
    min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)
    top_left = max_loc

    bottom_right = (top_left[0] + w, top_left[1] + h)
    cv2.rectangle(img,top_left, bottom_right, 255, 2)
    plt.subplot(121),plt.imshow(res,cmap = 'gray')
    plt.title('Matching Result'), plt.xticks([]), plt.yticks([])
    plt.subplot(122),plt.imshow(img,cmap = 'gray')
    plt.title('Detected Point'), plt.xticks([]), plt.yticks([])
    plt.suptitle("TM_CCOEFF_NORMED")

    plt.show()

if __name__ == "__main__":
    img_name = sys.argv[1]
    img_name2 = sys.argv[2]
    img_rgb = cv2.imread(img_name)
    img_rgb2 = cv2.imread(img_name2)
    gimg1 = toGray(img_rgb)
    gimg2 = toGray(img_rgb2)

    template_match(gimg1, gimg2)

Мой код C++ (он точно такой же с документацией OpenCV):

Mat img; Mat templ; Mat result;
char* image_window = "Source Image";
char* result_window = "Result window";

int match_method;
int max_Trackbar = 5;

/// Function Headers
void MatchingMethod( int, void* );

/** @function main */
int main( int argc, char** argv )
{
  /// Load image and template
  img = imread( argv[1], 1 );
  templ = imread( argv[2], 1 );

  /// Create windows
  namedWindow( image_window, CV_WINDOW_AUTOSIZE );
  namedWindow( result_window, CV_WINDOW_AUTOSIZE );

  /// Create Trackbar
  char* trackbar_label = "Method: \n 0: SQDIFF \n 1: SQDIFF NORMED \n 2: TM CCORR \n 3: TM CCORR NORMED \n 4: TM COEFF \n 5: TM COEFF NORMED";
  createTrackbar( trackbar_label, image_window, &match_method, max_Trackbar, MatchingMethod );

  MatchingMethod( 0, 0 );

  waitKey(0);
  return 0;
}

/**
 * @function MatchingMethod
 * @brief Trackbar callback
 */
void MatchingMethod( int, void* )
{
  /// Source image to display
  Mat img_display;
  img.copyTo( img_display );

  /// Create the result matrix
  int result_cols =  img.cols - templ.cols + 1;
  int result_rows = img.rows - templ.rows + 1;

  result.create( result_rows, result_cols, CV_32FC1 );

  /// Do the Matching and Normalize
  matchTemplate( img, templ, result, match_method );
  normalize( result, result, 0, 1, NORM_MINMAX, -1, Mat() );

  /// Localizing the best match with minMaxLoc
  double minVal; double maxVal; Point minLoc; Point maxLoc;
  Point matchLoc;

  minMaxLoc( result, &minVal, &maxVal, &minLoc, &maxLoc, Mat() );

  /// For SQDIFF and SQDIFF_NORMED, the best matches are lower values. For all the other methods, the higher the better
  if( match_method  == CV_TM_SQDIFF || match_method == CV_TM_SQDIFF_NORMED )
    { matchLoc = minLoc; }
  else
    { matchLoc = maxLoc; }

  /// Show me what you got
  rectangle( img_display, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );
  rectangle( result, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );

  imshow( image_window, img_display );
  imshow( result_window, result );

  cv::imwrite("rec.jpg", img_display);
  return;
}

Исходные изображения:

Выход Python:

Выход C++

Answer 1

Рассматривая две реализации, наиболее очевидное различие между ними заключается в цветовом формате используемых изображений.

В версии Python вы загружаете изображения "как есть". Поскольку ваши входные изображения имеют формат RGB (как и предполагают имена переменных), вы будете выполнять сопоставление шаблонов на цветных изображениях.

img_rgb = cv2.imread(img_name)
img_rgb2 = cv2.imread(img_name2)

Однако в C++ вы загружаете изображения в градациях серого, так как вы передаете 1 как второй параметр.

img = imread( argv[1], 1 );
templ = imread( argv[2], 1 );

В соответствии с cv::matchTemplate документация:

В случае цветного изображения суммирование шаблона в числителе и каждая сумма в знаменателе выполняется по всем каналам, и для каждого канала используются отдельные средние значения. То есть функция может принимать цветной шаблон и цветное изображение. В результате все еще будет одноканальное изображение, которое легче анализировать.

Это предполагает, что при применении его к 3-канальному изображению вполне возможно получить другие результаты, чем при применении к одноканальной версии того же изображения.