Калибровка камеры для структуры из движения с OpenCV (Python)

Question

Я хочу откалибровать автомобильный видеорегистратор и использовать его для реконструкции 3D с помощью Structure from Motion (SfM). Исходный размер снимков, которые я сделал с этой камерой, составляет 1920x1080. В основном, я использовал исходный код из учебника OpenCV для калибровки.

Но есть некоторые проблемы, и я был бы очень признателен за любую помощь.

Итак, как обычно (по крайней мере, в приведенном выше исходном коде), вот конвейер:

1. Найдите уголок шахматной доски с findChessboardCorners
2. Получить значение субпикселя с cornerSubPix
3. Нарисуйте его для визуализации с drawhessboardCorners
4. Затем мы калибруем камеру с помощью вызова calibrateCamera
5. Позвоните getOptimalNewCameraMatrix и undistort функция для искажения изображения

В моем случае, поскольку изображение слишком большое (1920x1080), я изменил его размер до 640x320 (во время SfM я также буду использовать этот размер изображения, поэтому я не думаю, что это будет проблемой). А также, я использовал углы шахматной доски 9x6 для калибровки.

Здесь проблема возникла. После звонка в getOptimalNewCameraMatrix, искажения выходят совершенно неправильно. Даже возвращенный ROI [0,0,0,0], Ниже оригинальное изображение и его неискаженная версия:

Вы можете увидеть изображение на неискаженном изображении внизу слева.

Но если бы я не позвонил getOptimalNewCameraMatrix и просто прямо undistort это, я получил довольно хорошее изображение.

Итак, у меня есть три вопроса.

1. Почему это? Я пробовал с другим набором данных, снятым той же камерой, а также с моим iPhone 6 Plus, но результаты те же, что и выше.

2. Другой вопрос, что такое getOptimalNewCameraMatrix делает? Я прочитал документацию несколько раз, но до сих пор не могу понять это. Из того, что я заметил, если бы я не назвал getOptimalNewCameraMatrix, мое изображение сохранит свой размер, но оно будет увеличено и размыто. Кто-нибудь может объяснить эту функцию для меня более подробно?

3. Для SfM, я думаю, вызов getOptimalNewCameraMatrix это важно? Потому что если нет, то неискаженное изображение будет увеличено и размыто, что затруднит обнаружение ключевых точек (в моем случае я буду использовать оптический поток)?

Я проверил код с примерами изображений opencv, и результаты просто отличные.

Ниже мой исходный код:

from sys import argv
import numpy as np
import imutils  # To use the imutils.resize function. 
                       # Resizing while preserving the image's ratio.
                       # In this case, resizing 1920x1080 into 640x360.
import cv2
import glob

# termination criteria
criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)

# prepare object points, like (0,0,0), (1,0,0), (2,0,0) ....,(6,5,0)
objp = np.zeros((9*6,3), np.float32)
objp[:,:2] = np.mgrid[0:9,0:6].T.reshape(-1,2)

# Arrays to store object points and image points from all the images.
objpoints = [] # 3d point in real world space
imgpoints = [] # 2d points in image plane.

images = glob.glob(argv[1] + '*.jpg')
width = 640

for fname in images:
    img = cv2.imread(fname)
    if width:
        img = imutils.resize(img, width=width)

    gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)

    # Find the chess board corners
    ret, corners = cv2.findChessboardCorners(gray, (9,6),None)

    # If found, add object points, image points (after refining them)
    if ret == True:
        objpoints.append(objp)

        corners2 = cv2.cornerSubPix(gray,corners,(11,11),(-1,-1),criteria)
        imgpoints.append(corners2)

        # Draw and display the corners
        img = cv2.drawChessboardCorners(img, (9,6), corners2,ret)
        cv2.imshow('img',img)
        cv2.waitKey(500)

cv2.destroyAllWindows()
ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(objpoints, imgpoints, gray.shape[::-1],None,None)

for fname in images:
    img = cv2.imread(fname)
    if width:
        img = imutils.resize(img, width=width)

    h,  w = img.shape[:2]
    newcameramtx, roi=cv2.getOptimalNewCameraMatrix(mtx,dist,(w,h),1,(w,h))

    # undistort
    dst = cv2.undistort(img, mtx, dist, None, newcameramtx)

    # crop the image
    x,y,w,h = roi
    dst = dst[y:y+h, x:x+w]
    cv2.imshow("undistorted", dst)
    cv2.waitKey(500)

mean_error = 0
for i in xrange(len(objpoints)):
    imgpoints2, _ = cv2.projectPoints(objpoints[i], rvecs[i], tvecs[i], mtx, dist)
    error = cv2.norm(imgpoints[i],imgpoints2, cv2.NORM_L2)/len(imgpoints2)
    mean_error += error

print "total error: ", mean_error/len(objpoints)

Уже спросите кого-то в answers.opencv.org, и он успешно попробовал мой код и мой набор данных. Интересно, что на самом деле не так.

Answer 1

Вопрос 2:

С cv::getOptimalNewCameraMatrix(...) Вы можете вычислить новую матрицу камеры в соответствии с параметром свободного масштабирования alpha,

Если alpha установлен в 1 затем все пиксели исходного изображения сохраняются в неискаженном изображении, то есть вы увидите черную и изогнутую границу вдоль неискаженного изображения (например, подушечка для булавок). Этот сценарий неудачен для нескольких алгоритмов компьютерного зрения, потому что, например, на неискаженном изображении появляются новые края.

По умолчанию cv::undistort(...) регулирует подмножество исходного изображения, которое будет видно на скорректированном изображении, и поэтому на нем показаны только разумные пиксели - без подушечки вокруг исправленного изображения, но потеря данных.

В любом случае вам разрешено управлять подмножеством исходного изображения, которое будет отображаться в исправленном изображении:

cv::Mat image, cameraMatrix, distCoeffs;
// ...

cv::Mat newCameraMatrix = cv::getOptimalNewCameraMatrix(cameraMatrix, distCoeffs, image.size(), 1.0);

cv::Mat correctedImage;
cv::undistort(image, correctedImage, cameraMatrix, distCoeffs, newCameraMatrix);

Вопрос 1:

Это только мое чувство, но вы также должны позаботиться, если вы измените размер изображения после калибровки, то матрица камеры также должна быть "масштабирована", например:

cv::Mat cameraMatrix;
cv::Size calibSize; // Image during the calibration, e.g. 1920x1080
cv::Size imageSize; // Your current image size, e.g. 640x320
// ...

cv::Matx31d t(0.0, 0.0, 1.0);
t(0) = (double)imageSize.width / (double)calibSize.width;
t(1) = (double)imageSize.height / (double)calibSize.height;

cameraMatrixScaled = cv::Mat::diag(cv::Mat(t)) * cameraMatrix;

Это должно быть сделано только для матрицы камеры, поскольку коэффициенты искажения не зависят от разрешения.

Вопрос № 3:

Что бы я ни думал cv::getOptimalNewCameraMatrix(...) В вашем случае это не важно, неискаженное изображение может быть увеличено и размыто, поскольку вы устраняете эффект нелинейного преобразования. На вашем месте я бы попробовал оптический поток без вызова cv::undistort(...), Я думаю, что даже искаженное изображение может содержать много полезных функций для отслеживания.