Нахождение центра аруко

Question

Я сделал оценку позы маркера и получил значения rvec и tvec. Я не знаю, как найти его центр, поскольку мне нужно нарисовать цилиндр, который требует значения центра.

Как мне это сделать?

Answer 1

Tvec маркера - это перевод (x,y,z) маркера из исходной точки; единица расстояния - это любая единица измерения, которую вы использовали для определения вашей напечатанной калибровочной таблицы (например, если вы описали свою калибровочную диаграмму в OpenCV с помощью мм, то единицей расстояния в ваших tvecs является мм).

Rvec маркера - это трехмерный вектор вращения, который определяет как ось вращения, так и угол поворота вокруг этой оси, а также дает ориентацию маркера.

вы можете получить положение маркера с помощью tvec

x = '{:.2f}'.format(tvec[0])
y = '{:.2f}'.format(tvec[1])
z = '{:.2f}'.format(tvec[2])

вы можете вычислить центральный пиксель маркера, используя углы, которые возвращает aruco.detectMarkers

corners, ids, rejected = cv2.aruco.detectMarkers(image=gray_img,dictionary=aruco_dict,parameters=parameters)

x_sum = corners[0][0][0][0]+ corners[0][0][1][0]+ corners[0][0][2][0]+ corners[0][0][3][0]
y_sum = corners[0][0][0][1]+ corners[0][0][1][1]+ corners[0][0][2][1]+ corners[0][0][3][1]
    
x_centerPixel = x_sum*.25
y_centerPixel = y_sum*.25

Answer 2

Если вы сделали калибровку правильно, значения tvec будут расстояниями по оси XYZ 'соответственно. Например, если вы правильно выполнили калибровку и калибровали ее в метрах, вы получите расстояния в метрах. Для дальнейшего обсуждения, пожалуйста, загрузите примеры изображений с маркером и tvecs, найденные вашей программой.

Answer 3

Надеюсь это поможет. Загрузите изображения для калибровки здесь.

import numpy as np
import cv2
import cv2.aruco as aruco
import glob
import math

markerLength = 0.25

cap = cv2.VideoCapture(0)

criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)

objp = np.zeros((6*7,3), np.float32)
objp[:,:2] = np.mgrid[0:7,0:6].T.reshape(-1,2)

objpoints = [] 
imgpoints = []

images = glob.glob('calib_images/*.jpg')

for fname in images:
    img = cv2.imread(fname)
    gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)

    ret, corners = cv2.findChessboardCorners(gray, (7,6),None)

    if ret == True:
        objpoints.append(objp)

        corners2 = cv2.cornerSubPix(gray,corners,(11,11),(-1,-1),criteria)
        imgpoints.append(corners2)
        img = cv2.drawChessboardCorners(img, (7,6), corners2,ret)


ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(objpoints, imgpoints, gray.shape[::-1],None,None)

calibrationFile = "calibrationFileName.xml"
calibrationParams = cv2.FileStorage(calibrationFile, cv2.FILE_STORAGE_READ) 
camera_matrix = calibrationParams.getNode("cameraMatrix").mat() 
dist_coeffs = calibrationParams.getNode("distCoeffs").mat() 
count = 1
while(True):
    ret, frame = cap.read()

    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    aruco_dict = aruco.Dictionary_get(aruco.DICT_6X6_250)
    arucoParameters =  aruco.DetectorParameters_create()
    aruco_list = {}
    corners, ids, rejectedImgPoints = aruco.detectMarkers(gray, aruco_dict, parameters=arucoParameters)
    if np.all(ids != None):
        if len(corners):
            for k in range(len(corners)):
                temp_1 = corners[k]
                temp_1 = temp_1[0]
                temp_2 = ids[k]
                temp_2 = temp_2[0]
                aruco_list[temp_2] = temp_1
        key_list = aruco_list.keys()
        font = cv2.FONT_HERSHEY_SIMPLEX
        for key in key_list:
            dict_entry = aruco_list[key]    
            centre = dict_entry[0] + dict_entry[1] + dict_entry[2] + dict_entry[3]
            centre[:] = [int(x / 4) for x in centre]
            orient_centre = centre + [0.0,5.0]
            centre = tuple(centre)  
            orient_centre = tuple((dict_entry[0]+dict_entry[1])/2)
            cv2.circle(frame,centre,1,(0,0,255),8)
        display = aruco.drawDetectedMarkers(frame, corners)
        display = np.array(display)
    else:
        display = frame

    cv2.imshow('Display',display)
    if cv2.waitKey(1) & 0xFF == ord('q'):
            break

cap.release()
cv2.destroyAllWindows()

Answer 4

Вы можете использовать:

gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
dictionary = cv2.aruco.Dictionary_get(cv2.aruco.DICT_4X4_250)
parameters = cv2.aruco.DetectorParameters_create()
markerCorners, markerIds, rejectedCandidates = cv2.aruco.detectMarkers(gray, dictionary, parameters=parameters)
for corner in markerCorners:
    centerX = (corner[0][0][0] + corner[0][1][0] + corner[0][2][0] + corner[0][3][0]) / 4
    centerY = (corner[0][0][1] + corner[0][1][1] + corner[0][2][1] + corner[0][3][1]) / 4
    center = (int(centerX), int(centerY))

Answer 5

Оценка функции OpenCVPoseSingleMarkers()

https://docs.opencv.org/master/d9/d6a/group__aruco.html

это вернет вам rvecs, tvecs, _objPoints. tvecs - это центральная точка, координаты X,Y,Z в той же единице измерения, которую вы используете при калибровке матрицы камеры.

Убедитесь, что калибровка выполнена правильно.

если вам нужен центральный пиксель, а не мировая координата, вам не нужны rvec или tvec. Я думаю, это то, что вы хотите разместить изображения в ленте.

использовать конеры, заданные функцией cv2.aruco.detectMarkers()

углы, идентификаторы, отклонения = aruco.detectMarkers(изображение = серый, словарь =aruco_dic, параметры = параметр)

затем для каждого тега

_centerY = int((_corner[0][1] + _corner[2][1]) / 2)
_centerX = int((_corner[0][0] + _corner[2][0]) / 2)

надеюсь это поможет