Создать FlowMap в Python OpenCV

Question

Обновленный вопрос:

Сможет ли кто-нибудь указать мне направление на любой материал, который мог бы помочь мне построить оптическую карту потока в python? В идеале я хочу найти что-то, что обеспечивает вывод, похожий на видео, показанное здесь: http://study.marearts.com/2014/04/opencv-study-calcopticalflowfarneback.html. Или что-то с похожим функциональным выходом

Я реализовал алгоритм плотного оптического потока (cv2.calcOpticalFlowFarneback). И из этого я смог отобрать величины в указанных точках изображения. Входной видеосигнал имеет размер 640x480, и я установил точки выборки для каждого пятого пикселя по вертикали и горизонтали.

import cv2
import numpy as np
import matplotlib.pyplot as plt

cap = cv2.VideoCapture("T5.avi")

ret, frame1 = cap.read()

prvs = cv2.cvtColor(frame1, cv2.COLOR_BGR2GRAY)
hsv = np.zeros_like(frame1)
hsv[..., 1] = 255

[R,C]=prvs.shape
count=0
while (1):
    ret, frame2 = cap.read()
    next = cv2.cvtColor(frame2, cv2.COLOR_BGR2GRAY)

    flow = cv2.calcOpticalFlowFarneback(prvs, next, None, 0.5, 3, 15, 2, 5, 1.2, 0)
    mag, ang = cv2.cartToPolar(flow[..., 0], flow[..., 1])

    RV=np.arange(5,480,5)
    CV=np.arange(5,640,5)
    # These give arrays of points to sample at increments of 5
    if count==0:
        count =1 #so that the following creation is only done once
        [Y,X]=np.meshgrid(CV,RV)
        # makes an x and y array of the points specified at sample increments

    temp =mag[np.ix_(RV,CV)]
    # this makes a temp array that stores the magnitude of flow at each of the sample points

    motionvectors=np.array((Y[:],X[:],Y[:]+temp.real[:],X[:]+temp.imag[:]))

    Ydist=motionvectors[0,:,:]- motionvectors[2,:,:]
    Xdist=motionvectors[1,:,:]- motionvectors[3,:,:]
    Xoriginal=X-Xdist
    Yoriginal=Y-Ydist



    plot2 = plt.figure()
    plt.quiver(Xoriginal, Yoriginal, X, Y,
               color='Teal',
               headlength=7)

    plt.title('Quiver Plot, Single Colour')
    plt.show(plot2)


    hsv[..., 0] = ang * 180 / np.pi / 2
    hsv[..., 2] = cv2.normalize(mag, None, 0, 255, cv2.NORM_MINMAX)
    bgr = cv2.cvtColor(hsv, cv2.COLOR_HSV2BGR)
    cv2.imshow('frame2', bgr)

    k = cv2.waitKey(30) & 0xff

    if k == 27:
        break
    prvs = next

cap.release()
cv2.destroyAllWindows()

Я думаю, что я вычислил исходную и окончательную X,Y позиции пикселей и расстояния, на которые они переместились, и поместил их в график колчана matplotlib.

Результат, который я получаю, не совпадает с графиком hsv плотного оптического потока (который, как я знаю, является правильным, поскольку он был взят из учебных пособий OpenCV), и график колчана также показывает только один кадр за раз, и график должен быть закрыт до отображения следующего.

Может кто-нибудь увидеть, где я ошибся в своих расчетах и ​​как я могу сделать автоматическое обновление графика с каждым кадром?

Answer 1

Я не знаю, как изменить поведение сюжетов Matplotlib Quiver, но я уверен, что это возможно.

Альтернативой является создание функции для рисования линий поверх исходного изображения на основе рассчитанного оптического потока. Следующий код должен достичь этого:

def dispOpticalFlow( Image,Flow,Divisor,name ):
"Display image with a visualisation of a flow over the top. A divisor controls the density of the quiver plot."
PictureShape = np.shape(Image)
#determine number of quiver points there will be
Imax = int(PictureShape[0]/Divisor)
Jmax = int(PictureShape[1]/Divisor)
#create a blank mask, on which lines will be drawn.
mask = np.zeros_like(Image)
for i in range(1, Imax):
  for j in range(1, Jmax):
     X1 = (i)*Divisor
     Y1 = (j)*Divisor
     X2 = int(X1 + Flow[X1,Y1,1])
     Y2 = int(Y1 + Flow[X1,Y1,0])
     X2 = np.clip(X2, 0, PictureShape[0])
     Y2 = np.clip(Y2, 0, PictureShape[1])
     #add all the lines to the mask
     mask = cv2.line(mask, (Y1,X1),(Y2,X2), [255, 255, 255], 1)
#superpose lines onto image
img = cv2.add(Image,mask)
#print image
cv2.imshow(name,img)
return []

Этот код создает только строки, а не стрелки, но с некоторым усилием его можно изменить для отображения стрелок.