Восстановление новых характерных точек с использованием функций зрения Matlab

Question

Я использую встроенные в Matlab функции видения и готовый пример кода для отслеживания характерных точек. В моем примере видео камера перемещается горизонтально, вводя новые объекты и пейзажи в поле зрения, в то время как предыдущие объекты и пейзажи перемещаются из поля зрения.

Моя проблема возникает при попытке определить новые характерные точки, когда камера перемещается по сцене. Я использую функцию "detectMinEigenFeatures" в цикле видео-шага while, чтобы найти новые характерные точки после прохождения заданного количества кадров. Тем не менее, выполнение этого как-то никак не влияет на восстановление новых характерных моментов.

Краткая информация: Использование видео GoPro, сэмплирование до 720p и сохранение в формате.avi

Код приведен ниже, и я буду рад предоставить больше информации, которая может помочь понять или решить эту проблему.

Спасибо!

clc;clear all;close all;

videoFileReader = vision.VideoFileReader('GoProFlyingMidFlightResized.avi');

videoFrame = step(videoFileReader);

%Create Video writer
TrackingVideo = VideoWriter('TrackingVideo.avi');

open(TrackingVideo);

% Detect feature points
points = detectMinEigenFeatures(rgb2gray(videoFrame),'MinQuality',0.04,'FilterSize',3);
% points = detectMinEigenFeatures(rgb2gray(videoFrame));

% Create a point tracker
pointTracker = vision.PointTracker('NumPyramidLevels',7,'MaxBidirectionalError', 8, 'MaxIterations',70,'BlockSize',[5 5]);

% Initialize the tracker with the initial point locations and the initial
% video frame.
points = points.Location;
initialize(pointTracker, points, videoFrame);

videoPlayer  = vision.VideoPlayer('Position',[100 100 [size(videoFrame, 2), size(videoFrame, 1)]+30]);

% Make a copy of the points for transformation between the consecutive feature points
oldPoints = points;
FrameCount=0; %For identifying that new feature points must be obtain

while ~isDone(videoFileReader)
    % get the next frame
    FrameCount=FrameCount+1;
    videoFrame = step(videoFileReader);

    if FrameCount==30  %If 30 frame have stepped though, find new feature points
        disp('help')
        points = detectMinEigenFeatures(rgb2gray(videoFrame),'MinQuality',0.04,'FilterSize',3);
        points = points.Location;
        FrameCount=0;
    end

    % Track the points.
    [points, isFound] = step(pointTracker, videoFrame);
    visiblePoints = points(isFound, :);
    oldInliers = oldPoints(isFound, :);

    if size(visiblePoints, 1) >= 2 % need at least 2 points

        % Estimate the geometric transformation between the old points
        % and the new points and eliminate outliers
        [xform, oldInliers, visiblePoints] = estimateGeometricTransform(oldInliers,   visiblePoints, 'similarity', 'MaxDistance', 10);

        % Display tracked points
        videoFrame = insertMarker(videoFrame, visiblePoints, '+','Color', 'red');

        % Reset the points
        oldPoints = visiblePoints;
        setPoints(pointTracker, oldPoints);
    end

    % Display video frame using the video player
    writeVideo(TrackingVideo,videoFrame);
    step(videoPlayer, videoFrame);
end

% Clean up
release(videoFileReader);
release(videoPlayer);
release(pointTracker);
close(TrackingVideo);

Answer 1

В операторе if вы обнаруживаете новые точки:

    if FrameCount==30  %If 30 frame have stepped though, find new feature points
        disp('help')
        points = detectMinEigenFeatures(rgb2gray(videoFrame),'MinQuality',0.04,'FilterSize',3);
        points = points.Location;
        FrameCount=0;
    end

Теперь внутри того же if Вы должны рассказать трекеру о новых точках:

setPoints(tracker, points);

В противном случае ваша переменная points перезаписывается следующей строкой:

[points, isFound] = step(pointTracker, videoFrame);

Вот почему вы никогда не видите вновь обнаруженные точки.