Расчет соответствующих пикселей

Question

У меня компьютерное зрение с двумя камерами. Одна из этих камер - камера времени полета. Это дает мне глубину сцены в каждом пикселе. Другая камера - стандартная камера, дающая мне цветное изображение сцены.

Мы хотели бы использовать информацию о глубине, чтобы удалить некоторые области из цветного изображения. Мы планируем отслеживание объекта, человека и руки на цветном изображении и хотим удалить удаленный фоновый пиксель с помощью камеры времени полета. Пока не ясно, можно ли выровнять камеры параллельно.

Мы могли бы использовать OpenCv или Matlab для расчетов.

Я много читал о ректификации, эпипаргарометрии и т. Д., Но у меня все еще есть проблемы, чтобы увидеть шаги, которые я должен предпринять, чтобы вычислить соответствие для каждого пикселя.

Какой подход вы бы использовали, какие функции можно использовать. На какие этапы вы бы поделили проблему? Есть ли где-нибудь учебник или пример кода?

Обновление Мы планируем выполнить автоматическую калибровку с использованием известных маркеров, размещенных на сцене.

Answer 1

Если вы хотите надежных соответствий, вы должны рассмотреть SIFT. В MATLAB есть несколько реализаций - я использую библиотеку Vedaldi-Fulkerson VL Feat.

Если вам действительно нужна высокая производительность (а я думаю, что нет), вам следует подумать об использовании детектора OpenCV SURF.

Если у вас есть другие вопросы, задавайте. Этот другой мой ответ может быть полезным.

PS: Судя по соответствию, я предполагаю, что вы хотите найти координаты проекции одной и той же трехмерной точки на обоих ваших изображениях - то есть координаты (i,j) пикселя u_A в изображении А и u_B в изображении B, который является проекцией той же точки в 3D.