Обнаружение 3D-объекта с помощью Kinect

Question

Я работаю над идентификацией объекта с помощью датчика Kinect, чтобы получить координаты x,y,z объекта.

Я пытаюсь найти соответствующую информацию для этого, но не смог найти много. Я тоже видел видео, но никто не делится информацией или примером кода? Это то, чего я хочу достичь https://www.youtube.com/watch?v=nw3yix3XomY

Вероятно, мало кто может задавать один и тот же вопрос, но так как я новичок в Kinect и в этих библиотеках, из-за чего мне нужно немного больше рекомендаций.

Я где-то читал, что обнаружение объектов невозможно с помощью Kinect v1. Нам нужно использовать сторонние библиотеки, такие как открытые CV или облака точек (pcl).

Может ли кто-нибудь мне помочь, даже используя сторонние библиотеки, как именно я могу идентифицировать объект с помощью датчика Kinect?

Это будет действительно полезно.

Спасибо.

Answer 1

Как отметил автор комментария в видео, на которое вы ссылались, после этого руководства по PCL вам это поможет. Как вы уже узнали, реализовать это может быть невозможно при использовании автономного SDK. Использование PCL поможет вам не изобретать велосипед.

Идея заключается в том, чтобы:

1. Уменьшите количество облаков, чтобы на следующих шагах было меньше данных для работы (это также немного снижает шум).
2. Определите ключевые точки / особенности (то есть точки, области, текстуры, которые остаются каким-то образом неизменными для некоторых преобразований).
3. Вычислить дескрипторы ключевых точек, математические представления этих функций.
4. Для каждого дескриптора ключевых точек сцены найдите ближайшего соседа в облаке дескрипторов ключевых точек модели и добавьте его в вектор соответствий.
5. Выполните кластеризацию по ключевым точкам и определите модель на сцене.

Программное обеспечение в учебнике требует, чтобы пользователь вручную вводил файлы модели и сцены. Это не делает это в прямом эфире, как видео, которое вы связали.

Процесс должен быть довольно похожим, хотя. Я не уверен, насколько интенсивно обнаружение процессора, поэтому может потребоваться дополнительная настройка производительности.

Если у вас есть покадровое обнаружение, вы можете подумать о том, чтобы реально отслеживать объект по кадрам. Но это другая тема.