Visual SLAM для дополненной реальности
В настоящее время я пытаюсь создать приложение Desktop AR, используя очки Vuzix star 1200 XLD и C++. Я провел много исследований относительно алгоритмов, используемых в AR и известном SDK, и обнаружил, что визуальный SLAM является широко используемым алгоритмом.
Итак, я хотел бы получить некоторые отзывы, если вы использовали его, и я открыт для любых предложений, касающихся других алгоритмов AR, используемых для отслеживания и сопоставления.
Большое спасибо!
1 ответ
Год спустя...
SLAM - это не алгоритм, это подход, разложение по шагам для достижения цели. Каждый шаг позволяет вам выбрать один из многих подходящих алгоритмов, каждый из которых имеет различные характеристики, такие как производительность, точность и так далее.
SLAM может быть визуальным монокулярным SLAM (monoSLAM), специализированной ветвью SLAM, связанной с визуальной одометрией.
Вы можете начать с детектора признаков и алгоритма извлечения дескриптора, например, FAST & BRIEF. Больше алгоритма делают обе вещи, как ORB и AKAZE.
Таким образом, вы извлекаете облако точек из изображения, из рамки.
Затем вы сопоставляете точки из двух (скажем, последовательных) кадров с помощью сопоставителя, подобного грубой силе сопоставления расстояний Хэмминга, получая что-то вроде векторов скорости.
https://www.youtube.com/watch?v=G8XAHLJR8A4
Затем вы применяете некоторый алгоритм, такой как PnP-решатель, чтобы получить матрицу рототрансляции, которая объясняет относительное движение камеры. Теперь у вас есть трехмерный вектор положения для каждого объекта.
Вы выбираете ориентиры из обнаруженных объектов, начинаете строить базовую карту облака точек 3d, каждая с ее распределением ошибок. Затем вы применяете некоторые настройки, такие как sba.
Это начальная точка низкого уровня. Вы захотите построить трехмерный мир с текстурой, вам нужно будет точно закрывать пути, вам нужна устойчивость к движущимся частям (например, людям, транспортным средствам)...
Все, о чем вы мечтали, ждет своего развития:)