Обнаружение реальных объектов в комнате из приложения AR (WebXR)
Давайте представим настоящую галерею картин, где посетители могут использовать свой браузер телефона рядом с картинами, чтобы увидеть (через AR) некоторую информацию об этой картине.
Как я могу сделать это с WebXR? Возможно, точное определение местоположения GPS каждой картины будет недостаточно точным, особенно в помещении. Будут ли маркеры OpenCV arUco, напечатанные и наклеенные на каждой картине, и обнаруживать их с помощью приложения WebXR, лучшим решением? Они не очень хорошо работают, если вы находитесь на расстоянии более 1 м от маркера.
1 ответ
Это звучит как интересное приложение. Методы компьютерного зрения, как правило, довольно хороши в категоризации объектов (при наличии надлежащего обучающего набора), но в некоторой степени плохо в выявлении и различении отдельных членов категории (что вы и предлагаете - идентификация отдельных картин из набора всех картины в рубрике).
Самое простое решение - пойти на что-то вроде arUco - это идеальный вариант для этого.
Если вы хотите что-то более общее, вам нужно создать обучающий набор (очень сложно, если ваши картины еще не известны / хорошо документированы) и обучить модели для развертывания на периферийных устройствах, таких как телефоны. Это легко в 10-100 раз превосходит все вышеперечисленное (и вы, вероятно, получите худшие результаты), поэтому, если вы не попытаетесь продемонстрировать передовые достижения компьютерного зрения и не иметь под рукой специалистов по компьютерному зрению, я бы не пошел по этому пути.,
Редактировать:
Я вижу ваш обновленный вопрос, объясняющий, что маркеры работают не очень хорошо. Хотя я еще не знаю, насколько глубоко вы в этом разбираетесь, не расстраивайтесь, если это не работает идеально из коробки. Компьютерное зрение - это одна из тех вещей, которая требует больших усилий с параметрами, и часто это может казаться черной магией, когда небольшие изменения в настройке параметров могут существенно повлиять на производительность. Хотелось бы, чтобы было что-то еще, чем я мог бы поделиться, но когда дело доходит до компьютерного зрения, нет никаких общих приемов, которые все время приносят вам отличные результаты.
Первоначальная версия модуля WebXR AR не предоставляет приложению изображения с камеры, но это планируется в качестве дополнения. Пожалуйста, смотрите предложение группы сообщества на https://github.com/immersive-web/computer-vision для получения дополнительной информации.
Для сравнения: ARCore поддерживает распознавание изображений, и это было бы полезной дополнительной функцией для WebXR, либо как часть предложения по компьютерному зрению, либо как отдельная функция.