В какой степени Microsoft Hololens можно использовать для обнаружения объектов?

Question

Я начинаю проект, который изучает, насколько способен Hololens обнаруживать трехмерные объекты (Насколько маленьким может быть объект? Какой формы должен быть объект?)

Например, если бы я смотрел на туфлю с помощью Гололенса, смог бы ли он охватить все точки, которые на поверхности туфли? Я изучил характеристики Hololens и там написано, что у них есть "камеры, понимающие окружающую среду", но означает ли это, что это 3D-камеры и насколько точными они могут быть?

Причина, по которой я спрашиваю, состоит в том, что я проработал учебное пособие, которое позволит вам просматривать сетку сканирования комнаты, и подобные стулья и столы выглядели как комочки, растущие из-под земли, а не как автономные объекты. И если бы я хотел, чтобы гололены обнаружили ботинок и что-то с ним сделали, комок не принес бы пользы.

Я новичок во всех видах обнаружения изображений /3D-объектов, поэтому любые ресурсы, которые помогут объяснить, как это работает, будут с благодарностью.

Answer 1

По сути, Гололенс не обнаруживает объекты. Его только обнаруживает поверхности. Возможно, Hololens может обнаружить отклонение на поверхности, если обнаружит обувь (т.е. у вас есть один ботинок на полу). Но вы не могли знать (априори), вызвана ли эта разница показом или несовершенством пола.

В частности: если вы хотите обнаружить обувь, я рекомендую вам изучить обнаружение объектов в Vuforia. Это самый простой способ, если вы хотите обнаружить ранее заданный объект.

Если вы хотите пойти дальше и обнаружить обувь, теннис и другие виды обуви, я рекомендую использовать любую существующую библиотеку lib/framework для AI/Machine Learning и обучать нейронную сеть с несколькими изображениями ботинок и передавать фотографию с камеры HoloLens и обрабатывать информация, возвращаемая нейронной сетью.