Какие датчики использует ARCore?

Question

Какие датчики использует ARCore: одиночная камера, двойная камера, IMU и т. Д. В совместимом телефоне?

Кроме того, является ли ARCore достаточно динамичным, чтобы по-прежнему работать, если датчик недоступен при переключении на менее точную его версию?

Answer 1

ОБНОВЛЕНО.

Google-х ARCore а также Apple ARKit, используйте те же типы датчиков, чтобы отслеживать реальную сцену. ARCore использует одну RGB камеру вместе с устройством IMU, которое представляет собой комбинацию акселерометра, магнитометра и гироскопа. Ваш телефон может использовать 3D-отслеживание ARCore на 30 fps (сейчас) / 60 fps (сейчас) / 120 FPS (в ближайшее время). Кстати, инерциальный измерительный блок может работать до 1000 Гц.

Прочитайте, что Google говорит об этом о методе COM, построенном на Camera + IMU:

Concurrent Odometry and Mapping - Электронное устройство отслеживает свое движение в окружающей среде, создавая трехмерное визуальное представление окружающей среды, которое используется для correct drift в отслеживаемом движении.

Хотя в предыдущие годы Google был склонен к Multicam + Depth-cam установка (в системе Tango), теперь она имеет тенденцию Single-cam + IMU система.

Вот Google US 15595617 Патент: Система и способ для одновременной одометрии и картирования.

Все мы знаем, что самая большая проблема для устройств Android - это калибровка. Устройства iOS не имеют этой проблемы (потому что элементы управления Apple, аппаратное и программное обеспечение). Низкое качество калибровки приводит к ошибкам в 3D-слежении, поэтому все ваши виртуальные 3D-объекты могут "плавать" в плохо отслеживаемой сцене. Так что чудесной кнопки против плохого слежения нет ( and you can't switch to a less accurate version of tracking ). Единственное решение в такой ситуации - пересмотреть свою сцену с нуля.

Три основных правила для хороших результатов отслеживания:

1. Отслеживайте свою сцену не слишком быстро, не слишком медленно.

2. Отслеживайте соответствующие поверхности и объекты.

3. При отслеживании используйте хорошо освещенную среду.

А как насчет настройки двух камер в ARCore? Я должен дать вам два аргумента против двух камер для ARCore.

Первый аргумент: следующая самая большая проблема ARCore (это тоже проблема ARKit) - это Energy Impact, Мы понимаем, что чем выше частота кадров, тем лучше результаты отслеживания. Но влияние энергии на 30 кадров в секунду HIGH и на 60 кадрах в секунду это VERY HIGH, Такое энергетическое воздействие быстро разрядит батарею вашего смартфона (из-за огромной нагрузки на процессор / графический процессор). Итак, представьте, что вы используете 2 камеры для ARCore - ваш телефон должен обрабатывать 2 последовательности изображений с высоким разрешением с частотой 60 кадров в секунду параллельно, а также обрабатывать и хранить отслеживаемые функции и привязки AR, и в то же время телефон должен одновременно отображать Анимированная 3D графика с текстурами Hi-Res при 60 кадрах в секунду. Это слишком много для вашего CPU/GPU. В таком случае батарея разряжается через 15 минут и будет такой же горячей, как солнце. Мне кажется, что пользователям это не нравится, потому что это плохой опыт AR.

Второй аргумент: Google производит одну камеру Pixel с и развивает ARCore. Google считает, что второй объектив "ненужен" для основного пикселя 2 и пикселя 3 rear camera, Для чего нужна вторая камера? Таким образом, у телефона с двумя камерами не должно быть преимуществ перед телефоном с одной камерой. Google должен продавать свои однокамерные пиксели с хорошо работающим ARCore. Оптимизация ARCore для телефонов с двумя камерами выходит за рамки возможностей Google. Тебе так не кажется?