Apple ARKit - это SDK дополненной реальности, представленный в iOS 11.0, который объединяет данные RGB-камеры устройства iOS или iPadOS, данные датчика движения и данные сканера LiDAR для обеспечения надежной работы с дополненной реальностью.

ARKit использует визуальную инерциальную одометрию (VIO) для точного отслеживания мира вокруг него. VIO объединяет данные датчика камеры RGB при 60 кадрах в секунду с данными движения ядра при 1000 кадрах в секунду. Эти два входа позволяют устройству под управлением iOS или iPadOS с высокой степенью точности и без дополнительной калибровки определять, как оно перемещается в помещении. С помощью приложения ARKit 3.5 пользователь может создавать и визуализировать 3D-сцены, используя набор для реальности, набор сцен, набор спрайтов и металлические каркасы.

ARKit 3.5 имеет в своем арсенале следующие функции: People Occlusion с семантикой канала глубины, поддержкой LiDAR Sensor для высококачественного канала глубины и лучшего понимания сцены в прямом эфире Motion Capture позволяя анимировать 3D-скелет, одновременно Front а также Rear слежение за камерой, возможность отслеживать до 3 лиц с помощью камеры TrueDepth, совместные сеансы между 6 пользователями и многие другие полезные функции.

Из-за высокого энергопотребления ЦП / ГП использование ARKit v3.0 и v3.5 ограничено устройствами на базе процессоров Apple A12+ (технология 7 нм).

Ссылка