Что такое черные пиксели в пиксельном буфере карты глубины ARKit?
При получении пиксельного буфера глубины из сеанса ARKit, например:
CVPixelBufferRef depthDataMap = frame.capturedDepthData.depthDataMap;
многие пиксели черные. Что они собой представляют? Почему они черные? Это не отражает реальной глубины реального мира. Как это интерпретировать?
2 ответа
Это своего рода артефакт "следа".
Эти черные пиксели в канале глубины - цифровые артефакты. Появление этого черного контура стало возможным благодаря тому, что данные о глубине захватываются с частотой 15 кадров в секунду (на каждом четвертом кадре), в отличие от изображения RGB, которое захватывается с частотой 60 кадров в секунду. Кроме того, изображение канала глубины имеет низкое качество (низкое разрешение). Таким образом, если субъект быстро или резко двигает головой во время сеанса AR, когда каждые три из четырех кадров глубины содержат полностью черный фон - это приводит к ситуации, когда данные RGBA и глубины не совпадают друг с другом, так мы получаем эти мерзкие цифровые артефакты.
Посмотрите картинку в посте Как улучшить Окклюзию людей в ARKit 3.0 (нажмите на ссылку ниже).
Если вам нужна дополнительная информация о карте глубины и ее следящем эффекте, прочтите этот пост.
Это означает, что для этого пикселя нет данных о глубине (глубина = 0)