Как использовать данные глубины Kinect в сегментации изображений водораздела

Question

У меня есть как RGB, так и изображения глубины из Kinect в формате PNG. Я пытаюсь использовать данные глубины для сегментации водораздела, но я не знаю, как объединить эти данные и получить более точный результат. Я проверил некоторые документы, но я не понял результатов или не смог найти решение, написанное специально для алгоритма водораздела. Как я могу включить данные о глубине в качестве ориентира для процесса сегментации?

Я использую MatLab для обработки изображений.

Изображения взяты из Nathan Silberman et. База данных ал. на сайте Сильбермана

Пример изображения RGB и соответствующий ему файл глубины показаны ниже (обратите внимание, что изображение глубины, изначально это двоичное изображение, преобразуется в uint8):

Обновление: я попытался создать взвешенное изображение в градациях серого из источника RGB вместе с данными о глубине, взяв каждый канал (красный, зеленый, синий и глубина) и вычислив их веса; затем включая значения, умноженные на их веса для каждого соответствующего пикселя. Но полученное изображение в градациях серого значительно не улучшает результат. Это не лучше, чем сегментация, основанная исключительно на RGB. Что еще я могу сделать, если я буду следовать этому подходу? Кроме того, как я могу увидеть влияние данных глубины?

Answer 1

Если у вас не было ошибок при загрузке, изображение глубины является черным и не содержит никаких данных о глубине. Имейте в виду, что (голландский термин) ваши сравнения яблок и груш здесь. Whatershed изображения не являются изображениями глубины, они извлечения контура.

Затем есть следующая вещь, где вы идете не так, как у изображений с глубиной, их разрешение меньше, чем у цветных изображений. для kinect v2 его всего 512x424, а истинное зрение глубины kinect one даже ниже, чем его возвращенный размер растрового изображения (это малая глубина резкости, и не каждый пиксель является результатом измерения, в отличие от kinect v2). Но тогда у v2 есть еще лучший вывод видео.

Если вы хотите улучшить водораздел RGB-изображения, то усредните несколько кадров камеры, чтобы избавиться от шума камеры.

PS Я рекомендую вам скачать Windows Kinect SDK и посмотреть образцы, поставляемые с ним.