Microsoft HoloLens Spectator View Rig - Использование камеры, отличной от той, что написана в документации

Question

Можете ли вы использовать USB-камеру для установки Spectator View и переписать один из сценариев, которые OpenCV использует для получения канала камеры?

Я думаю, что это первый вопрос Stackru, в котором говорится о Spectator View, который поддерживает Microsoft HoloLens, потому что я однажды проверил, обсуждают ли здесь какие-либо другие вопросы, и это не похоже на это.

В любом случае, в соответствии с приведенной здесь документацией, чтобы включить Spectator View в приложении UWP на основе Unity, развернутом в нескольких Microsoft HoloLens, мне нужно выбрать один из четырех различных способов захвата видео в реальном времени с камеры:

• OpenCV 3.2
• Карта захвата DeckLink
• Карта захвата Элгато
• Canon SDK

В этой настройке Spectator View у меня есть проект, на который распространяется соглашение о неразглашении, я использую OpenCV 3.2. Я использую ноутбук Lenovo ThinkPad в качестве концентратора для Spectator View.

Подробно, он запускает редактор Unity, который содержит компонент "Диспетчер представлений зрителя", который мне нужно увидеть в Инспекторе, чтобы создать, установить и запустить приложение, которое будут использовать две мои гарнитуры HoloLens, чтобы увидеть общую закрепленную голограмму, которая пространственно размещены. Редактор также имеет интерфейс Compositor, который мне нужен, чтобы перекрывать то, что видит камера, с виртуальной камерой, которую эта сцена Unity должна создавать для видеопотока, который выходит на проектор или телевизор. Наконец, у меня есть исполняемый файл из набора инструментов Microsoft Mixed Reality Toolkit под названием Sharing Service, где он в основном запускает серверную программу для обмена преобразованиями голограмм на лету, как если бы они применялись в реальной среде.

Теперь Lenovo ThinkPad не может принимать никакие карты захвата, потому что нет внутренних портов расширения. Ноутбук не имеет входного порта HDMI; только вывод. Таким образом, когда я запускаю приложение в редакторе Unity, я получаю видеовход и представление Unity в интерфейсе Compositor, но видеопоток поступает со встроенной камеры, которую предоставляет Lenovo ThinkPad. Вместо этого я хочу использовать другую камеру, предпочтительно камеру DSLR, которая может подключаться к моему ноутбуку через USB.

Используя OpenCV 3.2 в качестве основной зависимости в нужных мне библиотеках, могу ли я изменить один из сценариев, где он принимает видеопоток с камеры USB?

Answer 1

@Dtb49 говорит в чате Stackru выше,

"Я не думаю, что вы ограничены этими четырьмя вариантами, я думаю, это те, с которыми они тестировали. Я помню кое-что о USB-порте, который должен был быть 3.0, чтобы он работал должным образом. Я помню, что сталкивался с этим. проблема, когда я первоначально настраивал это."

Сейчас я не знаю, нужно ли мне менять скрипт или нет, чтобы интерфейс Compositor принимал вход камеры с внешней камеры, подключенной через USB, или просто временно отключал веб-камеру на моем ноутбуке, где что-то в сборке OpenCV или материнской плате определяет, какую камеру загружать для интерфейса. Но похоже, что возможно использование камеры DSLR, подключенной через USB, для установки Microsoft HoloLens Spectator View.

Как стажер университета, я могу сказать, что документация для Spectator View в ее текущем состоянии довольно запутанная, так как я не знаком с UNET и некоторыми другими технологиями Microsoft.