Аппаратно-независимая библиотека слежения за оборудованием?
Необходимо отслеживать вращение глазных яблок глаз пользователя, чтобы угадать, где пользователь смотрит на экран. Это полезно в видеоиграх или трехмерном моделировании, когда NPC реагируют на вас, когда вы смотрите на них, перемещаетесь по меню и выполняете сложные DOF, а также полезно для исследований в области психологии.
Некоторые из этих библиотек поддерживают обычные веб-камеры ваших ноутбуков или камер в верхней части монитора, но для получения более точных результатов вам необходимо использовать ИК-камеры, прикрепленные к оправе очков с ИК-камерой и ИК-светодиодами. Нетрудно построить таковой с Arduino или подобным микроконтроллером, и датчики отслеживания положения / вращения для них работают нормально.
Для многих есть готовые решения, но они намного превышают бюджет, когда их проект предназначен для исследований и / или не для конечного продукта (игра или другое моделирование) (пока), поэтому нет смысла тратить деньги на этом этапе на проприетарные очки (USD). 500-1000 или даже больше VS (ниже 100 долларов США для пользовательской сборки) с их фирменными SDK, которые работают только со своим аппаратным обеспечением или только с веб-камерами низкого качества (fps, а также точность).
Следовательно, из библиотеки отслеживания взгляда в этом сценарии нужно будет только получить поток кадров в градациях серого и вычислить вращение глаза и предоставлять эти числа каждую n-ую секунду, не более того.
Есть ли такие библиотеки в наличии? Существует довольно много алгоритмов, используемых для точного измерения угла глазного яблока и расширения зрачка, которые используются проприетарными аппаратно-ориентированными библиотеками и для написания кода самим потребуется очень много времени, но сами эти алгоритмы не являются проприетарными, так что есть шанс камеры Аппаратно-независимая библиотека (бесплатная и / или с открытым исходным кодом или платная) существует.