Как я могу общаться с моей кузиной, когда она может только двигать глазами?
Я извиняюсь, если это недостаточно связано с программированием. Короче говоря, непрограммируемая часть: мой двоюродный брат только что поступил в реанимацию вместе с Гийеном Барре, и его состояние ухудшается. Она (вероятно) выздоровеет физически через пару месяцев, но страдает от крайней депрессии и приступов паники, поскольку она по существу застряла в оболочке тела, над которым она теряет контроль. У нас может быть только еще пара дней, когда традиционные методы общения с ней будут полезны. Однако я понимаю, что она, скорее всего, будет контролировать свои глазные мышцы.
Поэтому возникает вопрос: знает ли кто-нибудь хорошую библиотеку отслеживания взгляда, которую я могу использовать с потребительским оборудованием (у меня под рукой есть MacBook Pro, на котором я могу установить Windows или Linux, и могу выбрать от камеры от пользователя до камеры профессионального уровня), чтобы создать очень простой интерфейс визуальной типизации с?
По сути, чтобы она могла смотреть на клавиатуру (во весь экран) и моргать, чтобы щелкнуть по клавише. Или что-то типа того. Это должно быть что-то, с чем она уже знакома (QWERTY), так как сейчас она испытывает МНОГО стресса.
Я просто пытаюсь получить базовую рабочую демонстрацию, чтобы убедить ее семью в том, что она работает. К сожалению, они отрицают, насколько плохо она собирается стать, поэтому я хочу быть готовым.
Спасибо за вашу помощь!
3 ответа
Прежде чем я получу все нетехнические, проверьте Dasher. Я долгое время использовал его на своем портативном устройстве, чтобы печатать длинные сообщения, и это работает как шарм. Нет охоты и клевания, просто смотрите в том направлении, в котором вы хотите, чтобы он двигался (я использовал стилус).
Мой дедушка был парализован от глаз от инсульта, когда я был еще ребенком. Моя бабушка выработала способ разговаривать с ним, используя кусок картона. У нее было три ряда букв: 1-я половина, 2-я половина и 3-я половина (да, третья половина. Почему, я не знаю). В первой половине были буквы AH, во второй - IQ, в третьей - RZ. Она держала карточку в руках и просматривала его сообщения по буквам. Он моргал, когда хотел выбрать букву.
Во-первых, она спросит, какая половина: "Первая половина? Вторая половина?" и т.д. Он моргал, когда она была на правильном. Затем она начинала читать буквы, и он моргал, когда она подходила. Она исправит это.
Там не было "пробела", поэтому вам нужно сделать некоторые догадки, чтобы определить некоторые значения.
Конечно, это не так "технично" или круто, как вы могли бы надеяться, но это чертовски много личного, чем холодное моргание на экране компьютера. Кроме того, если семья собирается использовать это с ней, угадайте, кто будет касаться компьютера, когда вы уйдете? Не ты и не она. И семьи не очень хороши с компьютерами.
Просто предложение, и это займет всего около пяти минут, требует шулер и коробку с пиццей, и только около минуты или двух, чтобы объяснить. Конечно, это утомительно, но это также
Это связано с тем, что вы спрашиваете о программных решениях, хотя я предлагаю переименовать вопрос.
Во-первых, мои соболезнования вашей семье, надеюсь, она выздоровеет и скоро.
Посмотрите на http://www.cogain.org/eyetrackers/low-cost-eye-trackers
там перечислены бесплатные и открытые предложения, в том числе от codeproject (C++)
Понимая, что оригинальная публикация была сделана несколько лет назад, и просто случайно натолкнулась на нее сейчас, я хочу поделиться следующим, если кто-то еще ищет текущие решения.
Windows 10, начиная с обновления Fall Creator, имеет встроенную поддержку Eye Control, а также функцию речевой клавиатуры для общения.
Эта функция работает с любым из поддерживаемых устройств слежения за глазами, одним из которых является недорогой, но качественный продукт, ориентированный на потребителя, Tobii Eye Tracker 4C.
Для программистов Windows 10 предоставляет API-интерфейсы Gaze, а также есть библиотека gazeinteraction с открытым исходным кодом, которая входит в состав Windows Community Toolkit, чтобы упростить создание приложения uwp, которое реагирует на ваши глаза.