Следите за фокусировкой окна с помощью функции отслеживания глаз? (Оконный менеджер)

Question

Сидя перед своим настольным компьютером с несколькими дисплеями, я пришел к мысли соединить простую веб-камеру и некоторое программное обеспечение для отслеживания глаз с моим оконным менеджером, чтобы установить текущий фокус окна прямо на окно, на которое я смотрю. Фокус фокусировался не на курсоре, а на движении глаз, поэтому я мог плавно переключать окна и всегда печатать именно там, где я хочу.

Я думаю, что это не должно быть так сложно сделать, и я не могу быть первым, кто подумает о чем-то подобном - так есть ли какие-либо реализации для x11/wayland или, возможно, расширение для kwin для достижения этого, или я должен попробовать реализовать это? Если так, то кто-нибудь заинтересован в том, чтобы присоединиться ко мне, или это просто глупая идея, которую никто бы не использовал?!

Answer 1

Я немного поиграл с этой идеей. Я думаю, что слежение за глазами было бы слишком чувствительным, но "фокус следует за головой" работал довольно хорошо для первоначального POC для меня. Я обучил простую dlib- сеть работать с точечными точками лица -> 2D-координаты, но openpose может быть даже лучшим инструментом. Другая идея состоит в том, чтобы прикрепить 2-3 маркера AR к наушникам, чтобы вы также автоматически включали режим "наушники = я контролирую фокусировку окна"