Прогнозирование машинного обучения под наблюдением к пятогу

Question

Я новичок в машинном обучении.

Я делаю умные перчатки, чтобы распознавать различные жесты рук с помощью классификатора KNN. До сих пор я успешно набрал код и смог предсказать правильный жест, который я ввел.

Теперь я хочу использовать пакет pyautogui, чтобы связать жест с какой-то актуальной функцией для управления компьютером

(т.е. если классификатор предсказал жест как жест "А", я хочу, чтобы он был функцией левого клика.)

Но я не совсем уверен, возможно ли это и как я могу это сделать. Тип предсказания, которое я получаю, это "numpy.ndarray"

Answer 1

Каждый из числовых массивов, которые вы получаете в выходных данных из KNN, уникален. Таким образом, вы можете отобразить все выходные данные массива в некоторые предварительно определенные значения. Для каждого из жестов определите функции, которые вы хотите:

if gesture_1==True:
  pos=pyautogui.position() # to get the position tuple of the cursor
  pyautogui.click(pos[0],pos[1]) #to click at that left-position