Как обнаружить и отследить ногу, используя ARKIt и каркас зрения?

Question

Я хочу виртуально добавить мяч для ног и выявлять и отслеживать ногу, чтобы мы могли имитировать удар по мячу.

Кто-нибудь может предложить, как добиться этого в iOS?

Answer 1

Я думаю, что вам понадобится ваша собственная модель CoreML, которая идентифицирует положение ступни на изображении, передает ей кадры, снятые камерой, и идентифицирует положение ступни. ARKit не делает этого, и в iOS 11 нет встроенного распознавания ног

Answer 2

Существует несколько готовых решений для обнаружения частей вашего тела (в том числе ног) при условии, что вы стоите в полный рост перед камерой (Apple ARKit умеет это делать «из коробки» в последних версиях).

Однако, если вы ищете решение, как переместить собственную ногу, вам предстоит этап исследований и разработок.

Потому что угол, под которым пользователь держит свое устройство, нетипичен, а изображение весьма ограничено: видна только часть ноги и ступни.

Тебе придется:

1. Обозначьте ступни со всеми контрольными точками (чтобы не только определить, левая это ступня или правая в кадре, но и понять, как она расположена)
2. Нарисуйте 3D-модель мяча в кадре и отслеживайте движение контрольных точек стопы до тех пор, пока они не коснутся модели с мячом. (В этом случае вам нужно будет учесть вектор движения ноги в кадре, чтобы понять, в каком направлении вам следует перемещать вашу 3D-модель с мячом. Кроме того, учтите ускорение, чтобы понять с какой скоростью вам нужно будет переместить мяч после момента контакта с ним).

Проблема в том, что, например, используя собственный ARKit (способ iOS), вы можете визуализировать 3D-модель и даже управлять ею с помощью контрольных точек, так что это не имеет особого значения. Но главная проблема шага 1 — найти ноги со всеми контрольными точками под нетипичным углом, когда вы сканируете собственные ноги, а не всего человека перед вами.

Поэтому вам может понадобиться инженер ML (возможно, в Pyhton), чтобы сначала создать модель ML. Затем используйте собственную платформу AR (например, ARKit для iOS) или Unity (если она не является встроенной), чтобы получить и визуализировать модель относительно обнаруженных ног.

https://www.youtube.com/watch?app=desktop&v=kcsCf4SlFLs