Каковы лучшие алгоритмы в реальном времени для сегментации изображения и обнаружения объектов (в помещении)?

Question

Я хочу сегментировать внутреннюю область и находить объекты. Затем я хочу использовать стереозрение, чтобы найти декартово положение объектов. Конечная цель - собирать объекты на столе (и контролировать траекторию) роботом.

Пример объекта: стул, стол, ручка, шприц, степлер, чашка, винт, игрушечная кукла, линейка, коробочка, молоко, фрукты,....

Мой первый приоритет - быть в режиме реального времени (10 Гц).

Я использую ZED Stereo Camera для захвата изображений в Windows 10 64 бит, MATLAB 2016b 64 бит, на Intel Core i7-3820 (3,6 ГГц).

Вывод камеры цветной 720x2560 пикселей, представляющий собой комбинацию двух (правое и левое изображение) 720x1280.

Я предпочитаю использовать неконтролируемые алгоритмы для определения положения неизвестного объекта на столе. Тем не менее, он должен быть в режиме реального времени. Если это невозможно в режиме реального времени, я ухудшу свои ожидания и буду использовать контролируемые алгоритмы для поиска предопределенного объекта.

Answer 1

Я полагаю, что обе проблемы, которые вы упоминаете (сегментация и обнаружение), по-прежнему считаются открытыми, поэтому окончательного решения не существует. Тем не менее, в последние годы было проделано много работ по решению проблем обнаружения объектов и семантической сегментации с использованием глубокого обучения с высокой производительностью и скоростью.

Для обнаружения объектов в режиме реального времени я рекомендую вам проверить результаты YOLO и SSD и взглянуть также на Faster R-CNN, поскольку ваши требования 10 Гц могут быть архивированы для него.

В случае сегментации объектов вы можете попробовать с DCNN, который требует 8 кадров в секунду. Есть и другие, такие как DeepLab или FCN, но мне не ясно, какова скорость этих систем / архитектур.