Обнаружение музыкальных форм с помощью OpenCv на устройстве Android

Question

У меня есть задание на одном из моих классов. Мне нужно "сделать" музыкальный инструмент с помощью телефона. Я думал сделать что-то вроде этого:

на стене музыкальный посох (или доска). Затем пользователь может прикрепить музыкальные ноты к этому персоналу и направить камеру телефона на эту стену. затем телефон обнаруживает музыкальные ноты (это могут быть ноты или полутоны, даже G-скрипки) и воспроизводит эту последовательность нот в качестве звуков. Музыкальные ноты будут иметь одинаковый размер и цвет, потому что они не будут нарисованы, мы сделаем их из бумаги или картона.

Меня беспокоит, можно ли с помощью openCv определить несколько пользовательских известных форм (в данном случае это набор музыкальных нот) и их расположение относительно другой (в данном случае это линии на посохе или на самом посохе); если нет, то любая другая идея о том, как это сделать, была бы великолепна.

Может быть, вы могли бы указать мне направление на то, что искать в Google, чтобы начать меня в этом вопросе. У меня есть 2 с половиной месяца, чтобы сделать этот проект (если вам важно знать это), поэтому я был бы признателен за любую помощь. заранее спасибо.

Answer 1

То, что вы спрашиваете, представляет собой общую картину того, как это можно решить. Вот несколько мыслей, с которых можно начать.

Во-первых, вам нужно определить, где находится музыкальная нота на изображении. Если вы знаете, что камера всегда будет статичной, вы можете использовать метод вычитания фона. Более строгий подход заключается в определении музыкальных нот на изображении.

Посмотрите на набор данных MNIST. У этого есть связка рукописных чисел и соответствующей основной правды. Вы можете начать здесь и распространить это на музыкальные ноты. Для начала вы можете использовать k-near, чтобы классифицировать эти изображения.