"Звуковое" признание в Swift?

Question

Я работаю над приложением в Swift, и я думал о том, как добиться признания звука без речи в моем проекте.

Я имею в виду, есть ли способ, которым я могу взять звуковые входы и сопоставить их с некоторыми предопределенными звуками, уже включенными в проект, и если совпадение произойдет, оно должно выполнить какое-то конкретное действие?

Есть ли способ сделать выше? Я думаю сломать звуки и сделать проверки, но, похоже, не могу пойти дальше.

Answer 1

Мой личный опыт следует за комментарием Мэтта выше: требует серьезных технических знаний.

Есть несколько способов сделать это, и один из них, как правило, выглядит следующим образом: извлечь некоторые свойства из интересующего звукового сегмента (извлечение звукового объекта) и классифицировать этот вектор звукового объекта с помощью некоторой техники машинного обучения. Обычно это требует некоторой фазы обучения, когда техника машинного обучения приводила несколько примеров, чтобы узнать, какие звуки вы хотите распознать (ваши предопределенные звуки), чтобы можно было построить модель на основе этих данных.

Не зная, какие типы звуков вы хотите узнать, может быть, наш C/C++ SDK, доступный здесь, может помочь вам: http://www.samplesumo.com/percussive-sound-recognition Техническая демонстрация ту страницу, которую вы можете скачать и попробовать со своими звуками. Это библиотека C / C++, есть версия для Mac, Windows и iOS, поэтому вы должны иметь возможность интегрировать ее с приложением Swift на iOS. Может быть, это позволит вам делать то, что вам нужно?

Если вы хотите разработать свою собственную технологию, вы можете начать с поиска и прочтения некоторых научных работ по ключевым словам "классификация звука", "распознавание звука", "прослушивание машины", "классификация функций звука", ...

Answer 2

Мэтт,

Мы разрабатываем кучу крутых инструментов для ускорения разработки под iOS, особенно в Swift. Одним из таких инструментов является то, что мы назвали TLSphinx: оболочка Swift вокруг Pocketsphinx, которая может выполнять распознавание речи без выхода звука из устройства.

Я предполагаю, что TLSphinx может помочь вам решить вашу проблему, так как это полностью открытая библиотека. Ищите его на Github ('TLSphinx'), и вы также можете скачать наше приложение для iOS ('Tryolabs Mobile Showcase') и попробовать модуль вживую, чтобы увидеть, как он работает. Надеюсь, это полезно!

Лучший!