Синхронизация песен и песен автоматически - Java

Question

Я пытаюсь создать приложение для Android, которое получит текст mp3 из тега ID3V2. Мой вопрос: можно ли автоматически выделить текст песни во время ее воспроизведения? Например, использовать обработку речи или тому подобное. Я рассмотрел предыдущие подобные вопросы, но все они требуют ручного ввода. Нужна как можно скорее обратная связь. Спасибо.

Answer 1

Такое возможно на голливудских съемочных площадках, используя технологию, аналогичную тем улучшениям изображения, которые восстанавливают лицо с использованием квадрата 4 пикселя в качестве входных данных.

Итак, ваш запрос теоретически более выполним, но никакие современные телефонные технологии, о которых я знаю, не могли бы сделать это на лету. Вам может понадобиться делореан, конденсатор и немного плутония.

Кроме того, обнаружение вокала по музыке является гораздо более сложной проблемой, чем ввод текстового сообщения на телефон:

1. Тексты песен Sung обычно не следуют естественному ритму речи;
2. Частотный спектр музыки имеет тенденцию конфликтовать с частотным спектром голоса;
3. Голос варьируется по высоте, что значительно затрудняет выделение и обнаружение фонетических особенностей;
4. Вокал часто смешивается на уровне, равном всем другим музыкальным инструментам;
5. IwannahuhIwannahuhIwannahuhIwannahuhIwannaReallireallirealliwannaZigaZiggUHH.

Answer 2

Вы можете взглянуть на эту статью LyricSynchronizer: Автоматическая система синхронизации между музыкальными звуковыми сигналами и текстами песен для возможного решения. Ничего не реализовано в Java для Android, но с NDK вы можете взять любой код C и заставить его работать.;-)

В этой статье описывается система, которая может автоматически синхронизировать полифонические музыкальные аудиосигналы с соответствующими текстами песен. Хотя были предложены способы синхронизации монофонических речевых сигналов и соответствующей транскрипции текста с использованием методов выравнивания Витерби, эти методы не могут быть применены к вокалу в записях CD, поскольку вокалы часто перекрываются звуками аккомпанемента. В дополнение к общепринятому способу уменьшения влияния звуков аккомпанемента, мы разработали четыре метода для преодоления этой проблемы: метод обнаружения вокальных секций, метод построения надежных сетей фонем, метод обнаружения фрикционных звуков и метод для адаптации модели телефона с распознавателем речи к отдельным голосовым сигналам. Затем мы сообщаем результаты экспериментов для каждого из этих методов, а также описываем наш интерфейс воспроизведения музыки, который использует нашу систему для синхронизации музыки и текстов песен.

Желаем удачи в вашей реализации!