Макс-мсп или обработка
Я хочу запрограммировать интерактивный экран, который переведет движения тела в звук, и не уверен, стоит ли мне использовать Processing или Max-msp.
Что ты предлагаешь?
3 ответа
Это очень сильно зависит от вашей настройки.
Вы можете выполнять 2D-различие кадров или 3D-отслеживание с Kinect, а MSP отлично подходит для синтеза / обработки аудио. Поскольку вы исправляете код в реальном времени, его прототипирование должно выполняться намного быстрее, чем обычный цикл обработки /Java (запись кода, компиляция, тестирование, отладка, повторение). Если вы чувствуете себя комфортно с Максом, я бы порекомендовал его.
В противном случае вы можете отслеживать с помощью Processing, но я бы не рекомендовал Processing для адаптивных аудио приложений. В зависимости от того, какой объем обработки (видео и аудио) необходимо выполнить, сборщик мусора в Java может задействовать стремительное воспроизведение бесполезных объектов, когда вы меньше всего этого ожидаете, и может вызвать задержки и щелчки в звуке. Макс быстрее.
Вы могли бы использовать их оба, возможно, используя протокол OSC между Processing и Max, но это в основном зависит от ваших настроек и навыков.
Если вам удобнее писать код, чем подключать объекты, вы все равно можете использовать Java или Javascript в Max.
Я бы сказал, что чем проще, тем лучше, и, поскольку результат вашего проекта - хороший, я бы сказал, что Макс - ваш лучший выбор.
НТН
Вы можете пойти только с Max/MSP/Jitter и веб-камерой. Основным способом преобразования изображения в звук является определение количества движения (QoM) и использование его для управления параметрами синтеза. Я бы предложил вам начать с этой статьи: https://cycling74.com/2009/10/26/making-connections-camera-data/ - в ней есть базовая информация о ней и готовый к использованию патч для быстрого запуска за работой.
Я использовал MAX/MSP для этого, потому что есть много материалов с открытым исходным кодом.
Я использовал Kinect с Synapse. Пакет Synapse также предоставляет максимальное исправление, которое предоставляет вам всю информацию о теле (координаты), которую вы можете напрямую использовать в качестве параметров отображения.