3D Audio Engine
Несмотря на все достижения в 3D графических движках, мне кажется странным, что такой же уровень внимания не уделяется аудио. Современные игры выполняют рендеринг 3D-сцен в реальном времени, но мы все равно получаем более или менее предварительно консервированный звук, сопровождающий эти сцены.
Представьте себе, если хотите, 3D-движок, который моделирует не только физический внешний вид предметов, но и их звуковые свойства. И из этих моделей он может динамически генерировать аудио на основе материалов, которые вступают в контакт, их скорости, расстояния от ваших виртуальных ушей и так далее. Теперь, когда вы прячетесь за мешками с песком с пулями, летящими над вашей головой, каждый из них даст уникальный и реалистичный звук.
Очевидное применение такой технологии - игры, но я уверен, что есть много других возможностей.
Активно ли развивается такая технология? Кто-нибудь знает какие-либо проекты, которые пытаются достичь этого?
Спасибо Кент
5 ответов
Однажды я провел некоторое исследование по улучшению OpenAL, и проблема с симуляцией 3D-звука заключается в том, что многие из сигналов, которые использует ваш разум, - немного различающееся затухание под разными углами, разница в частоте между звуками перед вами и теми, кто позади вас - весьма специфичны для вашей собственной головы и не совсем одинаковы для всех остальных!
Если вы хотите, скажем, пару наушников, чтобы они действительно звучали так, будто существо уходит впереди и впереди персонажа в игре, тогда вам действительно нужно отвести этого игрока в студию, измерить, насколько его собственный уши и голова изменяют амплитуду и фазу звука на разных расстояниях (амплитуда и фаза различны, и оба очень важны для того, как ваш мозг обрабатывает направление звука), а затем учат игре ослаблять и сдвигать фазы звука для этот конкретный игрок.
Существуют "стандартные головки", которые были смоделированы с помощью пластика и использовались для получения общих кривых частотной характеристики для различных направлений вокруг головы, но среднее значение или стандарт никогда не будут звучать совершенно правильно для большинства игроков.
Таким образом, текущая технология в основном состоит в том, чтобы продать игроку пять дешевых динамиков, заставить их расположить их вокруг своего стола, а затем звуки - хотя и не очень хорошо воспроизводимые - на самом деле звучат так, будто они идут сзади или рядом с плеером, потому что, хорошо они идут из динамика позади проигрывателя.:-)
Но некоторые игры стараются быть осторожными, чтобы вычислить, как звук будет приглушен и ослаблен через стены и двери (что может быть трудно имитировать, потому что ухо получает один и тот же звук с разной задержкой в несколько миллисекунд через различные материалы и отражающие поверхности в окружающая среда, все из которых должны были бы быть включены, если бы все звучало реалистично). Однако они, как правило, держат свои библиотеки в секрете, поэтому реализации общедоступных ссылок, такие как OpenAL, обычно довольно примитивны.
Редактировать: вот ссылка на онлайн-набор данных, который я нашел в то время, который можно использовать в качестве отправной точки для создания более реалистичного звукового поля OpenAL из MIT:
http://sound.media.mit.edu/resources/KEMAR.html
Наслаждайтесь!:-)
Aureal сделал это еще в 1998 году. У меня все еще есть одна из этих карт, хотя для ее запуска мне понадобится Windows 98.
Представьте себе трассировку лучей, но со звуком. Игра, использующая API Aureal, будет предоставлять информацию о геометрической среде (например, 3D-карту), а звуковая карта будет воспроизводить звук трассировки лучей. Это было так же, как слышать реальные вещи в окружающем вас мире. Вы могли бы сфокусировать свой взгляд на источниках звука и следить за данными источниками в шумной обстановке.
Насколько я понимаю, Creative уничтожила Aureal с помощью судебных издержек в серии претензий о нарушении патентных прав (которые все были отклонены).
В мире общественного достояния существует OpenAL - аудиоверсия OpenGL. Я думаю, что развитие прекратилось очень давно. У них был очень простой 3D-аудио подход, без геометрии - не лучше, чем EAX в программном обеспечении.
EAX 4.0 (и я думаю, что есть более поздняя версия?), Наконец, спустя десятилетие, я думаю, что некоторые из методов геометрической информации с трассировкой лучей использовались Aureal (Creative скупила их IP после того, как они свернулись).
Действительно очень интересное поле. Настолько интересно, что я собираюсь сделать магистерскую диссертацию на эту тему. В частности, это использование в шутерах от первого лица.
Мои исследования литературы до сих пор ясно показали, что эта конкретная область имеет мало теоретических основ. В этой области не было проведено много исследований, и большая часть теории основана на теории кино и аудио.
Что касается практического применения, я пока не нашел ничего. Конечно, существует множество названий и пакетов, которые поддерживают обработку аудиоэффектов в реальном времени и применяют их в зависимости от общего окружения аудитора. Например: одитор входит в зал, поэтому к сэмплам звука применяется эффект эха / реверберации. Это довольно грубо. Аналогия с визуальными эффектами - вычитать 20% значения RGB всего изображения, когда кто-то выключает (или снимает;)) одну из пяти лампочек в комнате. Это начало, но не очень реалистично.
Лучшей работой, которую я нашел, была кандидатская диссертация (2007 г.) Марка Николаса Гримшоу из Университета Вайкато под названием "Акустическая экология шутера от первого лица". Этот огромный пейджер предлагает теоретическую установку для такого двигателя, а также формулирует множество таксономии и условия для анализа игрового аудио. Также он утверждает, что важность звука для шутеров от первого лица значительно упускается из виду, так как звук является мощной силой для появления в игровом мире.
Просто подумай об этом. Представьте, что вы играете в игру на мониторе без звука, но с идеальной графикой. Затем представьте, что вы слышите реалистичные (игровые) звуки игры вокруг вас, при этом закрывая глаза. Последнее даст вам гораздо большее чувство "быть там".
Так почему же разработчики игр не погрузились в это беззаботное уже? Я думаю, что ответ на этот вопрос ясен: продать его гораздо сложнее. Улучшенные изображения легко продать: вы просто даете картинку или фильм, и легко увидеть, насколько они красивее. Это даже легко определить количественно (например, больше пикселей = лучшая картинка). Для звука это не так просто. Реализм в звуке гораздо более подсознательный, и поэтому его сложнее продать.
Эффекты, которые реальный мир оказывает на звуки, подсознательно воспринимаются. Большинство людей даже не замечают большинство из них. Некоторые из этих эффектов невозможно услышать даже осознанно. Тем не менее, все они играют роль в воспринимаемом реализме звука. Есть простой эксперимент, который вы можете сделать сами, который иллюстрирует это. В следующий раз, когда вы идете по тротуару, внимательно слушайте фоновые звуки окружающей среды: ветер, дующий сквозь листья, все машины на дальних дорогах и т. Д. Затем слушайте, как меняется этот звук, когда вы идете ближе или дальше от стена, или когда вы идете под нависающим балконом, или когда вы проходите даже через открытую дверь. Сделайте это, слушайте внимательно, и вы заметите большую разницу в звуке. Вероятно, намного больше, чем вы когда-либо вспоминали.
В игровом мире такие изменения не отражаются. И даже если вы (пока) сознательно не скучаете по ним, ваше подсознание делает это, и это отрицательно скажется на вашем уровне проявления.
Итак, насколько хорош звук по сравнению с изображением? Более практично: какие физические эффекты в реальном мире вносят наибольший вклад в достигаемый реализм. Зависит ли этот воспринимаемый реализм от звука и / или ситуации? На эти вопросы я хочу ответить в своем исследовании. После этого моя идея состоит в том, чтобы разработать практическую основу для звукового движка, который мог бы по-разному применять некоторые эффекты к некоторым или ко всему игровому звуку, в зависимости (динамически) от количества доступной вычислительной мощности. Да, я устанавливаю планку довольно высоко:)
Я начну в сентябре 2009 года. Если кому-то интересно, я подумываю о создании блога, чтобы поделиться своим прогрессом и результатами.
Жанна Лоу (BSc Computer Sciences University, Лейден, Нидерланды)
Механизм Source (Half-Life 2) на SoundBlaster X-Fi уже делает это.
Это действительно что-то услышать. Вы определенно можете услышать разницу между эхом против бетона, дерева, стекла и т. Д.
Малоизвестная боковая область - это voip. Пока игры активно разрабатывают программное обеспечение, вы, скорее всего, будете тратить время на общение с другими игроками.
Mumble ( http://mumble.sourceforge.net/) - это программное обеспечение, которое использует плагины для определения, кто с вами в игре. Затем он поместит звук в 360-градусную область вокруг вас, так что слева будет слева, сзади вас звучит как таковой. Это сделало жутко реалистичное дополнение, и во время его тестирования это привело к забавным играм "marko, polo".
Аудио получило огромный оборот в перспективе, где было запрещено использовать аппаратное обеспечение для его ускорения. Это убило EAX, как это было в дни XP. Программные обертки постепенно создаются.