Давайте перейдём к дискуссии про отличия звука в VR от традиционного.
Очевидно, позиционируемый звук становится более важен. Звук сам по себе становится более важен. Относительно требуемых навыков — я не вижу особых различий. 3D-игра остаётся 3D-игрой, просто значимость 3D вырастает. Я говорю про окружающее пространство — отражения от стен и подобные вещи. Сведение немного отличается, но в целом для меня в VR пока нет ничего, чем я бы раньше не занимался.
Но всё, о чём вы говорите, происходит на уровне движка. У нас уже есть плагины для этого. Они, конечно, ужасные пока, но они разовьются.
Но мы всё ещё не знаем, как сделать очень хороший 3D-звук.
Эта проблема ещё не решена? Есть же много отличных бинауральных записей, есть к чему стремиться.
Мне нравится эта технология, но на мне она не работает. Многие люди используют один и тот же набор бинауральных импульсов, или записывают звук на одну и ту же «голову», которая сделана в виде головы среднестатистического мужчины. Но у всех же разные головы и уши. Так что я слышу, чего создатели пытались добиться, но позиционирование очень размыто.
Даже в тех записях от Sensaura? Вроде виртуальной парикмахерской?
Хорошо, что ты про неё вспомнил. Она работает, но они много хитрили. Они использовали статичный звук с большим количеством высоких частот. Но чем больше у тебя звуков, тем менее заметен эффект — они начинают смешиваться друг с другом. А если в звуке мало высоких частот, то эффект вообще не работает. У Dolby Pro Logic были те же проблемы. В «парикмахерской» у тебя лишь пара звуков с кучей высоких частот — это не то, как звучат игры. Пока что технологии, которая могла бы обеспечивать хорошее позиционированное аудио для всех в наушниках или колонках, не существует. Это проблема, которую нужно решать, но я не знаю, поддаётся ли она решению.
Что на счёт недиегетической (музыка, звучащая за кадром, которую слышит зритель, но не персонаж — прим.ред.) музыки в VR?
Sony это исследовали. Они перепробовали много подходов, и самый простой показал себя лучше всего. Это был традиционный микс, который немного просачивается в окружение. А ещё слишком много музыки в VR звучит подавляюще, так что не надо переусердствовать, пишите меньше.
По моему опыту, музыка там вообще не к месту — я вовлечён в виртуальный мир, и что-то начинает играть прямо в моей голове.
Это потому что она звучит слишком близко. Я бы размещал её в пространстве. Добавь немного реверберации в конечный микс, отдали её от слушателя.
Представьте, что вы бросаете в стену какую-нибудь вазу. В обычной игре она разбивается, объект издаёт соответствующий звук. А в VR нам нужен отдельный источник звука для каждого осколка, они могут разлететься вокруг вас.
Да, так надо делать, если ты используешь физику. Но мы это делали ещё в Pure — игре про гонки на квадроциклах. Там у каждого кусочка гравия, вылетевшего из под колёс, был свой источник звука. Так что это применяется не только в VR, это справедливо для всех игр, где физика частиц имеет какое-то значение. А в VR точно так же возможна статическая анимация.
Я думал, ты о другом заговоришь. В VR у тебя есть контроллер, и ты физически им управляешь. Если ты что-то бросаешь, ты, как правило, вовлекаешь игровую физику. С какой скоростью ты бросаешь эту вазу, во что она врежется? Потенциально, растёт необходимость связи физической и звуковой системы, и этого очень трудно достичь. Так что, возможно (!), это повод обратиться к физическому моделированию. И, возможно (!), именно это и нужно сейчас изучать. Это, правда, может звучать менее реалистично, менее правдоподобно. Как дизайнер звука, я против этого. Но тут у нас образуется разрыв, который нужно сбалансировать. Эффективнее ли, если я бросаю объект, и он хорошо звучит, но его поведение не соответствует моим ожиданиям? Или лучше наоборот? Что из этого правдоподобнее? Я не знаю, это нужно изучать.
Мы редко используем реалистичные звуки — мы их раздуваем и приукрашиваем, это перешло к нам из кино. Не требует ли виртуальная реальность более реалистичного звука?
Я говорю о правдоподобности, а не о реализме. Но это интересный вопрос — требует ли правдоподобность в VR более реалистичного подхода. Я точно не знаю, но нутро подсказывает, что нет, и старые правила будут работать. Но нужно добавлять элементы контроля, потому что иммерсия легко нарушается, когда что-то ведёт себя не так, как ты ожидаешь. Это как RTPC в Wwise — они позволяют добавить гибкости тому, что ты моделируешь.
Как эксперт по процедурному и генеративному аудио, расскажите, что это вообще такое.
Никто точно не знает, и меня это раздражает до бесконечности.
Денис, спасибо! Интересное интервью. В Институте Звукового Дизайна уже репостим )
Отличное интервью!