Трехмерное аудио от Microsoft

Трехмерное аудио от Microsoft

141cda40-2adb-3f95-9c2c-2b2be07d16d1-thumb-225xauto-12555.jpegС высокотехнологичной 3D-графикой, любезно предоставленной Oculus Rift и Проект PlayStation Morpheus , имеет смысл только то, что 3D-звук не отстает. Microsoft придумала систему, которая использует обычные наушники и генерирует 3D-звук, делая сканирование вашей головы и соответствующим образом регулируя звук.







Из Обзор технологий
Так же, как новое поколение очков виртуальной реальности для видеоигр вот-вот выйдет на рынок, исследователи из Microsoft придумали то, что могло бы стать идеальным аккомпанементом - способ для обычных наушников создать реалистичную иллюзию звука, исходящего из определенных мест. в космосе.





В сочетании с устройством виртуальной реальности, таким как Oculus Rift, новую систему можно использовать для того, чтобы объекты или персонажи в виртуальном мире звучали, а также выглядели так, как будто они находятся в определенной точке пространства, даже если это находится вне поля зрения человека. зрения. Исследователи Microsoft называют эту технологию трехмерным звуком.

Во время демонстрации технологии в лаборатории Microsoft в Кремниевой долине я надел пару беспроводных наушников, которые заставляли близлежащие объекты внезапно оживать. Голос, казалось, исходил от картонной модели портативного радио. Казалось, что более качественная музыка исходит из поддельной акустической системы Hi-Fi. А чучело птицы высоко над землей издавало реалистичное чириканье. По мере того, как я ходил, звуки менялись, так что иллюзия никогда не исчезла, поскольку их положение относительно моих ушей изменилось.



Этот несколько жуткий опыт стал возможным, потому что менее чем за минуту до этого я сел перед сенсором Kinect 3-D, и меня ненадолго повернули влево и вправо. Программа построила трехмерную модель моей головы и плеч, а затем использовала эту модель для расчета персонализированного фильтра, который позволил обмануть мои слуховые чувства.

По словам Ивана Ташева, исследователя лаборатории Microsoft в Редмонде, работающего над проектом вместе с коллегой Дэвидом Джонстоном, после того, как такой фильтр будет записан, его можно будет использовать в различных устройствах или программном обеспечении. «Вы можете использовать это для виртуальной и дополненной реальности», - говорит он.



Для правильной работы системе Ташева также необходимы данные о положении наушников при движении головы человека, предоставляемые датчиками движения и камерой наблюдения. Тем не менее, датчики движения, используемые в гарнитурах виртуальной реальности, например Oculus Rift, могут предоставить достаточно информации (см. «10 прорывных технологий, 2014 г.»).

Система Ташева - это новый поворот старой идеи. Давно известно, что уникальная форма и положение ушей человека и анатомия его головы влияют на то, как звук достигает слуховых проходов, и этот процесс описывается как «функция передачи, связанная с головой», или HRTF. Система, запрограммированная с описанием этих параметров, может обманом заставить человека воспринимать звук как исходящий из определенного места.



К сожалению, захват HRTF человека затруднен. Самый точный способ - использовать беруши, оснащенные набором микрофонов, чтобы точно записывать, что достигает ушей человека при воспроизведении калибровочных звуков, но это непрактично за пределами лаборатории. Разработчики видеоигр создают пространственные звуковые эффекты с использованием средних значений HRTF, но они не могут предложить очень точную иллюзию большинству людей.

Когда Ташев быстро сканирует голову человека, его программное обеспечение генерирует аппроксимацию HRTF этого человека, которая кажется достаточно хорошей для получения необычно точного пространственного звука. «По сути, мы можем предсказать, что вы услышите по тому, как вы выглядите», - говорит он. «Мы прорабатываем физический процесс, когда звук идет вокруг вашей головы и достигает ваших ушей». Программное обеспечение, которое делает это, было создано путем захвата точных HRTF для 250 человек и последующего сравнения их с 3-D сканированием их голов.

Ташев говорит, что сейчас он работает над улучшением системы захвата и делает ее достаточно плавной и быстрой, чтобы человек с камерой Kinect мог делать это дома.

Марк Биллингхерст, профессор и руководитель лаборатории интерфейса человека в Университете Кентербери, Новая Зеландия, говорит, что подход, разработанный Microsoft, может иметь широкое влияние, если процесс сканирования можно будет сделать достаточно практичным. По его словам, возможность использовать трехмерные звуковые уловки для голоса, уведомлений и звуков в играх на гарнитурах смартфонов или на таких устройствах, как Google Glass, может упростить взаимодействие с ними.

«Вероятно, он не даст таких точных результатов, как очень подробный HRTF, но все же может быть намного лучше, чем тот, который сегодня предлагается в играх и других средствах массовой информации», - говорит Биллингхерст. «Это может помочь вам почувствовать себя погруженным в игру, виртуальную среду или даже с носимыми устройствами».

как включить портретный режим на iphone 7

Дополнительные ресурсы