Искусственный интеллект в акустике может открыть мультимодальную метавселенную

Исследователи из Массачусетского технологического института и лаборатории искусственного интеллекта IBM Watson создали модель, способную предсказать, что пользователь услышит в различных местах трехмерного пространства. В статье, написанной в соавторстве с Йилуном Ду, аспирантом Массачусетского технологического института, исследователи показывают, как методы, подобные визуальному 3D-моделированию, могут быть применены к акустике. Например, изменение местоположения слушателя в комнате может создать совершенно другое впечатление от звука из-за препятствий, формы комнаты и характера звука, что затрудняет прогнозирование результата.

Чтобы преодолеть эту проблему, исследователи встроили в свои модели особенности физических законов акустики. Полученная модель нейронного акустического поля NAF смогла случайным образом выбрать точки на этой сетке, чтобы изучить особенности в определенных местах. Например, близость к дверному проему сильно влияет на то, что слышит человек, по сравнению с другими геометрическими элементами, находящимися на другой стороне комнаты.
Затем модель смогла предсказать, что слушатель может услышать от определенного акустического стимула, основываясь на их относительном расположении в комнате.

“Моделируя распространение звука, NAF непрерывно учится, чтобы применять полученные модели в дальнейшем к произвольным звукам. Мы демонстрируем, что NAF позволяет нам отображать пространственную акустику для слушателя в произвольном месте и может предсказывать распространение звука в новых местах”, – говорится в документе.

Чуанг Ган, главный научный сотрудник лаборатории искусственного интеллекта Watson AI Lab MIT-IBM, который также работал над проектом, сказал: “Эта новая техника может открыть новые возможности в метавселенной”.