Группа RBI откроет в Петербурге новое общественное пространство с первым в мире «поющим» камнем
Чтобы обучить камень «петь» авторы арт-скульптуры научили нейросети понимать эмоции и записали в Карелии более 200 часов звуков северного леса.
На площади перед жилым проектом «Струны», который Группа RBI строит на ул. Шостаковича в Петербурге, появится уникальный мультимедийный арт-объект «Гром-камень» — гранитный мегалит, звучащий от прикосновения человека. Чтобы обучить камень «петь» авторы арт-скульптуры научили нейросети понимать эмоции и записали в Карелии более 200 часов звуков северного леса.
Интерактивная арт-скульптура «Гром-камень» — это уникальный технологический эксперимент на стыке науки и искусства, не имеющий аналогов в России и в мире. Природный объект возрастом в несколько тысяч лет благодаря применению нейротехнологий станет акустическим «аватаром» карельской природы в городском пространстве, отзываясь природными звуками на взаимодействие с ним.
Основная механика арт-скульптуры, проект которой разработала и реализовала петербургская студия Splaces по заказу Группы RBI, построена на тактильном взаимодействии. Сенсоры, размещенные в камне, считывают каждое прикосновение человека. Нейросеть анализирует параметры прикосновения к объекту и преобразует контакт в звук. В зависимости от длительности и силы нажатия, траектории движения, количества одновременных прикосновений «Гром-камень» будет звучать по-разному. Например, легкое прикосновение позволит услышать шелест листьев, резкое ведение кончиками пальцев — запустит пение птиц, щекотание вызовет насекомых, а удержание ладони на камне даст эффект струящихся потоков воды.
Для реализации этой идеи специалисты записали в отдаленных уголках Карелии более 200 часов природного звукового ландшафта северного леса. За подбор треков из датасета и генерацию мелодичной аудиодорожки, синтезированной из звуков леса, отвечает специально обученная нейросеть. На следующем этапе был подобран и оцифрован сам объект — карельский мегалит, создана трехмерная модель прикосновений к камню. После этого началась самая продолжительная и трудоемкая часть проекта — процесс обучения проходили две нейронные сети, отвечающие за распознавание и управление звуками соответственно.
«Мы потратили сотни часов на звуковую инженерию, программирование, на обучение нейросетей. Все для того, чтобы позволить человеку вступить в эмоциональное взаимодействие с объектом, сократить дистанцию между зрителем и идеей», — рассказывает сооснователь и креативный продюсер студии Splaces Андрей Шибанов. «Для нас было важно показать связь музыки как искусства и «природной музыки» карельского Севера», — отмечает вице-президент по маркетингу и продукту Группы RBI Михаил Гущин.
Новая открытая общественная территория, которую RBI создает в рамках проекта «Струны», включает в себя городской парк площадью 1,3 га, где будет высажено более 1 100 деревьев и кустарников, пешеходный бульвар под «парящим мостом», с кафе и магазинами, а также площадь перед центральной входной группой, центром которой и станет арт-объект «Гром-камень».
