Нейросеть для генерации музыки: SymFormer (Маэстро)

В 2025 году искусственный интеллект всё активнее проникает в сферу искусства, и музыка — не исключение. Одним из ярких примеров такого симбиоза технологий и творчества стал музыкальный ИИ SymFormer, интегрированный в нейросеть «Маэстро» от Сбера (о других российских нейросетях расскажем тут).

Инструмент позволяет генерировать уникальные музыкальные композиции на основе текстовых запросов, открывая кладезь идей для музыкантов, продюсеров и просто любителей музыки.

Что такое SymFormer (Маэстро)

SymFormer — это нейросетевая модель, предназначенная для генерации музыкальных произведений на основе текстовых описаний. Пользователь вводит название трека и имя исполнителя (реальные или вымышленные), а нейросеть создает уникальную композицию, соответствующую заданному стилю и настроению. Сервис доступен для использования через виртуальных ассистентов «Салют» и в приложении «Сбербанк Онлайн».

SymFormer была создана на основе архитектуры Performer. В процессе её обучения использовалась платформа ML Space, работающая на суперкомпьютере Christofari, а в качестве обучающего материала был задействован обширный датасет, включающий 160 тысяч музыкальных произведений различных жанров — от классической музыки до современной электроники и рока.

Функционирует на основе двух ключевых компонентов: моделей CLaMP и SymFormer.

• CLaMP (Conditional Language and Music Processor): эта модель преобразует текстовый запрос пользователя в код, который содержит информацию о стиле, жанре и других характеристиках будущей композиции.
• SymFormer: использует полученный код для генерации музыкального произведения, включая мелодию, аккомпанемент, бас и другие элементы. Модель способна создавать композиции с учетом различных параметров, таких как интенсивность, полифоничность и количество нот.

Как работает

Достаточно произнести команду ассистенту в приложениях «Салют» или «СберБанк Онлайн»: «Салют, запусти Маэстро» — и помощь в генерации музыки начнётся.

1. Сначала нейросеть получает ввод о желаемом стиле и на его основе формирует несколько вариантов структуры будущего трека.
2. Затем она генерирует несколько версий композиции с использованием различных инструментов, придерживаясь заданного жанра.
3. После этого выбираются наиболее удачные по стилю и музыкальной целостности варианты. Результатом становится оригинальная, уникальная композиция.

Композиции создаются на основе придуманных вами названий исполнителя и трека. Получившийся результат можно легко отправить друзьям.

В ближайшее время сервис станет доступен и на устройствах Sber с экранами.

Применение в реальном времени: альбом Thriving Machine

SymFormer уже продемонстрировала свои возможности, написав полноценный музыкальный альбом Thriving Machine. Его 15 треков распространяются по открытой лицензии от СберБанка, что делает их доступными для любого использования.

Музыку из альбома можно не только слушать, но и свободно применять — копировать, адаптировать под собственные нужды, добавлять в приложения или включать в коммерческие проекты. Например, использовать в интерфейсах с голосовыми ассистентами, как фон для мобильных сервисов или подложку в рекламных роликах. Всё это — без ограничений и дополнительного согласования.

Заключение

SymFormer, интегрированный в Маэстро, является инструментом, который делает процесс создания музыки более доступным и увлекательным. Благодаря использованию новой генеративной модели, сервис позволяет каждому почувствовать себя композитором.

С развитием таких инструментов, как Маэстро с SymFormer, границы между технологиями и искусством продолжают стираться, создавая пространство для новых форм самовыражения.