Hailuo: звук в видео и возможности озвучки устроены так: модель MiniMax H3 генерирует видео с нативным стереозвуком, а через API можно передать аудиореференс. Ниже — что именно документировано, как собрать промпт со звуковой сценой и как выбрать между двумя способами.
Что официально означает нативный звук H3
В анонсе на сайте MiniMax сказано, что H3 — универсальная мультимодальная модель генерации: она понимает единый контекст из текста, изображений, видео и аудио и создаёт видео с нативным стереозвуком длительностью до 15 секунд в разрешении 2K. Качество своего клипа оценивайте после генерации: заявленные возможности сами по себе его не подтверждают.
Ключевое слово здесь — «нативный». В описании парадигмы предобучения MiniMax прямо перечисляет: при генерации видео из текста аудио создаётся совместно, и весь аудиовыход — нативный стерео. Отдельно указано, что в тексте-в-аудио нет разделения на голос, звуковые эффекты и музыку: всё моделируется совместно. Для практики это значит, что звуковая дорожка появляется в том же проходе, что и картинка, и не приклеивается постфактум.
Связь звука с видеогенерацией MiniMax объясняет через мультимодальный контекст. В анонсе приведён пример промпта: сослаться на движение камеры из видео 1, заставить персонажа с изображения 2 петь, а вокал согласовать с аудио 3. Достаточно описать словами отношения между контекстом и целевым видео — остальное модель разбирает сама. Язык здесь работает как мост между модальностями.
Почему это подаётся как смена подхода: в анонсе сказано, что предыдущие генеративные модели дробили задачи — генерация изображений делилась на отдельные экспертные модели для текста-в-изображение, редактирования, референса субъекта, движения и стиля; голос, эффекты и музыка в аудиогенерации изучались как отдельные области; видеогенерация дробилась на текст-в-видео, изображение-в-видео, первый-и-последний кадр, референс субъекта, движения, голоса, редактирование. H3 строилась вокруг объединения задач.
Для читателя вывод практический: звук в H3 создаётся совместно с видео. Формулировать звуковую сцену нужно в том же промпте, что и визуальную часть.
Учебный промпт со звуками сцены и репликой
Ниже — пример промпта, который можно скопировать и вставить. Он описывает сцену, звуки окружения и реплику персонажа. Результат вы проверяете сами: сравните, что услышали, с тем, что просили.
Сцена: небольшая кофейня утром, камера медленно панорамирует вдоль барной стойки.
Звуки сцены: негромкий гул кофемашины, звон чашки о блюдце, приглушённый разговор посетителей за дальним столиком.
Реплика: бариста, не отрываясь от работы, говорит: «Ваш капучино готов, осторожно, горячий».
Голос: спокойный, средний темп, без эмоционального нажима.
Длительность: 5 секунд. Разрешение: 2K.
Что менять под себя: [ваша сцена] — обстановку и действие; [звуки окружения] — перечень фоновых шумов; [реплика] — точный текст фразы; [голос] — темп и характер подачи. Держите реплику короткой: за 5 секунд в неё укладывается одна фраза.
Вариации той же задачи:
- Диктор за кадром: сцена с продуктом на столе, реплика-описание в одну фразу, фон — тихая инструментальная музыка без слов.
- Уличный репортаж: шум транспорта и шагов, реплика прохожего, ветер в микрофоне.
- Природная сцена: пение птиц, шелест листвы, короткая фраза персонажа на фоне.
- Техническая демонстрация: щелчки интерфейса, ровный голос, объясняющий одно действие.
- Рекламный кадр: нарастающий ритм, короткий слоган вслух, финальный акцентный звук.
Промпт ниже — оригинальный учебный пример. Официальный анонс MiniMax показывает родственный приём: отношения между контекстом и целевым видео описываются словами. Сторонний блог hailuolabs.ai в своём руководстве тоже советует указывать в промпте звук — то, что вы хотите услышать, включая реплики в кавычках; это сторонняя площадка, и её числовые лимиты к API MiniMax не относятся.
Что задаёт аудиореференс и условия API
Аудиореференс — это входной аудиофайл, который модель использует как образец. В документации MiniMax по видеогенерации режим Reference Generation описан так: промпт плюс референсные изображения, видео или аудио; ссылаться можно на персонажа, движение, камеру, стиль, голос или ритм монтажа. Аудиореференс может задавать голос или ритм, как указано в документации.
Документированные условия входа в API MiniMax:
| Параметр | Значение |
|---|---|
| Аудио, количество клипов | до 3 |
| Длительность одного клипа | от 2 до 15 секунд |
| Суммарная длительность аудио | до 15 секунд |
| Форматы аудио | WAV, MP3 |
| Размер файла | до 15 МБ на файл |
| Смешанный вход | не более 12 файлов суммарно |
| Тело запроса | до 64 МБ, для крупных файлов рекомендуется URL |
| Длина промпта | до 7000 знаков |
Разрешение выхода у MiniMax H3 — 768P или 2K, длительность — от 4 до 15 секунд целыми значениями. У MiniMax H3 Max разрешение 480P или 768P, длительность от 5 до 15 секунд. Модель H3 Max совместно выпущена MiniMax и fal.ai и оптимизирована под высокую скорость генерации.
Генерация идёт асинхронно в три шага: создать задачу и получить task_id, опрашивать статус по task_id, скачать файл по content.url. В примерах документации опрос идёт с интервалом 10 секунд. Ключ берётся из переменной окружения MINIMAX_API_KEY. Отдельно документирован эндпоинт H3-Context-IR: он разбирает мультимодальный контекст и возвращает расширенный промпт, видео при этом не создаётся.
Таблица выбора: генерация или аудиореференс
Выбор зависит от того, что именно вы контролируете. Ниже — сопоставление по документированным признакам.
| Критерий | Звук при генерации | Аудиореференс |
|---|---|---|
| Что задаёт звук | текст промпта | загруженный файл WAV или MP3 |
| Что контролируется | состав сцены, реплика, характер | голос, ритм, манера подачи |
| Нужен ли внешний файл | нет | да, до 3 клипов |
| Ограничение по длине | до 15 секунд | до 15 секунд суммарно |
| Когда удобно | черновой клип, быстрый вариант | повторяемый голос, серия роликов |
| Что проверять | слышимость реплики, лишние шумы | совпадение голоса с образцом |
Практическое правило: если звук нужен один раз и примерно — описывайте его текстом. Если голос или ритм должны повторяться от клипа к клипу — готовьте аудиофайл и подавайте его как референс. Оба пути документированы в API MiniMax, и оба укладываются в лимит 15 секунд.
Отдельная дорожка для монтажа
Иногда звук нужен не внутри клипа, а отдельным файлом: для наложения на другую сцену, для замены реплики или для сведения в монтажной программе. Здесь важно разделить два действия.
Первое — получить видео со звуком от H3. Это документированная функция: нативный стереозвук создаётся вместе с видео, а аудиореференс задаёт голос или ритм.
Второе — подготовить самостоятельную речевую дорожку в инструменте синтеза речи и свести её с клипом при монтаже. Описанный здесь H3 API-маршрут возвращает видео. Для отдельного аудиофайла нужен собственный документированный путь аудиосинтеза; его настройки проверяют отдельно.
Порядок действий для монтажного сценария:
- Сгенерируйте клип с нужной сценой и звуком, следуя промпту выше.
- Скачайте файл по content.url из ответа задачи.
- Оцените, хватает ли встроенной дорожки: слышна ли реплика, совпадает ли звук со сценой.
- Если нужна замена — подготовьте внешнюю дорожку отдельно и сведите её с видео в редакторе.
- Сохраните исходный клип: он пригодится, если решите вернуться к встроенному звуку.
Такой порядок экономит проходы: сначала проверяется дешёвый вариант со встроенным звуком, и только потом подключается внешняя работа.
Проверка результата
Проверка занимает меньше минуты и состоит из трёх вопросов к готовому клипу.
Слышимость реплики. Включите клип на той громкости, на которой его будет смотреть зритель. Реплика должна разбираться без переслушивания. Если фраза тонет в фоновых звуках, сократите её или уберите часть шумов из промпта.
Соответствие сцены. Сверьте, что звуки совпадают с картинкой: кофемашина гудит там, где она в кадре, шаги слышны в момент движения. Расхождение звука и изображения — повод переформулировать звуковую часть промпта.
Отсутствие лишних звуков. Прослушайте клип целиком и отметьте всё, чего не просили: случайные голоса, резкие щелчки, музыку там, где её не заказывали. Лишние элементы — самый частый повод для повторной генерации.
Полезно проверять по одному изменению за проход: правьте либо текст реплики, либо состав звуков, либо голос. Так видно, что именно повлияло на результат. Сторонний обзор на aidemos.com разбирает нативный звук и синхронизацию со сценой на своих тестовых клипах — это чужие тесты, и мы приводим их как описание чужого сценария. Собственных измерений редакция не проводила.
Частые вопросы
Что такое hailuo ai audio?
Это звуковая составляющая генерации Hailuo: модель MiniMax H3 создаёт видео с нативным стереозвуком, а аудио при генерации из текста появляется совместно с картинкой. Голос, звуковые эффекты и музыка моделируются вместе, без разделения на отдельные области. Через API можно дополнительно подать аудиореференс, чтобы задать голос или ритм.
Как получить озвучку в Hailuo?
Опишите звук в промпте: перечислите звуки сцены и добавьте реплику в кавычках, как в примере выше. Если нужен конкретный голос или ритм, загрузите аудиофайл WAV или MP3 как референс — до 3 клипов, суммарно до 15 секунд. Результат проверьте на слух.
Какие форматы аудио принимает API?
Документация MiniMax называет WAV и MP3. Размер файла — до 15 МБ на файл, ограничение действует на каждый файл отдельно. Смешанный вход из изображений, видео и аудио ограничен 12 файлами суммарно.
Можно ли сделать отдельную звуковую дорожку?
Выпуск отдельного аудиофайла не объявляется функцией Hailuo: документированы генерация видео и приём аудио как входа. Для монтажа внешнюю дорожку готовят другим инструментом и сводят с клипом в редакторе. Встроенный звук клипа при этом остаётся доступен.
Сколько длится клип со звуком?
У MiniMax H3 длительность выхода — от 4 до 15 секунд целыми значениями, разрешение 768P или 2K. У MiniMax H3 Max — от 5 до 15 секунд при 480P или 768P. Аудиореференс суммарно укладывается в те же 15 секунд.