Как клонировать голос в Fish Audio

Клонировать голос в Fish Audio можно двумя путями: мгновенный клон из короткого образца и профессиональный клон из длинной записи. Мгновенный принимает около десяти секунд речи и выдаёт результат за секунды, профессиональный требует от десяти минут чистого аудио и проверки владельца. Ниже — порядок действий, критерии проверки и разбор частых ошибок.

Что такое клонирование голоса в Fish Audio и где границы продукта

Fish Audio — платформа синтеза речи, которая строит голос по образцу записи. На главной странице сервис описывает себя как голосовой ИИ, который не звучит как голос ИИ, и обещает студийное качество для видео, аудиокниг и персонажей. Отдельная страница клонирования формулирует суть так: «Ten seconds of audio. A usable voice in seconds» — десяти секунд аудио достаточно, чтобы получить рабочий голос за секунды.

Границы продукта определяются двумя режимами. Мгновенный клон (Instant Voice Clone) принимает короткий образец почти любого формата, включая видеофайлы, и обучается примерно за минуту. Профессиональный клон (Professional Voice Clone, PVC) обучается на десяти — ста восьмидесяти минутах чистого аудио и занимает один-два часа. Между ними лежит третий путь — Voice Design, который создаёт голос по текстовому описанию, то есть голос, которого не существовало.

Платформа заявляет более двух миллионов голосов в библиотеке и восемь миллионов пользователей. Мгновенный клон доступен на бесплатном старте, коммерческие права приходят с платными тарифами. Ответственность за права на клонируемый голос сервис перекладывает на пользователя: он должен подтвердить согласие и соблюдение законов о имени, изображении и ИИ-контенте.

Отдельная граница — доступность из России. Источники, которые мы прочитали, не описывают региональные условия работы сервиса. Если вы планируете пользоваться Fish Audio из РФ, проверьте доступность и оплату отдельно; в блоге есть разбор ElevenLabs в России, где описаны похожие сложности у другого сервиса.

Условия доступа и где смотреть актуальные требования

Актуальные требования живут в двух местах: на странице клонирования fish.audio/voice-clone и в документации docs.fish.audio. Страница продукта описывает режимы и ограничения, документация — вызовы API и лучшие практики записи. Обе обновляются разработчиком, поэтому сверяться нужно там.

Что известно про доступ. Мгновенный клон стартует бесплатно: сервис заявляет «free to start» и восемь миллионов пользователей. Профессиональный клон включён в платные тарифы Plus, Pro и Max без дополнительных кредитов — слоты PVC идут вместе с подпиской. Коммерческие права появляются на платных планах; потоковый API подаёт клонированные голоса прямо в приложения, агентов и конвейеры дубляжа.

Что известно про требования к образцу. Мгновенный клон принимает около десяти секунд аудио почти в любом формате. Профессиональный требует MP3, WAV или FLAC, каждый клип короче минуты, минимум десять минут суммарно и до ста восьмидесяти. Анализатор PVC отклоняет файлы с шумом, длинными паузами и звуковыми эффектами.

Юридическая рамка. Сервис прямо пишет, что пользователь отвечает за подтверждение прав, согласий и раскрытий для любого клонируемого голоса, а также за соблюдение местных законов. Fish Audio не проверяет каждый случай заранее и может удалять контент или аккаунты, нарушающие условия. Документация по лучшим практикам добавляет: используйте голоса людей, давших письменное разрешение, и не берите голоса из интернета или у публичных фигур без согласия.

Документированный порядок действий: мгновенный клон

Мгновенный клон — самый короткий путь. В веб-приложении он сводится к загрузке образца и запуску генерации. В API тот же процесс описан в документации Fish Audio.

Порядок через веб-приложение. Откройте страницу клонирования, загрузите короткий образец речи, задайте название голоса и приватность, дождитесь готовности. Сервис обещает результат за секунды и не требует очереди на обучение.

Порядок через Python SDK. Документация приводит такой вызов: клиент читает переменную окружения с ключом, открывает файл sample.wav и создаёт голос с заголовком, описанием и приватностью. В ответ приходят идентификатор и состояние голоса. Затем синтез идёт через client.tts.convert с текстом и reference_id созданного голоса.

Порядок через HTTP. Тот же результат даёт POST-запрос на https://api.fish.audio/model с заголовком авторизации, полями type, title, description, visibility, train_mode и файлом voices. Ответ содержит _id и state. Синтез — отдельный POST на https://api.fish.audio/v1/tts с текстом и reference_id.

Есть и третий вариант — мгновенный клон без создания модели. Документация называет его instant clone: аудио передаётся прямо в запросе генерации, модель не сохраняется. Это удобно для разовых задач, когда голос нужен один раз.

Оригинальный учебный пример и критерии проверки

Предлагаем упражнение, которое проверяет клон на слух. Возьмите короткий текст из документации Fish Audio: «Hello, my name is Alex, and I enjoy reading books about technology and science». Запишите его своим голосом с паузами около половины секунды между предложениями. Загрузите запись как мгновенный клон. Синтезируйте ту же фразу клонированным голосом.

Критерии проверки. Слушайте три вещи: тембр, темп и микропросодию. Тембр — узнаётся ли голос как ваш. Темп — совпадает ли скорость с оригиналом. Микропросодия — слышны ли мелкие интонационные привычки, которые делают голос узнаваемым. Страница клонирования обещает захват тембра, каденции и микропросодии с первого прохода, включая шумные записи.

Второй тест — на длинном тексте. Синтезируйте абзац из пяти-шести предложений и сравните с записью того же абзаца своим голосом. Если на длинной дистанции интонация выравнивается и согласные смазываются, это ожидаемое поведение мгновенного клона. Блог Fish Audio описывает этот разрыв прямо: десятисекундный клон даёт голос, который «звучит примерно как вы», и на быстром тесте этого достаточно, но перед аудиторией «примерно» начинает проявляться.

Третий тест — на разных языках. Сервис заявляет кросс-языковой перенос без переобучения: клон английской речи работает на испанском, японском и арабском. Синтезируйте одну фразу на двух языках и сравните, сохраняется ли узнаваемость.

Смежные варианты: что выбирать по задаче

Три пути к голосу различаются входом, временем и назначением. Таблица ниже собирает их в одном месте по данным страницы профессионального клонирования.

Выбор по задаче. Нужен быстрый тест или у вас уже есть запись — берите мгновенный клон. Готовите голос для аудиокниги, бренд-видео или подкаста — берите профессиональный. Создаёте персонажа, которого не существует, — берите Voice Design.

Отдельно про профессиональный клон. Он требует, чтобы владелец голоса лично прошёл живую проверку: прочитал случайный отрывок с экрана, а система сравнила отпечаток с загруженными файлами. Если вы студия, работающая с актёром по разрешению, актёр выполняет этот шаг сам. Обойти микрофон нельзя, и это сделано намеренно: так каждый готовый PVC становится согласованным.

Типичные проблемы и проверяемые способы диагностики

Проблемы делятся на три группы: качество образца, состояние обучения и доступ.

Качество образца. Документация по лучшим практикам перечисляет источники шума: работающие приборы, вентиляторы, холодильники. Запись телефона допустима, если положить его на устойчивую поверхность. Наушники с микрофоном тоже подходят, если держать их ровно. В записи должен говорить один человек, без фоновой музыки и телевизора. Если клон звучит плоско, документация советует записать тридцать — шестьдесят секунд, говорить естественнее и добавить паузы.

Состояние обучения. У созданного голоса есть поле state. Документация показывает проверку: получить голос по идентификатору и запускать синтез, когда состояние равно trained. Если состояние иное, синтез не даст результата. Для профессионального клона обучение идёт один-два часа, и вкладку можно закрывать: незавершённый PVC сохраняется как черновик на странице создания голоса.

Отклонённые файлы. Анализатор PVC проверяет каждый файл и возвращает метку с причиной: «background noise», «sound effect» и подобные. Это не сбой, а рабочий фильтр. Перезапишите отклонённый клип в тихом месте и загрузите заново; обучение начнётся, когда весь набор пройдёт проверку.

Доступ и оплата. Если сервис не открывается или не принимает оплату, посмотрите разбор Fish Audio не работает — там собраны причины и решения. Для генерации изображений и видео, которые Fish Audio синхронизирует с голосом, пригодится материал про промт для Seedance.

Готовый промпт для описания голоса

Voice Design создаёт голос по текстовому описанию. Промпт ниже задаёт характер голоса; подставьте свои параметры в квадратных скобках.

Опиши голос для синтеза речи: [пол и возраст], [тембр — низкий, средний, высокий], [темп — медленный, размеренный, быстрый], [настроение — спокойное, дружелюбное, уверенное], [назначение — реклама, аудиокнига, подкаст, персонаж]. Добавь характерные черты: [лёгкая хрипотца, чёткая дикция, мягкие паузы]. Язык — [русский]. Стиль подачи — [нейтральный, доверительный, энергичный].

Что менять под себя: пол и возраст, тембр, темп, настроение, назначение, характерные черты, язык и стиль подачи. Вариации той же задачи: голос диктора новостей, голос рассказчика аудиокниги, голос дружелюбного ассистента, голос персонажа-антагониста, голос ведущего подкаста.

Частые вопросы

Сколько аудио нужно для клонирования голоса в Fish Audio?

Мгновенному клону достаточно около десяти секунд речи, и подойдёт почти любой формат, включая видеофайлы. Профессиональный клон требует от десяти до ста восьмидесяти минут чистого аудио в форматах MP3, WAV или FLAC. Оптимальный набор для PVC — двенадцать-пятнадцать клипов по сорок пять — шестьдесят секунд в едином тоне.

Как сделать свой голос в Fish Audio?

Запишите короткий образец в тихом месте, без музыки и посторонних голосов. Загрузите его на странице клонирования, задайте название и приватность, дождитесь готовности голоса. Затем введите текст и запустите генерацию — синтез пойдёт выбранным голосом.

Fish Audio voice cloning работает на русском языке?

Сервис заявляет кросс-языковой перенос без переобучения: клон, построенный на английской речи, работает на испанском, японском и арабском. Русский язык в списке подтверждённых примеров источников не упомянут. Проверить стоит самостоятельно: синтезируйте одну фразу на русском и сравните с оригиналом.

Можно ли клонировать голос другого человека?

Документация советует использовать голоса людей, давших письменное разрешение. Голоса из интернета и голоса публичных фигур без согласия брать не следует. Сервис перекладывает ответственность за права и согласия на пользователя и может удалять контент, нарушающий условия.

Сколько времени занимает обучение клона?

Мгновенный клон обучается примерно за минуту и не требует очереди. Профессиональный клон обучается один-два часа, и вкладку можно закрывать: черновик сохраняется на странице создания голоса. Voice Design выдаёт результат примерно за пятнадцать секунд.