Компания Alibaba запустила новый инструмент на базе ИИ с открытым исходным кодом — Wan2.1-VACE. Он создан для того, чтобы упростить и улучшить процесс создания и редактирования видео.
Wan2.1-VACE — это часть более крупной системы моделей ИИ от Alibaba под названием Wan2.1. Разработчики уверены: их инструмент — первый в мире с открытым кодом, который может решать сразу несколько задач по видео в одном месте. Если раньше приходилось использовать разные программы, теперь можно делать все в одном приложении — это удобно и экономит время.
Что умеет VACE?
Он может создавать видео по тексту, фотографиям или даже на основе других видеороликов. Нужно просто описать, что вы хотите, и получите видео.
VACE — это не только про создание с нуля. В нем есть набор инструментов для редактирования:
- можно заменить фон или перекрасить сцены;
- изменить только отдельные части видео;
- растянуть ролик, добавив кадры;
- использовать изображения как подсказки для редактирования
В Alibaba говорят, что такие возможности помогают работать с видео гибко и творчески. Это может особенно пригодиться создателям контента, дизайнерам, маркетологам и всем, кто работает с визуалом.
Представьте, что вы хотите сделать видео, где определенные персонажи взаимодействуют друг с другом. Может быть, у вас есть фотографии, и вы хотите «оживить» их. Модель VACE от Alibaba добавит реалистичные движения к статичным изображениям, превратив их в анимацию.
Для большего контроля есть продвинутые инструменты:
- перенос позы с одного персонажа на другого;
- настройка глубины и движения;
- изменение цвета;
- полное управление тем, как объект двигается в кадре.
Одна из самых интересных функций — возможность точечно редактировать видео, не затрагивая все остальное. Например, можно изменить только один объект на видео, не испортив фон или другие детали. Можно также увеличить размер видео и добавить новый контент в расширенную часть — так видео будет выглядеть богаче и интереснее.
Еще вы можете:
- превратить обычную фотографию в видео;
- задать траекторию движения объектов, просто нарисовав ее;
- заменить один элемент на другой;
- анимировать объекты и точно задать их позы.
VACE — не магия. Под капотом у него серьезные технологии. Главная — Video Condition Unit (VCU). Это система, которая умеет работать одновременно с текстом, изображениями, видео и масками. То есть вы можете задавать ИИ подсказки разными способами.
Есть и еще одна технология — структура контекстного адаптера. Она помогает ИИ лучше понимать, как объекты ведут себя во времени и пространстве. Благодаря этому он делает более точные и реалистичные видео.
VACE подойдет для таких задач, как:
- создание коротких роликов для соцсетей,
- реклама и маркетинг,
- визуальные эффекты для кино,
- обучающие и презентационные видео.
- ПОКАЖЕМ, КАК РАЗВЕРНУТЬ МОДЕЛЬ нейросети DEEPSEEK R1 ПРЯМО НА СВОЁМ КОМПЬЮТЕРЕ
- Где и как применять? Потестируем модель после установки на разных задачах
- Как дообучить модель под себя?
Почему Alibaba делает VACE с открытым исходным кодом?
Обычно разработка мощных моделей искусственного интеллекта требует огромных вложений. Это дорого, долго и требует большого объема данных. Поэтому решение Alibaba сделать свою модель Wan2.1-VACE с открытым исходным кодом — действительно важный шаг.
Как объясняет сама компания, открытый доступ позволит большему числу команд, компаний и авторов создавать качественное видео с помощью ИИ — быстро и без лишних затрат. Особенно это ценно для небольших компаний и специалистов, у которых нет миллионов на разработку своих моделей.
Идея проста — дать мощный инструмент как можно большему числу людей.
Причем Alibaba не ограничилась одной моделью:
- есть мощная версия с 14 миллиардами параметров для тех, у кого есть серьезные вычислительные ресурсы;
- и есть облегченная версия с 1,3 миллиардами параметров, которая подойдет для обычных компьютеров и облачных решений.
Обе версии доступны бесплатно — их можно найти на платформах Hugging Face, GitHub, а также в open source-сообществе Alibaba на ModelScope.
Так Alibaba делает шаг к тому, чтобы ИИ-инструменты были доступны всем, а не только крупным корпорациям.
- Выполним базовые задачи на российских нейросетях и посмотрим на результаты!
- Файл-инструкцию «Как сделать нейро-фотосессию из своего фото бесплатно, без иностранных карт и прочих сложностей»
- Покажем 10+ способов улучшить свою жизнь с ИИ каждому — от ребенка и пенсионера до управленца и предпринимателя
- Возможность получить Доступ в Нейроклуб на целый месяц
- Как ИИ ускоряет работу и приносит деньги
- За 2 часа вы получите четкий план, как начать работать с ИИ прямо сейчас!
