SDXL: плюсы, минусы, как установить

Модель Stable Diffusion XL привнесла значительные улучшения в преобразовании текста в AI-изображения, превосходя Midjourney во многих аспектах. Поговорим о ее преимуществах, ограничениях и установке.

Нейросети — это настоящее и будущее. Записывайтесь на бесплатный онлайн-практикум «Нейросети для жизни и карьеры», чтобы начать зарабатывать на них уже сейчас!

Плюсы

1. Точное следование подсказкам

SDXL превосходит своего конкурента, Midjourney v5.1, в плане точного учета вводимых данных в генерируемых изображениях. Модель лучше понимает и отражает задуманную подсказку, даже сложную.

В отличие от других генеративных моделей изображений, SDXL требует всего несколько слов для создания сложных, детализированных и эстетически привлекательных изображений. Больше нет необходимости в абзацах с уточнениями.

2. Улучшенная композиция изображений

SDXL отлично справляется с созданием целостных и хорошо скомпонованных изображений. Модель эффективно сочетает различные элементы внутри изображения, в результате чего получаются более визуально приятные и контекстуально согласованные картинки.

Улучшенная модель CLIP понимает текст настолько эффективно, что такие понятия, как «Красная площадь», отличаются от «красного квадрата».

3. Более быстрая и гибкая генерация рисунков

Скорость создания изображений намного выше, чем у старых моделей Stable Diffusion. Меньше времени, потраченного на ожидание генерации изображений, а также меньше работы для вашего графического процессора!

SDXL также можно настраивать для концепций и использовать с сетями управления.

ОНЛАЙН-ПРАКТИКУМ

ЗАПУСК нейросети DEEPSEEK R1 ЛОКАЛЬНО НА СВОЕМ КОМПЬЮТЕРЕ

ЧТО БУДЕТ НА ОБУЧЕНИИ?

• ПОКАЖЕМ, КАК РАЗВЕРНУТЬ МОДЕЛЬ нейросети DEEPSEEK R1 ПРЯМО НА СВОЁМ КОМПЬЮТЕРЕ
• Где и как применять? Потестируем модель после установки на разных задачах
• Как дообучить модель под себя?

Участвовать бесплатно

Минусы

1. Трудности со сложными предметами

Хотя SDXL добилась больших успехов, она все еще сталкивается с проблемами при создании сложных объектов, таких как человеческие руки. Модель может создавать реалистично выглядящие руки и пальцы, но правильная анатомия все еще остается проблемой.

2. Неидеальная фотореалистичность

Некоторые тонкие детали, такие как эффекты освещения или вариации текстур, могут быть не совсем точно представлены на сгенерированных изображениях.

Обычный человек может и не заметить этих тонкостей, но фотограф или эксперт догадаются, что изображение было сгенерировано с помощью ИИ.

3. Проблемы при рендеринге текста

Модель не всегда справляется с задачей сохранения четкости и связности текста, что может повлиять на качество генерируемых изображений. SDXL способна отображать некоторый текст, но это сильно зависит от длины и сложности слова.

Как установить

Шаг 1: загрузка файлов моделей SDXL v1.0

Сюда входят базовая модель, LORA и модель рафинера. Перед началом убедитесь, что у вас установлены и обновлены AUTOMATIC1111 или Invoke AI.

Вот ссылки:

• SDXL0 base model & LORA. Перейдите на страницу и откройте вкладку «Файлы и версии». Здесь нужно скачать оба файла .safetensors.
• модель рафинера. Скачиваем файл «sd_xl_refiner0.safetensors».

Шаг 2: перемещение файлов моделей в папку Models

Для файла базовой модели и модели рафинера их нужно поместить в папку Stable Diffusion models.

AUTOMATIC1111:

• /stable-diffusion-webui/models/Stable-diffusion. Поместите эти два файла туда, где увидите текстовый документ «Put Stable Diffusion checkpoints here».

Invoke AI:

• /invoke-ai/models/sdxl/main — для базовой модели
• /invoke-ai/models/sdxl-refiner/main — для рафинера

Шаг 3: установка LORA

Файл LORA должен быть помещен в нужную папку.

AUTOMATIC1111:

• /stable-diffusion-webui/models/Lora

Invoke AI:

• /invoke-ai/models/sdxl/lora

Шаг 4: загрузка модели SDXL 1.0

Начните с загрузки интерфейса Stable Diffusion (для AUTOMATIC1111 это «user-web-ui.bat»).

На вкладке контрольных точек в левом верхнем углу выберите новую контрольную точку/модель «sd_xl_base».

Шаг 5: рекомендуемые настройки для SDXL

Сейчас SDXL лучше всего работает с разрешением 1024 x 1024. Однако этот размер все еще можно изменить.

Что касается шага и метода выборки, то они в основном зависят от предпочтений пользователя, а также от типа создаваемых изображений.

В качестве общего базового уровня рекомендуется придерживаться Euler A, но если вы создаете художественные изображения, такие как картины и рисунки, DDIM может дать лучшие результаты.

Шаг 6: использование рафинера SDXL

Модель Refiner работает как метод улучшения качества изображений. Чтобы ее использовать:

• перейдите на вкладку «Изображение к изображению» в AUTOMATIC1111 или Invoke AI
• измените контрольную точку/модель на sd_xl_refiner (или sdxl-refiner в Invoke AI)
• установите силу денуазинга в диапазоне от 0,25 до 0,6 (результаты будут зависеть от изображения)