Команда PAI из Alibaba на этой неделе выложила крупное обновление Z-Image-Turbo-Fun-Controlnet-Union 2.1. Главное: исправили две проблемы, которые портили жизнь пользователям предыдущей версии. Маски при инпейнтинге «протекали» в соседние области, а при высоких значениях control strength появлялись яркие артефакты.
Причину обеих проблем нашли в процессе обучения. Недостаточная рандомизация масок приводила к тому, что модель запоминала их паттерны вместо того, чтобы игнорировать. Отсюда автозаполнение там, где должно было быть удаление. С артефактами ситуация другая: переобучение между этапами control и tile distillation давало те самые яркие пятна при повышении control_context_scale. Переобученные модели обе проблемы решают.
Появилась Lite-версия весом 1,9 ГБ (полная модель тяжелее). Управление применяется к 5 слоям вместо 17. Условия слабее, но разработчики утверждают, что в некоторых сценариях результат выглядит естественнее. Ещё переработали датасет: разрешение обучающих изображений теперь варьируется от 512 до 1536 пикселей, а не фиксированные 512px. Это должно улучшить работу на разных разрешениях.
Для большинства пользователей рекомендуют 8-шаговую дистиллированную версию. Она возвращает ту скорость инференса, ради которой Z-Image-Turbo изначально и создавался, но которую потеряли, когда прикрутили ControlNet.
Итог: практичные исправления под реальные рабочие процессы плюс облегчённый вариант для тех, кто сидит на потребительских видеокартах.
КРАТКО
- Размер Lite-модели: 1,9 ГБ (5 слоёв против 17 в полной версии)
- Диапазон разрешений при обучении: 512–1536px (раньше только 512px)
- Рекомендуемый инференс: 8 шагов для дистиллированной модели
- Оптимальный диапазон control_context_scale: 0,65–0,90
- Лицензия: Apache 2.0
