Обратимые малошаговые диффузионные модели для редактирования изображений по текстовому описанию
Обратимые малошаговые диффузионные модели для редактирования изображений по текстовому описанию
Аннотация
Дистилляция диффузионных моделей является одним из наиболее многообещающих подходов к синтезу высококачественных изображений, основанных на текстовых описаниях, с минимальным количеством шагов генерации. Однако, несмотря на успехи последних лет, существующие дистиллированные модели по-прежнему не обладают всем спектром возможностей диффузионных моделей – в частности, инверсией реальных изображений, которая лежит в основе многих точных методов редактирования изображений. Настоящая работа посвящена разработке эффективных методов кодирования реальных изображений в скрытое пространство с использованием дистиллированных диффузионных моделей. Для достижения этой цели мы предлагаем обратимую дистилляцию согласованности (invertible Consistency Distillation, iCD) – обобщённый подход дистилляции согласованности, обеспечивающий как высококачественный синтез изображений, так и качественное кодирование изображений всего за 3–4 прогона нейронной сети. Хотя задача инверсии для диффузионных моделей усложняется при высоких значениях управления без классификатора (classifier-free guidance), мы показываем, что динамическое управление (dynamic guidance) существенно снижает ошибку реконструкции без заметной потери качества генерации. В результате мы демонстрируем, что iCD в сочетании с динамическим управлением может служить высокоэффективным инструментом редактирования изображений по текстовому описанию без дополнительного дообучения (zero-shot), конкурируя с более затратными современными альтернативами.
Ключевые слова
Издание
Труды Института системного программирования РАН, том 38, вып. 5, 2026, стр. 155-174.
ISSN 2220-6426 (Online), ISSN 2079-8156 (Print).
DOI: 10.15514/ISPRAS-2026-38(5)-10
Для цитирования
Полный текст статьи в формате pdf
Вернуться к содержанию тома