Обученин генеративной нейросети под стиль художника Глеба Баранова
Идея проекта
Учебный проект направлен на дообучение модели Stable Diffusion на стиль конкретного автора. Я остановила свой выбор на одном из своих любимых художников — Глебе Баранове. Мне близки его визуальный стиль, метод работы, текстуры, цвета, образы, которые он создает. Идеей проекта стало исследование возможностей генеративной нейросети в создании изображений, выдержанных в индивидуальной и специфичной стилистике.
Глеб Баранов — художник из Краснодара, который работал на судне в Персидском заливе и в своих работах неизменно обращается к личному опыту. Его картины посвящены историям о волшебном мире, который скрыт от людских глаз. Этот мир выражается через символы и знаки. Художник воспринимает это символическое измерение и демонстрирует его нам в виде текста, который также представляет собой систему знаков. Связи между объектами остаются невидимыми, и сюжет, кажется, отсутствует. Этот прием важен для создания иррациональных связей, которые функционируют внутри картин.
Исходные изображения для обучения
Процесс обучения
Установила библиотеки bitsandbytes, transformers, diffusers, peft (параметрическая настройка, включая LoRA), скрипт для обучения Dreambooth-LoRA.
Загрузила исходных 23 изображения для обучения. Использовала технику Dreambooth-LoRA для дообучения Stable Diffusion.
Использовала базовые модели: stabilityai/stable-diffusion-xl-base-1.
VAE madebyollin/sdxl-vae-fp16-fix
Выставила следующие параметры: Разрешение: 512×512 Batch size: 2 Learning rate: 1e-4 Количество шагов: 500 FP16
Далее запустила обучение через accelerate
Итог
При первой попытке нейросеть правильно считала промпты, но отошла от стиля художника
Промт: «A painting in the style of Gleb Baranov, an irrational image of a white panther with wings lying next to an open box, against a background of pastel-colored clouds and an Arabian-style castle.
Далее нейросеть стала более точно воспроизводить стиль художника, но на изображениях можно было видеть очевидные деффекты.
Промт: «A painting in the style of Gleb Baranov, two white tigers with black stripes and red eyes are jumping on green grass, with a blue sky and a golden cup with a fire burning inside visible from b
Промт: «A painting in the style of Gleb Baranov, a white panther with green wings and a pink heart on its forehead flies across the sky and holds a sword with a gold handle and made of pink metal in i
Промт: «A painting in the style of Gleb Baranov, white tigers with dark blue stripes and protruding tongues frolic in the river, in the laboratory paintings a small pink and green fountain is visible.
В процессе дообучения удалось достичь удовлетворительного результата с небольшими отхождениями от промпта
Промт «A painting in the style of Gleb Baranov, a panther with wings closed his eyes and sits by the lake»
Промт: «A painting in the style of Gleb Baranov, an irrational, bright image of a black panther with its tongue hanging out sitting on a golden throne, with golden jugs nearby containing a burning fir
Промт: «A painting in the style of Gleb Baranov, a white panther with pink wings and a protruding tongue sits on the shore of a lake and plays the harp, a full moon and flowering trees are visible in
A painting in the style of Gleb Baranov, two panthers, one white with red wings, the other black with white wings, sit on a Persian carpet, lie on green grass, against a background of pastel orange sk
Ссылка на блокнот с кодом
