Обучение генеративной модели Stable Diffusion под стиль Ры Никоновой
Концепция
Ры Никонова — российская поэтесса и художница авангардного направления. Занималась текстовой и визуальной поэзией, мэйл-артом.
В этом году я изучаю её архив и на его основе создаю спектакль-читку. Необходимо было создать визуальные образы, которые помогли бы при создании декораций и анимационных проекций для него.
Исходные изображения для обучения
Датасет был собран из 50 фрагментированных работ Ры Никоновой, найденных в книге Bookwork. Rea Nikonova. Sergey Segay.
Фрагменты произведений из архива Ры Никоновой
Результирующая серия изображений
В итоговою серию изображений я старалась пронести шероховатую фактуру работ художницы: бумажные аппликации, вырезки, буквы, эскизность.
промпты: 1, 3: sketch of a woman’s costume for a play 2: paper theater decorations, trees
промпты: 1, 3: drawing of a cat 2: abstract collage with letters and animals
промпты: 1, 2: painted letters
Многие изображения при генерации выходили схожими, но сохранилась текстура и цветовые решения. Получились буквы и силуэты в форме набросков, похожие на рисунки из датасета.
Сначала была выполнена проверка на наличие графического процессора, установлены все необходимые библиотеки и создана локальная папка для хранения данных. Затем изображения были загружены на платформу Kaggle.
Для каждого изображения при помощи модели BLIP автоматически создавались текстовые описания с заранее заданной фразой «art in nikonova style».
Далее был запущен процесс обучения модели с применением метода LoRA. Обучение заняло около 30 минут. После завершения обучения модель была сохранена и размещена на Hugging Face Hub, где теперь её можно использовать для генерации изображений.
Для объяснения ошибок в коде использовался СhatGPT https://chatgpt.com
