Обучение нейросети стилю Ёсиясу Тамуры
Описание проекта
Ёсиясу Тамура — знаменитый японский художник и мангака, известный своим стилем, который объединяет элементы фантазии и причудливости. Его героини, гейши в ярких кимоно, обладают как японскими, так и западными чертами, а их образы часто оформлены на фоне сусального золота.
Я решила воспроизвести этот художественный стиль с помощью нейросети, чтобы автоматизировать процесс создания подобных изображений. Проект направлен на исследование возможностей искусственного интеллекта в имитации сложных авторских техник и разработку инструмента, который позволит генерировать визуальные образы в стиле Тамуры даже тем, кто не имеет навыков рисования.
Все работы, использованные в процессе обучения и создания презентации, взяты с личного сайта художника.
TAMURA Yoshiyasu. Painting Works on Canvas
Процесс обучения нейросети
Для обучения нейросети были взяты 50 работ Тамуры на которых изображены гейши. Я работала над проектом в Google Colab. После установки всех нужных библиотек и инструментов, я выбрала с устройства все файлы из датасета и загрузила их в Colab.
Превью исходных изображений из папки
Далее для создания описаний к картинкам датасета я установила библиотеку BLIP. Описание каждой картинки должно начинаться со строки «an artwork in Tamura Yoshiyasu style…»
Создание подписей с префиксом
Параметры для обучения DreamBooth
Результаты
В генерациях я решила попробовать разнообразить традиционные образы гейш и добавить сюжеты японской мифологии и футуристичной эстетики киберпанка
«an artwork in Tamura Yoshiyasu style, a painting of a demon-woman in a kimono, jorogumo, spider woman, Japanese mythology creature»
«an artwork in Tamura Yoshiyasu style, a painting of a woman in a red kimono»
«an artwork in Tamura Yoshiyasu style, a painting of a woman in a kimono and tiger next to her»; «an artwork in Tamura Yoshiyasu style, a painting of a woman in a kimono with pink flower»
«an artwork in Tamura Yoshiyasu style, a painting of a demon-woman in a red kimono, oni, Japanese mythology»
«an artwork in Tamura Yoshiyasu style, a painting of a woman samurai in kimono with a katana sword»
«an artwork in Tamura Yoshiyasu style, a painting of a woman in kimono, with ears and tail»
«an artwork in Tamura Yoshiyasu style, a painting of a woman in a kimono with white lotus»
«an artwork in Tamura Yoshiyasu style, a painting of a woman in kimono, oiran, facing back»
«an artwork in Tamura Yoshiyasu style, a painting of a woman in kimono, with gears and wires around her head»
Заключение
В целом, изображения достаточно точно отражают стиль выбранного художника и создают единое целое. Гейш можно изобразить в мифологических сюжетах, с животными и в полноразмерных позах. Основное отличие заключается в детальной передаче текстуры фона из сусального золота и некоторых других мелких элементов.
Код проекта
Описание применения генеративной модели
Проект создан с использованием ИИ в рамках курса, программа которого ориентирована на решение задач средствами искусственного интеллекта.
Были применены:
Для генерации изображений — Stable Diffusion XL Для улучшения качества изображений — Problembo
