Stable diffusion

[FireCrafter]

Всем привет! Я увлекаюсь нейросетями, машинным обучением и в частности нейросетью Stable Diffusion. По сравнению с Midjourney она опенсорсная, да к тому же имхо еще и более гибкая. Так вот на просторах интернета есть куча моделей для стилизованного рисования на любой вкус и цвет, однако модели стилизованной под нашу любимую игру к сожалению нету. Поэтому я решил натренить ее самостоятельно, чтобы можно было генерить крутые изображения и арты.

Пример моей работы

Итак для того, чтобы натренировать модель нужны были данные, тобишь - картинки. Тут я стартанул на всем известные ArtStation и Pinterest в поисках крутых артов, к сожалению изображений по нашей стилистике относительно немного, потому пришлось несколько часов ковырять нескончаемую ленту. После чего идем в фотошоп и приводим каждую картинку к нужному нам разрешению, кадрируем и убираем всякие ненужности типа надписей, иначе нейронка при обучении будет думать, что это часть рисунка и периодически будут всплывать надписи в генерациях.

Итого у меня вышло 144 картинки, скармливаем их нейронке и ждем, ждем довольно долго, потому я оставил комп на ночь. И вот наконец дождались! захожу в нейронку, загружаю нашу свежеиспеченную модель и пишу самый простой промпт:

a woman with a sword

и получаем вот такой результат:

Конечно же 4K картинку мы сразу не получаем (изначальная картинка была с разрешением 512х512), но все детали тут нарисованы именно нейронкой, в фотошопе я только добавил хроматическую абберацию, чуток зернистости и слегка подкрутил уровни для кинематографичности картинки.

На вскидку результат относительно неплох, но дьявол кроется в деталях, узоры на одежде, руки, меч получился относительно неплохо, однако как всегда проблема с руками, это впринципе поправимо. Однако я решил заглянуть в BLIP файлы датасета (это краткое описание которое дает нейросеть) и выяснилось, нейронка не может различить расы (человек, эльф, орк и тд), кстати именно поэтому мы получили эльфийку с "бюстом" темной эльфийки

Выход из этого есть, либо расписывать BLIP файлы вручную, но у меня нет столько времени, в конце концов платят мне не за это)) поэтому я решил просто поделить модель на разные субмодели (женщина эльф, мужчина человек и тд). К тому же стоит переработать датасет, чтобы нейронка могла рисовать детали и генерить предметы из игры (оружие, доспехи и тд).

Этот пост будет обновляться по мере появления апдейтов в моей работе.

P.S. Для любителей 18+ контента сразу отвечаю: да, нейронка не цензурирована, потому есть возможность генерить взрослый контент со всеми возможными деталями Тем кому интересно ставьте огоньки в реакциях, сделаю канал в телеге

 

[TENTA]

Всем привет! Я увлекаюсь нейросетями, машинным обучением и в частности нейросетью Stable Diffusion. По сравнению с Midjourney она опенсорсная, да к тому же имхо еще и более гибкая. Так вот на просторах интернета есть куча моделей для стилизованного рисования на любой вкус и цвет, однако модели стилизованной под нашу любимую игру к сожалению нету. Поэтому я решил натренить ее самостоятельно, чтобы можно было генерить крутые изображения и арты.

Посмотреть вложение 186729
Пример моей работы

Итак для того, чтобы натренировать модель нужны были данные, тобишь - картинки. Тут я стартанул на всем известные ArtStation и Pinterest в поисках крутых артов, к сожалению изображений по нашей стилистике относительно немного, потому пришлось несколько часов ковырять нескончаемую ленту. После чего идем в фотошоп и приводим каждую картинку к нужному нам разрешению, кадрируем и убираем всякие ненужности типа надписей, иначе нейронка при обучении будет думать, что это часть рисунка и периодически будут всплывать надписи в генерациях.

Итого у меня вышло 144 картинки, скармливаем их нейронке и ждем, ждем довольно долго, потому я оставил комп на ночь. И вот наконец дождались! захожу в нейронку, загружаю нашу свежеиспеченную модель и пишу самый простой промпт:

и получаем вот такой результат:
Посмотреть вложение 186730

Конечно же 4K картинку мы сразу не получаем (изначальная картинка была с разрешением 512х512), но все детали тут нарисованы именно нейронкой, в фотошопе я только добавил хроматическую абберацию, чуток зернистости и слегка подкрутил уровни для кинематографичности картинки.

На вскидку результат относительно неплох, но дьявол кроется в деталях, узоры на одежде, руки, меч получился относительно неплохо, однако как всегда проблема с руками, это впринципе поправимо. Однако я решил заглянуть в BLIP файлы датасета (это краткое описание которое дает нейросеть) и выяснилось, нейронка не может различить расы (человек, эльф, орк и тд), кстати именно поэтому мы получили эльфийку с "бюстом" темной эльфийки

Выход из этого есть, либо расписывать BLIP файлы вручную, но у меня нет столько времени, в конце концов платят мне не за это)) поэтому я решил просто поделить модель на разные субмодели (женщина эльф, мужчина человек и тд). К тому же стоит переработать датасет, чтобы нейронка могла рисовать детали и генерить предметы из игры (оружие, доспехи и тд).

Этот пост будет обновляться по мере появления апдейтов в моей работе.

P.S. Для любителей 18+ контента сразу отвечаю: да, нейронка не цензурирована, потому есть возможность генерить взрослый контент со всеми возможными деталями Тем кому интересно ставьте огоньки в реакциях, сделаю канал в телеге

а в 4к как вывел это?

 

[FireCrafter]

Немного поковырялся со стилями)

 

[FireCrafter]

а в 4к как вывел это?

stable diffusion такое умеет

 

[TENTA]

stable diffusion такое умеет

покупал подписку на мж, там качество уг конечно было даже в x2

 

[FireCrafter]

покупал подписку на мж, там качество уг конечно было даже в x2

и стилистика у него одна и та же, никакого простора для творчества)

 

[FireCrafter]

Еще раз всем привет, итак, я продолжил свое исследование в области создания идеальной модели для рисования в стилистике Lineage 2. В этот раз я решил разделить модели для отдельных рас и классов и начал я естественно с женских персонажей расы темных эльфов, которые так будоражат фантазию игроков

И снова я собрал кучу артов, выставил стандартные автоматические BLIP файлы и нейросеть приступила к обучению. Результат получился уже получше, однако есть еще целая куча недочетов в мелких деталях. Все-таки, чтобы получать идеальные арты, нужно будет видимо вручную и максимально подробно править BLIP файлы в картинках для датасета (типа "кожаный доспех красного цвета с текстурой в виде драконьей чешуи") ибо персонаж, особенно фэнтези обладает кучей неочевидных деталей, которые нейросеть не может понять, потому, все эти детали нужно максимально подробно объяснить.

На это пока все и напоследок хочу всех поздравить с наступлением лета! Солнце, жара и пляжи, вот что послужило для меня вдохновением для нового арта, итак господа (особенно @Labrikk) РУКИ НА СТОЛ

 

[Labrikk]

Еще раз всем привет, итак, я продолжил свое исследование в области создания идеальной модели для рисования в стилистике Lineage 2. В этот раз я решил разделить модели для отдельных рас и классов и начал я естественно с женских персонажей расы темных эльфов, которые так будоражат фантазию игроков

И снова я собрал кучу артов, выставил стандартные автоматические BLIP файлы и нейросеть приступила к обучению. Результат получился уже получше, однако есть еще целая куча недочетов в мелких деталях. Все-таки, чтобы получать идеальные арты, нужно будет видимо вручную и максимально подробно править BLIP файлы в картинках для датасета (типа "кожаный доспех красного цвета с текстурой в виде драконьей чешуи") ибо персонаж, особенно фэнтези обладает кучей неочевидных деталей, которые нейросеть не может понять, потому, все эти детали нужно максимально подробно объяснить.

На это пока все и напоследок хочу всех поздравить с наступлением лета! Солнце, жара и пляжи, вот что послужило для меня вдохновением для нового арта, итак господа (особенно @Labrikk) РУКИ НА СТОЛ

Посмотреть вложение 186772

Это просто арты не имеющие ничего общего с л2 и темболее не имеющие никакой души...

 

[FireCrafter]

Это просто арты не имеющие ничего общего с л2 и темболее не имеющие никакой души...

Эх, ну давай, знаток искусства покажи арты с душой и строго по теме, разберем, если на поверку окажется, что ты просто хентаедрочер, то тогда критика не конструктивна)

 

[Labrikk]

Эх, ну давай, знаток искусства покажи арты с душой и строго по теме, разберем, если на поверку окажется, что ты просто хентаедрочер, то тогда критика не конструктивна)

1) 2 твоих сообщения в мой адрес и в 2-х из них какие-то намеки на мастурбацию. Возможно, у тебя спермотоксикоз или просто проблемы по этой части?
2) Это ты кидаешь арты, а не я. То, что ты скинул выше даже отдаленно не напоминает л2, вот вообще никак и никаким боком. Логично же, арты по тематике л2 должны вызывать какие-то ассоциации с л2 нет?

 

[FireCrafter]

Ты вроде как просил "красивую ночную эльфийку, а не транса педераста", помнишь? потому я крайне не уверен, что проблемы у меня, суть просто в том, что сам по себе процесс обучения модели ИИ довольно непростой, ( к тому же в области рисования и артов), я спокойно выслушиваю нормальную критику, но терпеть не могу, когда кто-то пытается обосрать мой труд, нейронки позволяют взгянуть на арты под другим углом, например как будет выглядеть Л2 не только в аниме или мультяшности, но и в реализме, фентезийном, темных тонах, muted colors, фотореалистичности и еще куча всего. Если ты этого не понимаешь, что ж, мне тебя жаль, но в любом случае кидать в себя говном я не позволю, предпочту, чтобы ты своим же говном и подавился)

 

[Labrikk]

Ты вроде как просил "красивую ночную эльфийку, а не транса педераста", помнишь? потому я крайне не уверен, что проблемы у меня, суть просто в том, что сам по себе процесс обучения модели ИИ довольно непростой, ( к тому же в области рисования и артов), я спокойно выслушиваю нормальную критику, но терпеть не могу, когда кто-то пытается обосрать мой труд, нейронки позволяют взгянуть на арты под другим углом, например как будет выглядеть Л2 не только в аниме или мультяшности, но и в реализме, фентезийном, темных тонах, muted colors, фотореалистичности и еще куча всего. Если ты этого не понимаешь, что ж, мне тебя жаль, но в любом случае кидать в себя говном я не позволю, предпочту, чтобы ты своим же говном и подавился)

Какой-то токсичный ты, я вроде на личности не переходил и никого не оскорблял. Мне просто не нравятся твои арты, это субьективное мнение и вполне объективное, что никаким боком к л2 они не относятся, даже отдаленно. В тех, что ты скинул никто не увидит и намека на л2, мои притензии конкретно к этому, а ты сразу перешел в агрессию и оскорбления. Арты по л2 должны выглядеть примерно так

 

[FireCrafter]

Какой-то токсичный ты, я вроде на личности не переходил и никого не оскорблял. Мне просто не нравятся твои арты, это субьективное мнение и вполне объективное, что никаким боком к л2 они не относятся, даже отдаленно. В тех, что ты скинул никто не увидит и намека на л2, мои притензии конкретно к этому, а ты сразу перешел в агрессию и оскорбления. Арты по л2 должны выглядеть примерно так

да ну, нейронка видимо на каких то других артах обучалась))

и тут сотни этих фоток, которые были заботливо обработаны и все таки я еще прописал под каждую BLIP файл, и да, это сработало, теперь нейронка реагирует на токен dark elf

Ну я понял, смешение стилей не приветствуется, тогда в артах сразу теряется "душа")))

В общем, чтобы соответствовать так сказать "канону" я попробовал воссоздать стиль художников, которые делали арты для руоффа (мультяшные)