AI ilustrace - praktické rady a dotazy

[Antharon]

Kód: Vybrat vše

group of children playing tabletop RPGs :: highly detailed atmospheric photography

[York]

Dá se nějak docílit toho, aby obrázky držely jednotnej grafickej styl?

Daj se použít existující ilustrace jako vzor, co na obrázku má bejt?

[smrq]

Tak já bych začal něčím jednodušším. Občas to na mě tu a tam vyskočí, ale já se o ai ilustrace vůbec nezajímal a vlastně netuším, jak to funguje. To jakože nějaký program na základě zadaných údajů vytvoří obrázek? Jak? Nějaká fotomontáž obrázků z netu?

[York]

Tak já bych začal něčím jednodušším. Občas to na mě tu a tam vyskočí, ale já se o ai ilustrace vůbec nezajímal a vlastně netuším, jak to funguje. To jakože nějaký program na základě zadaných údajů vytvoří obrázek? Jak? Nějaká fotomontáž obrázků z netu?

To je spíš teoretická otázka

• Představ si malej obrázek, třeba 8x8 pixelů. Kažej pixel má nějakou hodnotu, která udává jeho barvu.

• Před každej pixel představíme jeden neuron - to je "součástka", která má několik vstupních hodnot a jednu výstupní, kterou spočítá tak, že vstupní hodnoty pronásobí určitejma koeficientama. Takže máme 64 neuronů (8x8), výstupem každýho z nich je hodnota barvy jednoho z pixelů obrázku.

• Co bude naše síť dělat záleží čistě na tom, jaký koeficienty jsou nastavený u jednotlivejch neuronů. Když je nastavíš třeba tak, že u všech pixelů, který jsou součástí obrázku kočky, bude výsledek "černá" a u všech ostatních "bílá", dostaneš obrázek černý kočky na bílym pozadí (zjednodušuju, ale pro představu to stačí).


Pointa tudíž je, jaký koeficienty nastavit k jednotlivejm neuronům.

• To se dělá tak, že se neuronová síť "učí". Potřebuješ na to soubor referenčních "správnejch" výsledků, třeba obrázků koček. Pak upravuješ koeficienty u jednotlivejch neuronů (třeba náhodně, ale lepší je mít na to nějakou strategii) a srovnáváš to se seznamem správnejch výsledků. Čím podobnější jim budou výsledky, tím líp máš nastavenou neuronovou síť, tím líp je "naučená".

Obrázkový AI obvykle fungujou tak, že jako vstup dostávaj slova, třeba "black cat". Trénujou se pak tak, že jim dáš na vstup "black cat" a výstup srovnáváš s obrázkama černejch koček.

No a takový sítě pak samozřejmě nemaj 64 neuronů, ale tisíce (byť na konci je výstup pořád těch samejch 64 pixelů, pokud chceš generovat obrázky 8x8). A vstupem může bejt cokoliv digiálního, takže třeba jinej obrázek.

[smrq]

Aha. Děkuji za objasnění. Takže Skynet. Zajímavé.

[Antharon]

Ja by som ešte skúsil k tým neurónovým sieťam niečo doplniť.

Sieť sa to volá preto, že tieto neuróny máš v rôznych vrstvách a každý neurón má prepojenie na všetky neuróny predchádzajúcej vrstvy a tie sčíta prenásobené nejakým koeficientom.

Neuróny sú vlastne troch typov. Tieto stredné nerobia nič iné, než že vracajú súčet či iteľov z predchádzajúcej vrstvy. Počet vrstiev a množstvo neurónov v nich zjednodušene udáva schopnosť neurónky zapamätať si veci.

Posledná vrstva je špeciálna a obsahuje tam niečo ako tri neuróny pre každý pixel (tri farebné kanály). Tam vlastne po prechode všetkých vstupov dostaneme nejaký obraz.

Čo je na vstupnej vrstve to je asi najzaujímavejšie a zároveň to je asi tajomstvo providerov. Obvykle to bude výstup z nejakej inej neurónky, ktorá vie spracúvať prirodzený jazyk.

Toto všetko by ale bolo asi pomerne náročné na výpočet, preto neurónky obvykle najprv vezmú nejaký jednoduchý obraz a ten postupne rafinujú aby sa viac podobal. Typicky stable diffusion vezme iba náhodný šum a pýta sa "ako by sa toto mohlo viac podobať na psa"

Použitie takejto neurónovej siete ale nie je tá komplikovaná časť. Tou je naplniť tieto neuróny dátami a vycvičiť neurónovú sieť. A tu do nej sypeme rôzne dáta, neurónka nám dáva náhodné výstupy a máme tu niekoho kto nám hodnotí ako veľmi sa výstup podobá na to, čo chceme.

A tuto to začne byť zábavné, lebo ľudia na to nie sú úplne skvelí. Ovela lepšie je mať nejakú druhú umelú inteligenciu, ktorá sa učí obrázky hodnotiť. Oni to berú ako hru a cvičia sa navzájom. Takejto dvojici sa hovorí GAN, generatívna adversariálna sieť.

A teraz už teda iba vezmeme celý náš veľký systém a začneme ho trénovať.

Máme dve až tri GAN:
1, učí sa rozpoznávať ľudskú reč a extrahovať z nej parametre ktoré napchá do generátora. To sú rôzne masky ako napríklad poloha a tvar čiar a hrán, gradienty, umiestnenie telies a celkový štýl (ostrosť, štylizácia, fraktálna dimenzia a podobne)
2, učí sa generovať nejakú úvodnú kompozíciu. Stable diffusion sem napríklad nasype náhodný šum.
3, berie tento šum a iteratívne sa ho snaží upravovať aby sa viac podobal našej predlohe.

[Nordoslav]

Moje odpovědi se budou týkat pouze midjourney, protože s ničím jiným nepracuju

Dá se nějak docílit toho, aby obrázky držely jednotnej grafickej styl?

Ha, to je oříšek.
Teoreticky se dá použévat stejný seed ( -- seed) ale nezkoušel jsem to v praxi

Dá se použít nějaký parametr, který vnutí MJ konkrétní styl kresby, pro bestiář jsem používal "charcoal" a následně ve photoshopu sjednotil na stejný odstín a sytost

Daj se použít existující ilustrace jako vzor, co na obrázku má bejt?

V midjourney může být součástí promptu URL adresa obrázku, zkušenost říká že ho používá spíš pro kompozici než obsah.
Zvýšit váhu obrázku můžeč pomocí parametru --iw

[Antharon]

Dá se nějak docílit toho, aby obrázky držely jednotnej grafickej styl?

napíšeš to tam. ja som napríklad generoval obrázky do čundra štýlom: "kids [sem som napísal čo robia, aké je počasie a podobne], hyper realistic oil painting, golden hour." Prípadne to vieš robiť pomocou obrázkového vstupu (viz druhá otázka). Ešte existuje aj možnosť robiť multiprompty napríklad vo verzií 2, kde vieš povedať "moj obrázok má byť toto ale zároveň aj toto" a pridať tomutio výrazu nejakú váhu, ktorá môže byť aj záporná. Takéto prompty oddeľuješ dvomi dvojbodkami a môžeš za ne pridať číslo. napríklad: "Boobies::1 breasts::-1 pencil sketch::1" a teoreticky by ti to malo nakresliť skicu vtáčikov a nie prsníkov.

Daj se použít existující ilustrace jako vzor, co na obrázku má bejt?

Ano, na začiatku promptu musíš vložiť ľubovoľné množstvo linkov na verejne dostupné obrázky, ktoré chceš brať do úvahy. Ak používaš defaultnú verziu midjourney (v2), môžeš za svoj prompt pridať váhu ako veľmi chceš brať obrázok do úvaky pomocou --iw 1 (sem môžeš dať ľubovoľný float)

[Selhan]

Sloučil jsem ti to, Yorku, s duplicitním vláknem, které už tu bylo, a přejmenoval ho, ať je to trochu jasnější

[York]

Začínám trochu experimentovat s AI ilustracema.


Zjistil jsem, že Stable Diffusion je open source a dá se provozovat i na domácím počítači.


Narazil jsem na tohle video, podle kterýho se mi ji podařilo nainstalovat.

Po pár pokusech mi to ale začalo padat na alokaci paměti. Zjistil jsem, že ta nejrozšířenější implementace vyžaduje alespoň 4GB VRAM, já mám ovšem jen 3 GB. Chystám se vyzkoušet tuhle branch, která by měla používat míň VRAM výměnou za menší rychlost zpracování.

Pak ještě existuje CPU-only implementace, ale tu se mi rozběhat nepovedlo. Autoři ji kompletně předělávaj, takže na githubu je jen stará verze, která vyžaduje už neaktuální komponenty.


Za těch pár pokusů jsem zjistil:

• Běží to překvapivě rychle, výstup 512x512 pixelů to zvládlo vygenerovat za pár vteřin.

• Existujou různý modely, dá se mezi nima přepínat. Model představuje "to, jak je síť natrénovaná".

• Má to velkej problém s obličejem. To je zatím asi největší překážka použitelnosti výstupu.

[York]

Pokud chcete se Stable Diffusion experimentovat hned, zkuste tenhle web. Vypadá to, že tam máte zdarma neomezenej počet pokusů (a dokonce bez registrace), ale funguje to jako fronta, takže doba zpracování závisí na tom, kolik lidí to zrovna používá.

[Antharon]

Začínám trochu experimentovat s AI ilustracema.


Zjistil jsem, že Stable Diffusion je open source a dá se provozovat i na domácím počítači.


Narazil jsem na tohle video, podle kterýho se mi ji podařilo nainstalovat.

Po pár pokusech mi to ale začalo padat na alokaci paměti. Zjistil jsem, že ta nejrozšířenější implementace vyžaduje alespoň 4GB VRAM, já mám ovšem jen 3 GB. Chystám se vyzkoušet tuhle branch, která by měla používat míň VRAM výměnou za menší rychlost zpracování.

Pak ještě existuje CPU-only implementace, ale tu se mi rozběhat nepovedlo. Autoři ji kompletně předělávaj, takže na githubu je jen stará verze, která vyžaduje už neaktuální komponenty.


Za těch pár pokusů jsem zjistil:

• Běží to překvapivě rychle, výstup 512x512 pixelů to zvládlo vygenerovat za pár vteřin.

• Existujou různý modely, dá se mezi nima přepínat. Model představuje "to, jak je síť natrénovaná".

• Má to velkej problém s obličejem. To je zatím asi největší překážka použitelnosti výstupu.

ako dlho trva 512*512? bezi to na beznom notebooku?

[strucky]

• Běží to překvapivě rychle, výstup 512x512 pixelů to zvládlo vygenerovat za pár vteřin.

• Má to velkej problém s obličejem. To je zatím asi největší překážka použitelnosti výstupu.

S možností Restore faces ten čas, který to generuje, nabírá ovšem trochu jiných dimenzí, ale pak si to s těmi obličeji poradí o dost líp. Zkoušels? PS. Aha, ono to totiž se zaplým Restore faces prvně stahovalo ještě nějaký další extra data, tak proto to nabralo na čase, než se fakticky rozjelo generování vlastních obrázků.

Jinak díky za heads up, taky jsem si to díky tvému upozornění zprovoznil lokálně.

edit: Jinak u mě je to zhruba nějakých 39s na jeden 512x512, s GTX 1660 6GB RAM.

[York]

S možností Restore faces ten čas, který to generuje, nabírá ovšem trochu jiných dimenzí, ale pak si to s těmi obličeji poradí o dost líp. Zkoušels?

U toho mi to právě spadlo na nedostatek VRAM.

bezi to na beznom notebooku?

Verze odkazovaná v tom videu potřebuje grafickou kartu s podporou CUDA a alespoň 4 GB VRAM. Tj. chce to asi nějakou novější Nvidii.

[Vallun]

ehm, trochu od začátku, pro čistého uživatele...

potřebuji udělat obrázek - ilustraci do zápisu ze hry:
velký černý pavouk s fialovou kresbou sličné dívky na zadku útočí na družinku v borovém hájku.

V zásadě se spokojím i jen s obrázkem toho pavouka, ale první pokusy s Craiyonem k cíli příliš nevedou...:/