AI a společnost

[LokiB]

Zajímavá otázka. Je jen akademická, nebo máme důvod předpokládat, že AI bude někdy schopna něco takového vyplodit?

Brandon v tom videu mluví o experimentu, ze kterýho vyplynulo, že u kratších kusů textu už lidi (včetně něj) nedokážou rozlišit, jestli je autorem uznávanej autor nebo AIčko. Takže se dá očekávat, že časem to bude platit i pro kompletní díla*.

S hudbou už ostatně v tom bodě jsme. Brandon v tom videu zmiňuje AI song, kterej se dostal na první místo v nějakym online žebříčku.


edit: * Myslím si to, protože AIčko zvládne za stejnej čas vygenerovat mnohonásobně víc pokusů než člověk. Někdo to pak musí přečíst, aby zjistil, jestli to je dobrý, ale špatný věci většinou odhalíš celkem rychle. Takže za dobu, za kterou třeba Brandon Sanderson napíše novou knihu, zvládne někdo jinej zhodnotit třeba sto vygenerovanjech knih, a stačí, aby jedna z nich byla fakt dobrá. A jsem si skálopevně jistej, že tohle budou lidi dělat.

No, ono to tak je ... u krátkého obsahu. Otázka je - jak moc velký "skok" je z 20 sekund" na 1,5 hodiny a více? a podobně to platí i pro literaturu.
Otázka je - s jakým objemem tokenů dokáže AI pracovat (nyní, za rok, za 5 let), aby to dávalo "výsledek", který stojí za zmínku.
Všechna ta 10 sekundová videa "teď je Hollywood v hajslu, koukněte, co umí AI" jsou ve skutečnosti zatím všechno ukázky toho, že AI nic pořádně vygenerovat v tomto směru neumí. "Hele, scéna z Matrixu - stála 10 milionů USD a AI ji vytvořila za 20 minut" ... jasně, protože měla k dispozici hodiny původních záběrů z Matrixu. A bez nich?

nebo všechny ty rádoby "scifi filmy", transformers, anime atd. kraťoučké sekvence jak z traileru ... ale jak vypadá 10 minutová scéna s dějem a dialogy, ne jen hogofogo efekty?

Netvrdím, že to AI nedokáže. Zatím jsem však neviděl nic, co by nasvědčovalo tomu, že to dokáže.

[ilgir]

York: no v tom je právě kámen úrazu. Generativní AI za sebe skládá slova na základě pravděpodobnosti. S každým dalším slovem tedy náročnost roste exponenciálně. Pro současné modely je jedna stránka ok. Na deseti stranách už halucinují a ztrácejí "koncept". Vygenerovat třísetstránkový román, který bude mít hlavu a patu, pro bota není třísetkrát náročnější úloha než jedna strana, ale bambiliónkrát (možná to číslo přesahuje velikost vesmíru, zkuste to někdo spočítat). To samé film. Poskládat film z jednotlivých krátkých AI scén - ok. Bude to ale piplačka a musí to udělat člověk. Vygenerovat konzistentní dvouhodinový snímek - mimo realitu.

A také co naznačil Loki. Pán prstenů, Matrix, Forest Gump, atd. To jsou jedinečná díla top kvality velmi talentovaných autorů. Zatímco výsledky botů jsou z definice jejich fungování kompilací z průměru. Takže za sebe neočekávám, že bot někdy napíše nového Pána prstenů, ze kterého si všichni sednou na zadek.

[Fritzs]

Takže za sebe neočekávám, že bot někdy napíše nového Pána prstenů, ze kterého si všichni sednou na zadek.

Ono stačí když už nikdo nikdy nic takového nenapíše.

[Eleshar_Vermillion]

No, ono to tak je ... u krátkého obsahu. Otázka je - jak moc velký "skok" je z 20 sekund" na 1,5 hodiny a více? a podobně to platí i pro literaturu.
Otázka je - s jakým objemem tokenů dokáže AI pracovat (nyní, za rok, za 5 let), aby to dávalo "výsledek", který stojí za zmínku.
Všechna ta 10 sekundová videa "teď je Hollywood v hajslu, koukněte, co umí AI" jsou ve skutečnosti zatím všechno ukázky toho, že AI nic pořádně vygenerovat v tomto směru neumí. "Hele, scéna z Matrixu - stála 10 milionů USD a AI ji vytvořila za 20 minut" ... jasně, protože měla k dispozici hodiny původních záběrů z Matrixu. A bez nich?

Tohle je dost zásadní poznámka. Nedávno se např. ukázalo, že AI dokáže s přehledem vygenerovat fantasy skoro stejně kvalitní jako Harry Potter. Jmenuje se "Harry Potter". Textová shoda byla myslím nad 95 %. Pořád je to z velké míry stroj na porušování copyrightu. Zajímavé, že když to udělá velký korporát kvůli obrovskému zisku, tak to najednou tak strašně nezákonné není.

Netvrdím, že to AI nedokáže. Zatím jsem však neviděl nic, co by nasvědčovalo tomu, že to dokáže.

Zatím vypadá, že problémem generativní AI budou především zdroje. Už teď jsou místa, kde se města přehazují s datovými centry v cenách elektřiny. Mně vůbec připadá, že AI je strašlivě neefektivní. Lidský mozek zvládne za 3 MJ nějakých 16 hodin vnímání všemi smysly, uvažování, řeč, práci, řízení těla. Domnívám se, že AI většinu z těch věcí taky zvládne, ale odděleně a za cenu mnohem většího množství energie a pochopitelně neintegrovaně.
Už teď v době AI ještě hluboce dotované investory se Linkáč plní příspěvky typu "platím za AI tokeny 3× než za tým developerů, který jsem jimi nahradil".

[LokiB]

Zatím vypadá, že problémem generativní AI budou především zdroje. Už teď jsou místa, kde se města přehazují s datovými centry v cenách elektřiny. Mně vůbec připadá, že AI je strašlivě neefektivní. Lidský mozek zvládne za 3 MJ nějakých 16 hodin vnímání všemi smysly, uvažování, řeč, práci, řízení těla. Domnívám se, že AI většinu z těch věcí taky zvládne, ale odděleně a za cenu mnohem většího množství energie a pochopitelně neintegrovaně.
Už teď v době AI ještě hluboce dotované investory se Linkáč plní příspěvky typu "platím za AI tokeny 3× než za tým developerů, který jsem jimi nahradil".

Tak taková srovnání jsou trochu na vodě, protože se nesrovnává srovnatelné.
Kupříkladu, dejme tomu, že generativní AI máme ... jak rychle toho nového Parryho Hottera (a tím myslím nového, ne jen vykradeného Harryho Pottera) vygeneruje? Bude to v řádu minut, hodin? Ale asi se shodneme, že na to nepoběží několik let 6 hodin denně. Zatím spíše nemáme metriky pro taková srovnání. Takže bude třeba srovnat celkový výkon na sepsání Harryho Pottera a vygenerování Parryho Hottera. No a to už může být trochu jiné kafe.

Druhá věc je, že zatímco pro některé úlohy (AI recognition například, ať mluvím o něčem, s čím pracuju denně) má celkem propracované workflow, jak se vstupem pracuje, čím ho vším prohání, než vypadne sada požadovaných výsledků, u generování textu pomocí LLM to "zatím" v prostředí chatGPT a spol kecálků tak není.

Ale to neznamená, že někdo nemá, nebo nepracuje na, workflow, které toto převede i do generování "knih" ...
tedy proces: zadání -> pochopení zadání -> upřesnění zadání -> dramaturgie a preprocessing na základě zadání -> (případně v několik cyklech) -> vlastní generování obsahu -> evaluace výsledku (průběžně či až celého výsledku?) -> doporučení a požadavky na úpravy -> regenerování ... atd v například několika cyklech.

LLM samo o sobě je síla, ale umět to zprocesovat a zřetězit, podobně jako u workflow pro generování 3D modelu z 2D obrázku, které má X propojených kroků, tak se dostáváme na další úroveň (pro tento typ úloh). A s dostatečným výpočetním výkonem ... to bude pro tento typ úloh cesta ke "generativní AI" (?!)

[Eleshar_Vermillion]

Tak srovnatelné nesrovnatelné... vezmi si, že mozek spotřebuje na celý den aktivity nějakých 470 Wh energie, zatímco mediánový prompt prý dá nějakých 0,25 Wh. To je nějakých 2000 řečových výměn za den. To je celkem dost kecání... ale zase je to jen to kecání. Ten model vlastně jen zpracovává řeč. Kdyby u toho měl ještě 16 hodin nepřetržitě koukat, poslouchat, vnímat pachy, vnímat dotyky, teploty, vyhodnocovat, co z toho je důležité a na to reagovat, pohybovat v podstatě všemi svaly v těle, řídit hormonální rovnováhu,... Jako chápu, že principem technologie je, že zvládneme upříst výrazně více energie směry a rychlostmi, jimiž to tělo neumožňuje, ale tady se už pohybujeme v řádech, které zjevně začíná být problém sytit, přičemž výsledek je zatím docela omezený.

S novým Harry Potterem bych tipoval, že primární problém bude, aby nebyl příliš derivativní. Tj. vygenerování nějaké zákaldní myšlenky na zápletku a podzápletky, jejich postupné přetvoření v text... ale podle mě pak bude nejdůležitější ta práce s hotovým velkým textem právě kvůli těm redakčním úpravám. Ve výsledku zjistíš, že vydržovat si 6 let spisovatele možná nebude o tolik dražší. A až si investor řekne, že už do toho nastrkal dost prachů a musí to začít kotit, cena za token půjde na troj- až pětinásobek, tak to pak bude mít teprve smysl vyhodnocovat.

[York]

York: no v tom je právě kámen úrazu. Generativní AI za sebe skládá slova na základě pravděpodobnosti.

No, ne. LLMka jsou docela složitý systémy, ale uvnitř je pořád natrénovaná neuronová síť, ne implementace quick sortu.

S každým dalším slovem tedy náročnost roste exponenciálně.

To by neplatilo, ani kdyby tam opravdu byl ten quick sort. Ten má složitost N * log(N)

Ale vážně - nevím, jestli jsou nějaký studie na určování složitosti úloh, který řeší LLM, ale je to o dost jinak, než si myslíš. Neuronka v principu jakejkoliv dotaz odpovídá v konstantním čase - pošleš nějakej signál na vstup, dostaneš odpověď na výstupu. Složitost je skrytá ve velikosti tý neuronky, ne v době vyhodnocování. Samozřejmě můžeš ty dotazy řetězit nebo jich poslat víc za sebou, viz dále, ale to z toho neudělá exponenciální složitost.

Pro současné modely je jedna stránka ok.

To je pořád o dost víc, než zvládne člověk, a přesto lidi píšou romány. Pointa je v tom, že většina současnejch LLMek vyhazuje rychlý, intuitivní odpovědi, asi jako když se tě někdo zeptá, kolik je 3 * 3. Nad tím nemusíš přemejšelet, odpoveď máš naučenou. LLMka toho maj naučenýho mnohem, mnohem víc. Když chceš ale vyřešit složitější problém, jako třeba napsat román, nebo třeba i kapitolu, tak to takhle neděláš. Místo toho si problém rozložíš do menších celků a ty pak zpracováváš postupně. Píšeš jedno slovo za druhym, nevyplivneš celou stránku najednou. Tohle je proces, o kterym se zatím v souvislosti s AIčkama moc nemluví, ale inženýři se tím nepochybně zabýaj. Nejvíc se o tom mluvilo v souvislosti s Deep Seekem, kterej právě touhle metodou dosahoval srovnatelnejch výsledků mnohem levnějš. Tudy celekem určitě vede cesta k románům.

[LokiB]

York: No nevím, jestli by se ti chtěl číst román, který by byl generovaný po stránkách a mezi nimi by byla jen slabá provázanost
Důležité je, že když autor píše tisíci stránkový román, tak přeci jen drží určitou mapu (více či méně kompletní, dle individuálních schopností) celého díla.

A to, že většina současných LLMek vyhazuje rychlý intuitivní odpovědi, jako když 3 * 3 ... to u těch hlavních LLMek při použití Thinking (a jejich obdoby), není moc pravda. tam to workflow je komplexnější a může trvat celkem dlouho (oproti běžných dotazům, které dávají výsledek hned), než se odpověď vygenerovaná.

[York]

York: No nevím, jestli by se ti chtěl číst román, který by byl generovaný po stránkách a mezi nimi by byla jen slabá provázanost
Důležité je, že když autor píše tisíci stránkový román, tak přeci jen drží určitou mapu (více či méně kompletní, dle individuálních schopností) celého díla.

No však, autor píše top down metodou. Nejdřív si vytvoří zápletku a tu pak postupně rozvádí a rozepisuje. Proč by to AIčko mělo dělat jinak? Dokonce se to samo nabízí, protože každej krok je vlastně prompt pro ten další.

A to, že většina současných LLMek vyhazuje rychlý intuitivní odpovědi, jako když 3 * 3 ... to u těch hlavních LLMek při použití Thinking (a jejich obdoby), není moc pravda. tam to workflow je komplexnější a může trvat celkem dlouho (oproti běžných dotazům, které dávají výsledek hned), než se odpověď vygenerovaná.

No však říkám, že se o tom sice zatím moc nemluví, ale inženýři se tím zabývaj.

[LokiB]

No však, autor píše top down metodou. Nejdřív si vytvoří zápletku a tu pak postupně rozvádí a rozepisuje. Proč by to AIčko mělo dělat jinak? Dokonce se to samo nabízí, protože každej krok je vlastně prompt pro ten další.

S tak silnou osobní zkušeností autora se polemizovat zjevně nedá

No, ale vážně ... takhle jednoduché to prostě v reálu u člověka není. Ty popisuješ práci stroje, ne člověka-autora.
Stačí když si vzpomeneš, co píše JRRT v předmluvě Společenstva prstenu ...

Ti, kdo se dožadovali dalších informací o hobitech, je nakonec
obdrželi, ale museli dlouho čekat; skládání Pána prstenů totiž pokra-
čovalo s přestávkami od roku 1936 do roku 1949. Měl jsem v tom
období mnoho povinností, které jsem nezanedbával, a jako žák i uči-
tel jsem měl mnoho jiných zájmů, které mě často zcela pohlcovaly.
Ke zdržení samozřejmě přispělo i to, že v roce 1939 vypukla válka.
Tehdy ještě příběh nedospěl ani ke konci 1. knihy. Navzdory temnotě
následujících pěti let jsem zjistil, že se již příběh nedá zcela opustit, a
plahočil jsem se dál, většinou po nocích, dokud jsem nestanul u Bali-
nova náhrobku v Morii. Tam jsem se nadlouho zastavil. Pokračoval
jsem až téměř po roce, a tak jsem se dostal do Lothlórienu a na Vel-
kou řeku až koncem roku 1941. Příští rok jsem napsal první náčrt
látky, která nyní tvoří 3. knihu, a začátek 1. a 3. kapitoly 5. knihy, a
když v Anórienu vzplanuly majáky a Théoden dojel do Brázdné do-
liny, uvázl jsem. Předvídavost selhala a na přemýšlení nebyl čas.
V roce 1944 jsem opustil rozběhlé nitky zamotané války, kterou
bylo mým úkolem vést, nebo o ní aspoň podat zprávu, a přinutil jsem
se, abych se vypořádal s Fredovou cestou do Mordoru. Tyto kapitoly,
které se později staly 4. knihou, byly psány a odesílány jako seriál
mému synu Christopherovi, který tehdy sloužil u letectva v Jižní
Africe. Přesto trvalo ještě pět let, než příběh dospěl ke svému
dnešnímu konci; během té doby jsem změnil bydliště, katedru i kolej
a dny nebyly sice již tak temné, ale o nic méně namáhavé. A když
bylo konečně dosaženo „konce”, celý příběh se musel revidovat a
vlastně velmi často zpětně přepisovat.


ano, hodně věcí takhle částečně vzniká, ten proces tam "je". ale není to strojový proces, deterministický proces. a má mnoho a mnoho odchylek. kdy po dopsání 15. kapitoly se vracíš, abys přepsal 3. kapitolu ... a ne, že vždy budeš 15. kapitolu psát a dokončíš podle toho, co už je napsané ve 3. kapitole.

A na to můžeš říc "No však, psal jsem to jen zjednodušeně" ... ale to zjednodušení je tak velké, že přestalo popisovat realitu.

[ilgir]

York: Trochu se v tom ztrácím, asi bych potřeboval, abys byl méně stručný. Třeba jsem vůbec nepochopil, cos myslel tím, že "člověk nezvládne napsat stránku" a že "Složitost je skrytá ve velikosti tý neuronky, ne v době vyhodnocování." Taky nevím, kde jsi vzal quick sort, o tom jsem nepsal.

Bavíme se o AI obecně nebo o LLM-based chatbotech?

Protože LLM-based chatbot má těch omezení opravdu hodně:
- omezené kontextové okno, dříve generovaný text se "vytrácí z paměti"
- nepíše si metapoznámky, jako to dělají autoři, pracuje jen s promptem a tím, co vygeneroval
- model je trénován na úlohách typu "jaký token nejpravděpodobněji následuje po předchozích", ne na konstrukci narativní struktury
- generuje text sekvenčním procesem, každá věta ovlivňuje ty další, což po nějaké době nutně vede ke kumulaci nepřesností a vzniku nekonzistence
- bez předem daného scénáře vytvoří kauzality / témata / motivace / obsažené v románu tolik kombinatorických možností, že se na tom chatbot "uvaří".

Většinu těchto omezení by šlo odbourat, pokud by chatbot spolupracoval s botem scénáristou, který by ho promptoval a botem revizákem, který by hlídal konzistenci a "kvalitu". Sestavit a vytrénovat takový tým už vyžaduje značné úsilí a vypadá to spíš jako vhodné hobby pro programátora-milionáře, který se nudí, než jako zajímavý byznys model. Proto si myslím, že v dohledné době nehrozí zaplavení světa kvalitními AI-generated romány. Co naopak považuji za reálné, je zvýšení efektivity lidských autorů, kteří převezmou funkci řízení/revize a text samotný si nechají vygenerovat, místo aby ho ručně napsali.

[York]

Třeba jsem vůbec nepochopil, cos myslel tím, že "člověk nezvládne napsat stránku"

Nezvládne ji napsat najednou. Když by ses spisovatele zeptal, jaký bude padesátý slovo stránky, kterou zrovna začal psát, tak nebude vědět. Není to jen sekvenční zápis, je to fakt sekvenční vymýšlení. Vlastně se od toho chatbota v principu moc nelišíme, taky hledáme slova postupně. Občas doslova - zastavíme se v půli věty a hledáme vhodný slovo.

a že "Složitost je skrytá ve velikosti tý neuronky, ne v době vyhodnocování."

Jak jsme nakousli, LLMka už jsou dneska trochu složitější a můžou "přemejšlet" i dýl (řetězit dotazy za sebe), ale když bys měl čistě jednu neuronovou síť, tak doba každýho dotazu je u ní konstatní. Prostě pošleš signál na vstup a dostaneš jinej signál na výstupu. I když možná kecám a čas roste lineárně s počtem neuronů, protože je potřeba udělat matematickou operaci pro každej neuron? Hmm, asi vážně kecám.

edit: Operace se dělaj paralelně na GPUčkách, takže snad nekecám. Respektive roste to s "hloubkou" sítě (kolik vrstev neuronů na sebe navazuje), ale ne se "šířkou" (kolik neuronů je v jedný vrstvě).

Taky nevím, kde jsi vzal quick sort, o tom jsem nepsal.

To byl pokus o vtip. Pokud by LLMko řadilo slova za sebe podle hodnoty pravděpodobnosti, tak nejrychlejší implementace by byl quick sort nebo nějakej podobnej algoritmus. A ano, takhle LLMka nefungujou

Většinu těchto omezení by šlo odbourat, pokud by chatbot spolupracoval s botem scénáristou, který by ho promptoval a botem revizákem, který by hlídal konzistenci a "kvalitu".

Ano, přesně tak.

Sestavit a vytrénovat takový tým už vyžaduje značné úsilí a vypadá to spíš jako vhodné hobby pro programátora-milionáře, který se nudí, než jako zajímavý byznys model.

Tak ti milionáři do toho investujou (a sháněj investice i jinde). A nemyslím si, že toho hned tak nechaj, potenciál zisku z náhrady drahý lidský práce strojovym časem je obrovskej. Je to podobný jako s fůzí - to, že se stále nedaří ji zrealizovat, nic nemění na tom, že má rozhodně smysl se o to dál snažit.

Proto si myslím, že v dohledné době nehrozí zaplavení světa kvalitními AI-generated romány. Co naopak považuji za reálné, je zvýšení efektivity lidských autorů, kteří převezmou funkci řízení/revize a text samotný si nechají vygenerovat, místo aby ho ručně napsali.

Jo, to bude nepochybně první krok.

[LokiB]

Většinu těchto omezení by šlo odbourat, pokud by chatbot spolupracoval s botem scénáristou, který by ho promptoval a botem revizákem, který by hlídal konzistenci a "kvalitu". Sestavit a vytrénovat takový tým už vyžaduje značné úsilí a vypadá to spíš jako vhodné hobby pro programátora-milionáře, který se nudí, než jako zajímavý byznys model.

Tohle nebude tak velké omezení ... a hlavně, až to workflow někdo vytvoří, tak ho může dát k dispozici, úplně stejně, jako je to u generování obrázků, videí atd.
Zajímavý byznys model to je v tom, že to má v sobě silný potenciál "skokové změny" generovaného obsahu. A to třeba není "svatý grál", ale "cíl hodný oslavy" to tedy je.

Proto si myslím, že v dohledné době nehrozí zaplavení světa kvalitními AI-generated romány. Co naopak považuji za reálné, je zvýšení efektivity lidských autorů, kteří převezmou funkci řízení/revize a text samotný si nechají vygenerovat, místo aby ho ručně napsali.

Zkoušel jsem a zkouším to ... a není to uspokojivé. Naučit ho, aby psal "tak jak chci", je těžké/zatím nemožné/...
A tak ty výsledky "nejsou ono" a člověk to přepisuje, ladí, zahlazuje ... a vlastně tím tráví víc času, než kdyby to psal.
Netvrdím, že je to nemožné, jde to a asi to někdo dělat bude ... na kvalitě u výstupu delších než 1 stránka je to "zatím" dost vidět.
Jinak bych to používal i víc

Nezvládne ji napsat najednou. Když by ses spisovatele zeptal, jaký bude padesátý slovo stránky, kterou zrovna začal psát, tak nebude vědět. Není to jen sekvenční zápis, je to fakt sekvenční vymýšlení. Vlastně se od toho chatbota v principu moc nelišíme, taky hledáme slova postupně. Občas doslova - zastavíme se v půli věty a hledáme vhodný slovo.

Ne, to fakt tak není. To, že spisovatel "neví", je na fundamentálně jiné úrovni. Spisovatel nevymýšlí knihu procedurálně, a má často "v hlavě" komplexní představu, kterou tím psaním realizuje. To je úplně něco jiného, než dělá chatbot, jako fakt.

Jak jsme nakousli, LLMka už jsou dneska trochu složitější a můžou "přemejšlet" i dýl (řetězit dotazy za sebe), ale když bys měl čistě jednu neuronovou síť, tak doba každýho dotazu je u ní konstatní. Prostě pošleš signál na vstup a dostaneš jinej signál na výstupu. I když možná kecám a čas roste lineárně s počtem neuronů, protože je potřeba udělat matematickou operaci pro každej neuron? Hmm, asi vážně kecám.

Tohle jsme neviděli a nečetli. Vlastně jsi to ani nenapsal

[Eleshar_Vermillion]

To byl pokus o vtip. Pokud by LLMko řadilo slova za sebe podle hodnoty pravděpodobnosti, tak nejrychlejší implementace by byl quick sort nebo nějakej podobnej algoritmus. A ano, takhle LLMka nefungujou

No to taky Ilgir neříkal. Pokud vím, LLMko ti spočítá vždycky nejpravděpodobnější následující token v sekvenci, a ten tam pak dá.

[York]

No to taky Ilgir neříkal. Pokud vím, LLMko ti spočítá vždycky nejpravděpodobnější následující token v sekvenci, a ten tam pak dá.

Už jsem pochopil, že bych neměl volat programátorský vtipy na normálních lidech, nemusíš to opakovat