AI a společnost

[LokiB]

To byl pokus o vtip. Pokud by LLMko řadilo slova za sebe podle hodnoty pravděpodobnosti, tak nejrychlejší implementace by byl quick sort nebo nějakej podobnej algoritmus. A ano, takhle LLMka nefungujou

Tak tedy i pro lidi AI nepolíbené je vhodné říc, že LLMka tak do určité míry fungují. Tedy ne quick sortem, ale že používají hodnotu pravděpodobnosti dalšího tokenu na základě ... mnoha věcí.
Ale ano, generují token-po-tokenu a jedním z hlavním kritérií je "vyhodnocení pravděpodobnosti (dalšího) tokenu na základě ... vícero kritérií".

Nechce se mi hledat nejrelevantnější popis (nejsem LLM spisovatel), tak třeba náhodně vybraný :
https://medium.com/thinking-sand/llm-sa ... 97b5984833
https://mikulskibartosz.name/llm-sampling

To je celkem užitečné vědět pro diskusi o LLM spisovatelích

[MarkyParky]

Ilgir: Popisuješ velmi dobře to, co dělají ty přímo odpovídající LLMka.

Reasoning modely to mají trochu jinak - u nich se právě přesně děje to, co on říká, že "by to mohlo odbourat", jedno AIčko spouští jiná AIčka a dává jim dílčí úkoly. Neviděl jsem praktické použití na psaní delšího textu, ale tahle cesta už se zkoumá a třeba u programování už se prakticky aplikuje a úspěšně.

York: U klasických LLMek fakt náročnost nagenerování dalšího tokenu s počtem předchozích tokenů roste, protože (až do naplnění kontextového okna) se při tom berou v potaz všechny předchozí tokeny, a jejich počet s nagenerováním dalších roste. A růst to není lineární, je rychlejší.

A nedávno jsem zahlédl i nějaké vysvětlení, které ukazovalo, že tokeny, které jsou v tom řetězci na začátku, mají větší váhu, než pozdější, protože tím, jak ovlivnily, které tokeny se nakládají dál, promítly do nich svou váhu a ovlivnily tak nepřímo výběr tokenů dalších.

A dokonce to vysvětlovalo, proč když model jednou pochopí otázku blbě nebo blbě odpoví, je lepší restartovat vlákno nebo se vrátit o pár kroků zpět, než LLM opravovat v rozhovoru, protože oprava v rozhovoru váhu chybný h tokenů zachová...a protože předchází opravě, má chyba větší náhu než její následná oprava.

Ale zase to platí pro přímo odpovídající modely. Reasoning LLM tohle mají jinak.

Eleahar: Existuje parametr, kterému se myslím říká "temperature", který říká, jak moc může AI při generování textu střelit bokem od nejpravděpodobnějšího tokenu. Konzervativně se nastavuje u úloh jako programování. U kreativních úloh se naopak dává tak, aby to nutně nejpravděpodobnější token nebyl.

A opět, reasoning modely umí dělat to, že ten vedoucí model spouští ty podřízené s různě vysokou temperature, podle toho, jaký dostane úkol.

Takže klidně může zároveň spouštět horkokrevný autorský model, co má fantazii/halucinace (podle toho, jak tomu chceš říkat) a zároveň výstup korigovat chladnokrevnějším redakčním modelem, který se stará o konzistenci.

EDIT: TL;DR: Reasoning přístup staví spoustu zřejmých AI vlastností i omezení na hlavu. (A samozřejmě vnáší spoustu nových, s o dost vyšší úrovní komplexity.)

[MarkyParky]

BTW Někde jsem zahlédl hezkou charakteristiku generací ChatGPT modelů.

3.X - neumí reasoning
4.X - uživatel si rozhoduje, zda chce reasoning
5.X - AI sama rozhoduje, zda si uživatel za svůj dotaz zaslouží reasoning.

Je to trochu nadnesené, reálně můžete čudlíkem nebo instrukcemi v rámci projektu/customGPT reasoning vynutit nebo potlačit (stejně jako můžete nastavením nebo instrukcemi ovlivnit temperature), ale hezky to ukazuje, že pokud nevyvinete nějaké úsilí si toho chatbota nějak nasměrovat, nedá se moc hodnotit, co a jak úspěšně dělá, protože si to nastavuje sám, na základě prvního promptu. A tím zase prohloubí váhu případné chyby.

[ilgir]

Tak ti milionáři do toho investujou (a scháněj investice i jinde). A nemyslím si, že toho hned tak nechaj, potenciál zisku z náhrady drahý lidský práce strojovym časem je obrovskej. Je to podobný jako s fůzí - to, že se stále nedaří ji zrealizovat, nic nemění na tom, že má rozhodně smysl se o to dál snažit.

Jako jo, ale vydávání románů je proti fúzi docela na houby byznys, ne? A na autorských honorářích zase vydavatelé netratí tolik, aby se z toho po jejich redukci stal skvělý byznys.

Zkoušel jsem a zkouším to ... a není to uspokojivé. Naučit ho, aby psal "tak jak chci", je těžké/zatím nemožné/...

Musíš nejdřív napsat tisíc stránek sám a nakrmit ho tím, pak už to půjde jako po drátkách.

Já se na tohle výhledově chystám, třeba se mi podaří dokončit co mám už delší dobu rozepsané, ale spíš to bude zajímavý experiment než něco s použitelným výstupem.

[LokiB]

No vidíte, ono to s AI půjde

https://www.lidovky.cz/nazory/prezident ... nazory_lgs

[Eleshar_Vermillion]

Už možná víme, kdo poslal rakety na tu dívčí školu.

[LokiB]

Tak to nezapomeňte, to se může časem hodit.

[Korhul]

Dám tu jedno video, kde autor diskutuje vliv AI na hudbu. Ale varování, má to hodinu a půl. https://www.youtube.com/watch?v=U8dcFhF0Dlk

[ShadoWWW]

Od 24. dubna začne Copilot skenovat a učit se na všech repozitářích na GitHubu. I na private repozitářích, pokud to majitel do té doby aktivně neodmítne (opt-out). To mně přijde od Microsoftu extra chucpe.

A divím se, že se nepoučil z Windows 11, kde se ukázalo, že MS bez vědomí uživatelů (i firem) skenoval jejich data a Copilot se na nich učil. A když to prosáklo, tak udělal taky opt-out místo aktivního povolení ze strany uživatele (opt-in).

A zvlášť když kvůli tomu hromada firem v Německu migrovala na Linux a v Japonsku zas na macOS, nebo zůstávají na nepodporovaných Win 10.

[Fritzs]

Lepší holub na střeše (AGI, nebo aspoň totální náhrada za juniorní programátory), nežli vrabec v hrsti (část zákazníků). A lidem co o tom rozhodují se nic až tak strašného nestane, když to nevyjde, proč nezariskovat?

[MarkyParky]

Tak pointa optoutu je v tom, že o ty zákazníky nepřijdeš, protože pokud se aktivně nezajímají, tak se to nedozví a zůstanou.

[Fritzs]

Však jsem psal "část zákazníků".

[Jerson]

Dneska na mě vyskočilo video, které syn začal generovat v ChatGPT (on ho generuje doma, ale na dokončení mě to upozorní v mobilu). A napadlo mě, že bych si konečně mohl udělat teasery ke svým RPG hrám. Před osmnácti lety jsem se o to pokoušel, ale neměl jsem dost paměti, abych do ní dokázal dostat celý film a pracovat s jednotlivými záběry, takže jsem se na to vykašlal.
Přičemž tohle není oblast, ve které bych měl dojem, že použitím AI někomu beru práci, protože na to abych si nechal vytvořit byť jen půlminutové video z pulpové hry jsem nikdy neměl dost peněz, takže bych takovou práci nikdy nikomu nezadal. Jediné co bych mohl dřív udělat je vykrádat záběry z jiných filmů (tedy to jsem reálně zkusil, jen mě zradila technika).

Nebo se na to dívám špatně?

[LokiB]

Díváš se na to skvěle. Nástroje jsou od toho, aby se používaly. Otázka je, co z toho "zadarmo" nebo za "rozumné peníze" vytáhneš.

Pro srovnání:
- používat online nástroj (třeba Grok, fuj fuj fuj, dělá i desetisekundová videa jako animaci z obrázku nebo z promptu, resp. z kombinace, přičemž tím jde iterovat a zpřesňovat)
- generovat si to doma (například v ComfyUI si rozjet příslušný model (Wan, LTX ...) parametrizovat, a generovat, opět z textu či obrázku.

druhý přístup je obecně "příjemnější" ... s tou nevýhodou, že dáš dneska raketu za rozumnou sestavu, co to dokáže (nebo odmigruješ na Macy ...)

[Eleshar_Vermillion]

Jde-li ti o etický rozměr, tak já na to třeba koukám tak, jestli z toho budu mít profit, nebo jestli je to pro vlastní potřebu, a přesně též stylem, že jinak bych ten produkt prostě neměl.
Druhá věc je rozměr praktický - tipoval bych, že velmi brzy tyhle věci začnou stát reálné peníze, protože ku překvapení všech manažerů velkých společností se opouští systém paušálních tarifů a přechází se na účtování podle čerpání/tokenů, takže už se sem tam začínají objevovat zprávy o lidech beroucích práci AI agentům a tak. Videa pokud vím žerou strašlivě moc.