Hrajeme RPGčka s AI

[Rillae]

Pro Call of Cthulhu dobrý

To možná jo, ale pro můj soukromej alt history projekt je to... no víš k čemu

[MarkyParky]

V obou případech jsem doteď zkoušel jak cestu CustomGPT, tak cestu Projektů a obojí naráželo na kontextové okno. Dokud se mi zdrojový modul vešel celý do kontextového okna, tak to fungovalo dobře. Ale jakmile přetekl, model začal halucinovat a vymýšlet si obsah (a to i tehdy, když v CustomGPT/projektových instrukcích bylo, že to dělat nemá). Jediný způsob, jak tomu předejít, bylo mauálně to dávkovat na menší bloky ... ale to zase byl opruz obhospodařovat.

Agentní režim, zdá se, umí to dávkování převzít za mě, takže mu na začátku dám úkol, pak ho nechám 15 minut pracovat (když mu koukám pod ruku, tak třeba vidím, jak si to vyexportovává, struktrovaně ukládá a pak teprve z toho dělá výpisky) a na konci vybleje hotovou strukturovanou přípravu, ve které jsem (zatím, včera jsem prubnul jen 3 pokusy) nenarazil na halucinace.

Setkával ses s tím, že když jsi do customGPT nahrál jako konfigurační zdroj například rozsáhlé PDF pravidel + rozsáhlé PDF modulu (pro příklad DND 5E + Curse of Strahd), že v rámci toho customGPT neměl "dobře načtené" tyto zdroje, kvůli přetečení, a halucinoval?

Podívám se do logů, ktere přístupy jsem zkoušel, ale teď jsem dost busy.

[Passingby]

Řekni si AI o mapu

Hmm, názvy umí občas vymyslet i trochu zajímavé a ten zbytek (s "inspirací" reálnými zeměpisnými názvy) plus mínus odpovídá tomu, co jsme patlali na základce, když nám bylo 12

Certania, Babyemonia (takže si člověk může vybrat, jestli to má být Babymonia, nebo Babemonia), Percenlia (tam asi prodávají pojištění, nebo tam bydlí hodně lichvářů...)

EDIT: Jo, moment, ona to měla být realná mapa?

[Rillae]

Řekni si AI o mapu

EDIT: Jo, moment, ona to měla být realná mapa?

No... mĕla

[Rillae]

Pokoušim se o alt history settings... ale spíš asi vymejšlim pěkný blbosti blbosti

Khosrow I po korunovaci byzantskym císařem

Imperator Caesar Khosroes Augustus/Autokratōr Kaisar Chosroēs:

34786e75-ecd4-485d-8c4d-6c4eec22445d.jpg

1b1277fa-2466-47b0-a50c-fb1e9018f422.jpg

6d62f262-15ac-40fd-b5d6-fc2b5b160fca.jpg

A o pár let později, jako císař byzance a perskej shah

Shahanshah Ērān ud Anērān/Basileus tōn Basileōn Rōmēs, Ērān kai Touran:

05deb202-108a-4275-a5e0-43e87ac09544.jpg

92e3e2ff-842c-4871-a50d-020505dcf217.jpg

[MarkyParky]

Setkával ses s tím, že když jsi do customGPT nahrál jako konfigurační zdroj například rozsáhlé PDF pravidel + rozsáhlé PDF modulu (pro příklad DND 5E + Curse of Strahd), že v rámci toho customGPT neměl "dobře načtené" tyto zdroje, kvůli přetečení, a halucinoval?

Říkal jsem si, že moje staré výsledky s 4očkem už jsou stejně irelevantní.

Takže jsem si udělal vykladač OSE pravidel s 5tkou.

Zdroje byly Advenced Players a Referees Tome, instrukce používat jen dodaný text pravidel a nic jiného.

Asi 8 dotazů zvládl bezchybně, deváty dotaz (kolik kouzel má kouzelník na 4. úrovni) už si vyhalucinoval - napsal 2 / 2 / 1, má to být 2 / 2. Úspěšně si vycucal z prstu i odkaz na stánku, na které to našel - napsal stránka 20, je to na straně 66.

[Rillae]

Co sem četla na redditu, tak chatgpt přečte nahraný pdf jenom jednou a pak už se do něj nedívá. Takže u velkejch (v tokenech) souborů summarizace a následná halucinace, no

[LokiB]

Asi 8 dotazů zvládl bezchybně, deváty dotaz (kolik kouzel má kouzelník na 4. úrovni) už si vyhalucinoval - napsal 2 / 2 / 1, má to být 2 / 2. Úspěšně si vycucal z prstu i odkaz na stánku, na které to našel - napsal stránka 20, je to na straně 66.

+

Co sem četla na redditu, tak chatgpt přečte nahraný pdf jenom jednou a pak už se do něj nedívá. Takže u velkejch (v tokenech) souborů summarizace a následná halucinace, no

A platí to i v případě customGPT modelu, nebo při přímém dotazování v chatu?
Protože jestli i v customGPT, tak je celý koncept toho, že by si s tímhle člověk pomohlo (a já v tom doufal), dost napytel

Blbý je, že to stojí hrozně času, s tím experimentovat a ověřovat, kdy a za jakých podmínek to začne blbnout.
Kdyby to mělo nějaké indikace, které by člověk rovnou viděl, typu "dosaženo limitu ... budu halucinovat".
Je to frustrující , když se snažím mu dávat podklady co nejlépe strukturované, instrukce jednoduché a jasné ... a on pak halucinuje a není způsob, jak odhalit, kde a jestli jsem udělal někde chybu

[Rillae]

Asi 8 dotazů zvládl bezchybně, deváty dotaz (kolik kouzel má kouzelník na 4. úrovni) už si vyhalucinoval - napsal 2 / 2 / 1, má to být 2 / 2. Úspěšně si vycucal z prstu i odkaz na stánku, na které to našel - napsal stránka 20, je to na straně 66.

+

Co sem četla na redditu, tak chatgpt přečte nahraný pdf jenom jednou a pak už se do něj nedívá. Takže u velkejch (v tokenech) souborů summarizace a následná halucinace, no

A platí to i v případě customGPT modelu, nebo při přímém dotazování v chatu?
Protože jestli i v customGPT, tak je celý koncept toho, že by si s tímhle člověk pomohlo (a já v tom doufal), dost napytel

Blbý je, že to stojí hrozně času, s tím experimentovat a ověřovat, kdy a za jakých podmínek to začne blbnout.
Kdyby to mělo nějaké indikace, které by člověk rovnou viděl, typu "dosaženo limitu ... budu halucinovat".
Je to frustrující , když se snažím mu dávat podklady co nejlépe strukturované, instrukce jednoduché a jasné ... a on pak halucinuje a není způsob, jak odhalit, kde a jestli jsem udělal někde chybu

Se pročítám dokumentací, redditem, a diskuzema, a jestli (velký jestli, absolutně nejsem technickej typ) tomu dobře rozumim, tak:
-Limit na nahraný soubory je 2M tokenů, chatgpt si soubory rozkouskuje a zindexuje. (A nevím jak velký ty kousky jsou, nebo jestli se dá nastavit velikost v tokenech, kterou by jednotlivý kousky neměly překročit)
-při dotazu v chatu si chatgpt projede index a zavolá příslušnej kousek (a nevim, jestli si těch kousků nezavolá víc, pokud je považuje za relevantní)
-kontextový okno chatu je 128k tokenů (max. podle toho jestli máš free/plus/pro), do toho okna se počítá jak vlastní chat, tak zavolaný kousky)

[LokiB]

Nechtělo se mi, ale asi se do toho budu muset trochu víc ponořit ... není jednoduché procházet web a hledat relevantní odkazy. Ono taky co platilo před rokem, dneska už může být zase trochu jinak

Aspoň jsem našel tohle na hraní
https://community.openai.com/t/the-dndg ... /745668/29

Škoda, že nehraju DND 5e

[MarkyParky]

Chvíli jsem experimentoval + zjišťoval, dávám k dispozici, ale berte, že nemám nějakou metriku, kterou bych změřil, jestli to fakt funguje nebo ne.

Kontexové okno je mrňavé, každý znak se počítá - chce to tedy řezat a do zdrojů dávat jen texty, která vás zajímají (např. pokud chcete pomoc s vedením hry, dejte mu jen popisy místností a ne celé PDF s omáčkou okolo, pokud chcete mít pomocníka s kouzly, nedávejte mu celou příručku Hráče, ale dejte mu jen texty kouzel). Ještě lepší je dát mu nějaký úsporný textový formát místo PDF (např. markdown, chcete-li formátování). A samozřejmě o vytvoření takového exportu můžete taky podat ChatGPT (jen mu zdůrazněte, že to má exportovat skriptem, ne že to má přepsat, jinak vám vyhalucinuje už zdrojová data).

Indexace souborů pracuje se strukturou - mít teda samostatné soubory na různé problémy je lepší než mít jeden gigantický soubor. A když už musí být soubor gigantický, tak zase je lepší, aby měl jasné nadpisy, kapitoly a pod (což dost diskvalifikuje staré moduly, u kterých jsou to často jen scany prohnané OCRkem).

Instrukce pro CustomGPT/chování projektu musí obsahovat striktní zákazy si vymýšlet a pracovat jen se zdrojovými daty (nebo ještě lépe, striktní příkaz jak se má chovat, když něco neví - třeba napsat "Já nevím, tohle ve zdrojích není).

I tohle ale není všespásné, protože intrukce dané během rozhovoru (nebo "dojem z nich") připouští dělání výjimek - např. můžete mít strohé popisy ve zdrojových datech, ale když v promptu pak zadáte "Dodej mi barvitý popis", tak to přebije původní instrukce a spustí proces vymýšlení nového obsahu (který je náchylný na halucinace). Blbé je, že tohle si můžete trigerovat i omylem - třeba jen tím, že se na anglický text zeptáte česky - překlad je totiž taky z pohledu té neuronky vymýšlení nového obsahu, a tedy žádost o opověď v jiném jazyce než je zdroj a instrukce posune treshold toho, kdy ještě obměnu textu ChatGPT nepovažuje za halucinaci a tedy neřekne "Já nevím."

A pak samozřejmě, vlákno samotné taky žere kontextové okno. Takže čím déle s ním kecáte na jedno téma, tím větší je śance, že začne halucinovat. Pokud třeba při hře má pomáhat s tím, že budeu dodávat popisy místností/nestvůr nebo jejich reakce, tak třeba zakládat si na nové místnosti nová vlákna, než pořád protahovat to předchozí. Naopak tam, kde chcete konzistenci (např. chováni konkrétního NPC), tak tam to chce držet v jednom vlákně, ale hrozí pak zase, že se rozhalucinuje ta pravidlová čaśt. A takovouhle věc bych asi spíš držel v projektu než v CustomGPT.

TL;DR: Zatím jsem nepřišel na to, jak se halucinacím vyhnout, ale výskyt se dá snížit. Nicmeně ta ideální představa "Nahraju tomu ruleset + celý modul a on mi bude spolehlivě vytahovat informace podle potřeby", tak od té je ta technologie ještě dost daleko.

[Rillae]

Kdyby náhodou měl někdo potřebu nechat si od chatgpt generovat texty v jiným písmu než v latince: chatgpt je defaultně cpe do code boxu, a už řecký písmo se renderuje nekorektně (čtverečky):

Screenshot_20250817_212909_Chrome.jpg

Obskurnější písma nezvládá vůbec (pokus o pahlaví pro střední perštinu):

Screenshot_20250817_213055_Chrome.jpg

Tady sem si všimla vysvětlivek pod code boxem, a řekla si o přepsání textu z code boxu do normálního chatu. A hele, ono to jde:

Screenshot_20250817_213111_Chrome.jpg

Takže poučení, nenechat se nekorektním code boxem odradit a nechat si požadovanej text nechat vyhodit v prostym chatu

[LokiB]

Ale když si to necháš vygenerovat do obrázku, například "jako na pergamenu nebo papyru", tak to zvládne

[Rillae]

Ale když si to necháš vygenerovat do obrázku, například "jako na pergamenu nebo papyru", tak to zvládne

A nakolik je to spolehlivý? U chatGPT sem to nezkoušela, Image generátory obecně maj celkem problém vložit požadovanej text přesně (různý misspellingy si už určitě viděl)

[LokiB]

V DALLE to bylo horší, co si chatGPT generuje obrázky sám, mi to přijde lepší. Generuju si takhle do hry často různé svitky, zprávy atd, které pak můžu hráčům dát vytištěné "jakože na pergamenu" ... ale přijde mi, že to funguje ok. Ne 100 %, ale k výsledku se doberu. ZKoušel jsem i fonty typu švabach, jazyky jako stará latina atd ... a jako používám to