To jsme takhle jednou seděli u minerálky, já, Venca, Pepík a Honza, a rozverně jsme promýšleli nejčernější scénáře vývoje lidské civilizace. Byl to podnětný rozhovor, až mi z něho druhý den lehce bolela hlava. Tak jsem se rozhodl, že vyvezu Bojara na procházku a v autě mi rozhlasový hlasatel na Beatu sdělil, že nějaký nýmand sepsal proroctví, že nás zničí modelový kolaps. Což mě zaujalo. Protože však Bojar kibicoval do řízení, tak jsem se nemohl soustředit, a musel si ponechat podrobné studium na chvíle až po návratu domů.
No, a je to tady. MY to tedy s Michalem Krčmou probrali již v roce 2022, když jsme si v Plzni popovídali na semináři GENERACE o novince – ChatGPT. Ta tehdy dostala nově českou verzi. Ořezanou, samozřejmě. A navzájem jsme se ujistili, že chápeme dobře, že to není AI, ale je to poměrně velmi vyvinutý jazykový model, který vám vyplní jakýkoliv prompt (pokud není v kolizi se zákonem) a tím vás uvede do říše snů. Na základě prohlížení celého webu pro vás připraví podle vašeho zadání, co si přejete. Trochu jsme se rozmáchli, a pobavili se tím, jak bude vypadat výsledek snahy jazykových modelů v okamžiku, kdy bude většina textu na webu pocházet z jejich pera. Odhadli jsme, že blbě. No a vidíte, je to tu.
Oficiálně se tématu, které se skrývá pod pojmem „model collapse“ věnuje nemalá pozornost. Nejsa jazykozpytec, si přesto myslím, že nejvýstižnější překlad do češtiny je „zhroucení modelu“. Pro pochopení, že to, co běžně nazýváme umělou inteligencí, ačkoliv to tak vypadá, ještě není ekvivalentem lidské umělé inteligence (člověka s průměrným IQ), jsem zdůraznil použitím termínu „jazykový model“ v předchozím odstavci. „Obecná AI“, která bude svými schopnostmi skutečně souměřitelná s člověkem, je však jistě na dohled. Zatím jsou to „jazykové modely“. Napodobují lidské myšlení a uvažování, velmi zjednodušeně tak, že předjímají na základě pravděpodobnosti, co by tak asi člověk udělal v dalším kroku řešení zadání, a ten napodobí. Popravdě, s velkou dokonalostí. Ale styl modelů většinou rozpoznáte. Web však začíná být zaplevelen jejich výtvory, a tak se mohou lehce zacyklit. Kumulují chyby. Jejich iterace nevede k dokonalosti, ale k dokonalému, šedému, kýčovitě uhlazenému, bezpohlavnímu výsledku. AI se snaží cílit na průměr, snaží se nedělat chyby, neboť průměr je jedna z cest, jak se chyb dočasně vyvarovat. Ale tím se stává jejich výstup stále více a více uniformnějším. Je to něco podobného, kam nás vede naše uvědomělá EU. Tahle cesta vždy končí špatně. Příkladem budiž zranitelnost monokultur, což si jistě pamatujete již ze základní školy. V proměnlivém vnějším světě by naše plodiny, které nás živí, dlouho ve vyšlechtěné podobě nepřetrvaly.
Co z informace, které jsem vám předestřel, vyplývá pro diabetology/ii?. Tvrdím, že doporučené postupy jsou pouze rámec pro individuální volbu léčby u individuálního pacienta. Není to kánon, který se musí vždy, všude, u každého a za jakýchkoliv okolností, dodržet. Naši pacienti nejsou zatím vyšlechtěné monotypy. Co jednomu prospěje, jinému může velmi uškodit. Chvála budiž „ars medici“, které je postaveno nejen na rozsáhlých znalostech a zkušenostech lékaře, ale i na schopnosti individuálního výběru optimálních variant postupů v terapii. Nenechme se přesvědčit, že jedna léčivá látka je dobrodiním pro všechny. I metformin, který naprosté většině pacientů prospívá, může někdy ublížit. Až budou léčit „jazykové modely“, či jejich děti, bude vše podle předpisu konsenzů, doporučených postupů a expertních stanovisek (které připraví agenti AI). Z důvodu bezpečnosti se nebudou moc odchylovat od průměru. Velmi primitivně lze přiblížit problém takto: situaci, kdy nová intervence A je statisticky významně lepší na úrovni HR 0,8 než obsoletní intervence B, můžeme také s jistou mírou simplifikace interpretovat takto: „Pokud by výchozí úspěšnost (např. vyléčení nebo přežití) v kontrolní skupině činila 20 % (20 ze 100), studovaná terapie A s HR = 0,8 zvýší úspěšnost na zhruba 24 % (24 ze 100). Zlepšení by tak zaznamenali 4 další pacienti ze 100.“ Tedy lze říci, že A je lepší pouze u 4 osob ze 100. Což evokuje buřičskou otázku: „A co na ten zbytek, který prospěch neměl žádný?“
Průměrně bude léčba jistě bezpečnější, protože lze očekávat, že AI bude zatížena menším počtem chyb z nepozornosti, neznalosti či zatvrzelosti. Ale na druhou stranu, co když nám naši pomocnici v ambulanci postihne autophagy disorder a bleskově se zacyklí?
Pokud byste se chtěli dozvědět trochu více o „zhroucení modelu“, stačí zadat otázku do Google. Ten vám s pomocí svéhomodelu AI vše přehledně, dostatečně srozumitelně a současně stručně, objasní. Neváhejte. Nabídne i takovou perličku, jako „Habsburg AI“ coby synonymum pro zhroucení modelu. Je to těžké si přiznat, že, jsa obdařen schopností humoru, není rovnocenný obecné člověčí umělé inteligenci, že? Ale, nebojte se a dočkejte času, jako husa klasu, budoucnost je za dveřmi a neutečeme jí. A přiznejme si, pokud se skutečně přiblíží vlastnostem lidské mysli, bude zatížen i lidskými chybami. Možná tu válku vyhrajeme.
Hudba pro dnešek
Lynyrd Skynyrd: Simple Man (pocta těm, které máme rádi)
originál studio
Steve Miller Band: The Joker
Metallica: Orion
Black Sabbath: Sabbath Bloody Sabbath
Google: stručně, jasně, srozumitelně, rychle, dostupně, zadarmo. No, nekup to.
Model collapse (neboli „AI kanibalismus“, „Habsburg AI“ či model autophagy disorder) je systémový fenomén, při kterém se kvalita jazykových modelů postupně zhoršuje, pokud jsou trénovány na datech vytvořených jinými AI modely.2
Proč ke kolapsu dochází
Ztráta variability: Umělá inteligence generuje text jako pravděpodobnostní odhad, přičemž upřednostňuje běžná a častá slova. Tím vyhlazuje okrajové (tzv. „dlouhé“) statistické rozložení dat, které dělá lidský jazyk bohatým a komplexním.1,4
Kumulace chyb: Každá nová generace modelu přebírá a zesiluje odchylky a nepřesnosti („halucinace“) té předchozí.5,6
Rekurze: Internet se plní textem vytvořeným pomocí AI. Modely tak při sběru dat nevědomky polykají vlastní výstupy a postupně ztrácejí kontakt s reálným světem.4,5
Jak se projevuje v praxi
Snížená pestrost: Výstupy jsou generické, plné předvídatelných frází a ztrácejí originalitu.
Zapomínání: Modely začínají „zapomínat“ méně častá fakta, pojmy a souvislosti.
Bleskové zacyklení: Model se může dostat do stavu, kdy neustále opakuje stejné sekvence tokenů nebo zcela ztratí schopnost smysluplné konverzace.4,5,7,8
Možné cesty k nápravě
Vývojáři se tomuto kolapsu snaží bránit. Mezi hlavní řešení patří přísné filtrování dat za účelem oddělení lidského obsahu od syntetického, využívání vysoce kvalitních kurátorských a akademických zdrojů, nebo kombinování modelů s fyzickými (reálnými) daty.3,4,8
Pro jistotu:
Jazykový model je pravděpodobnostní model přirozeného jazyka, který dokáže generovat pravděpodobnosti řady slov (následující slova ve větě) na základě textových korpusů v jednom nebo více jazycích, na kterých byl vycvičen. Jazykový model na základě statistických a pravděpodobnostních metod předpovídá následující sekvence textu. Jazykový model funguje na základě předloženého textu/korupusu/datasetu, ve kterém se snaží porozumět kontextu textu. Velký jazykový model (LLM) je počítačový model jazyka založený na neuronové síti, trénované na velkém množství textu pomocí samoučení (takzvaný transformátor, obecně self-supervised learning) nebo částečného učení s učitelem (semi-supervised learning, paradigma slabého dohledu). Podle: Wikipedia
Odkazy
© Nakladatelství GEUM. s.r.o. Mapa stránek
