Loni na podzim jsem seděl v pražské kavárně a neslyšně sledoval pána u vedlejšího stolu. Vysvětloval kolegyni, co je LLM. „To si v reálném čase projde celý internet, zpracuje výsledky a odpověď ti napíše přirozenou češtinou,” říkal s jistotou člověka, který to někde četl.
Kolegyně přikyvovala.
Bylo to ze dvou třetin špatně.
Chápu ho. Termín velký jazykový model se v médiích rozmohl kolem roku 2023 a přesné vysvětlení, co za ním stojí, se v češtině hledá těžko. Tenhle článek to napraví. Bez rovnic, bez vědeckých diagramů a bez předpokladu, že znáte neuronové sítě.
Zkratka, která vás sleduje všude
LLM je zkratka z anglického Large Language Model. Česky velký jazykový model. Obě přídavná jména říkají něco jiného.
„Velký” se vztahuje na počet parametrů, tedy čísel, ze kterých se model skládá. Větší modely mívají víc parametrů a zpravidla jsou schopnější, ale zároveň dražší na trénink i provoz.
„Jazykový” říká, co model dělá: pracuje s jazykem. Čte text, generuje text, odpovídá na text. Původně šlo skutečně jen o jazyk. Nejnovější modely přidaly obrázky, zvuk i video, ale jazyk zůstává základem.
„Model” v tomto kontextu není fyzický výtvor ani maketa. Jde o matematický model, soubor čísel uložených v počítači, který zachycuje vztahy mezi slovy, pojmy a kontextem tak, jak je viděl v miliardách textů.
Tady se vracím k pánu z kavárny. LLM standardně nepřohledává internet v reálném čase. Pracuje s tím, co se naučilo při tréninku, a od té doby ví jen to, co vědělo tehdy. Některé verze chatbotů mají vyhledávání přidané jako extra vrstvu (Google Gemini to dělá ve výchozím nastavení, ChatGPT Plus taky), ale to je nadstavba nad model, ne jeho základní vlastnost.
Jak se model naučí mluvit
Tady přichází část, která lidi překvapí nejvíc.
LLM se neučí pravidly. Nikdo do něj nezadal seznam gramatických pravidel češtiny ani definici slovesa. Model se naučil přirozeně, statisticky, z enormního množství textu.
Představte si, že od narození čtete. Každou knihu, každé fórum, každý web, každou vědeckou práci, ve všech jazycích. Po miliardách přečtených slov si odvodíte, jak věty fungují, aniž by vám to kdokoli vysvětloval. Přesně to dělá LLM při takzvaném předtrénování (anglicky pre-training).
Model dostane text, pak se část textu zakryje a model musí hádat, která slova tam patří. Pokud se trefí, jeho parametry se potvrdí. Pokud ne, parametry se o kousek posunou tak, aby byl příště blíž správné odpovědi. Tohle se opakuje miliardkrát, na textu o rozsahu stovek miliard slov.
Výsledkem je model, který toho ví hodně. Jenže surový předtrénovaný model není moc příjemný společník. Odpovídá chaoticky, nedodržuje pokyny a na citlivé otázky reaguje nepředvídatelně.
Proto přichází druhá fáze: doladění, anglicky fine-tuning. Model se trénuje dál, ale tentokrát na menším, pečlivě vybraném souboru dat. Typicky jde o vzory správných odpovědí, které napsali lidé. Model se naučí, jak má konverzace vypadat.
A pak ještě jedna vrstva: RLHF, zkratka z anglického Reinforcement Learning from Human Feedback, česky zpětnovazební učení z lidských hodnocení. Lidé posuzují odpovědi modelu a říkají mu, která je lepší. Model se podle toho ladí. Tímhle procesem vznikají chatboti, kteří jsou příjemní, aspoň trochu bezpeční a použitelní pro běžné úkoly.
Celý trénink velkého modelu trvá měsíce a spotřebuje enormní výpočetní výkon. Sam Altman z OpenAI naznačoval v roce 2023, že trénink GPT-4 stál přes 100 milionů dolarů (firma toto číslo nikdy oficiálně nepotvrdila). Je to byznys, kde hráči bez obrovského kapitálu nemají šanci.
Jednou natrénovaný model se ale dá provozovat relativně levně. A protože ho lze kopírovat, jeden model může obsluhovat miliony uživatelů zároveň.
Co se skrývá pod kapotou
Parametry jsou čísla. Miliardám čísel uvnitř modelu se říká parametry a každé z nich zachycuje kousek naučené informace o vztazích v jazyce.
Raný GPT-2 z roku 2019 měl 1,5 miliardy parametrů. GPT-3 z roku 2020 měl 175 miliard. Dnešní modely pracují s biliony parametrů, přesná čísla firmy zveřejňovat přestaly. Není to náhoda: počet parametrů se stal marketingovým číslem, které se dá snadno zneužít, a výzkumná komunita ho přestala považovat za spolehlivé měřítko kvality.
Větší parametry zpravidla znamenají schopnější model, ale ne vždy. Tréninkové metody se dramaticky zlepšily. Model z roku 2024 se 70 miliardami parametrů může překonat model z roku 2022 se 200 miliardami, protože tréninkový postup byl chytřejší.
Druhý pojem, který se čím dál víc skloňuje, je kontextové okno (anglicky context window). Jde o to, kolik textu model v jednu chvíli čte a zpracovává. Starší modely zvládaly pár tisíc slov. Dnešní modely zvládají stovky tisíc tokenů, přičemž jeden token zhruba odpovídá třem čtvrtinám slova v angličtině. Čeština je na tvary a diakritiku bohatší, takže na stejně dlouhý text potřebuje tokenů o dost víc.
Aktuální modely Claude od Anthropic mají kontextové okno až 1 000 000 tokenů, což u anglického textu odpovídá řádově stovkám tisíc slov. Prakticky to znamená, že model přečte celý román, podrobnou firemní dokumentaci nebo přepis dlouhé schůzky a pracuje s obsahem jako s celkem, aniž by zapomínal, co četl na začátku.
Rodinné portréty velkých modelů
Kdybychom měřili, který model je „nejlepší”, patří to do rubriky srovnání AI nástrojů, ne sem. Tenhle přehled říká, kdo jsou hlavní hráči a co je na každé rodině zajímavé.
OpenAI stojí za rodinou GPT. Aktuální generací je řada GPT‑5, kterou firma nabízí v několika variantách lišících se výkonem, rychlostí a cenou. OpenAI jako první přesvědčila masové publikum, že konverzační AI funguje, a tenhle náskok ji drží na špičce pozornosti dodnes.
Google DeepMind stojí za rodinou Gemini, která je dnes ve třetí generaci. Gemini má přirozenou výhodu: jako první model s výchozím přístupem k webu nemusel čekat, až uživatel přidá vyhledávací modul jako extra.
Anthropic vyvíjí rodinu Claude. Za firmou stojí z velké části lidé, kteří předtím pracovali v OpenAI. Anthropic se hodně soustředí na bezpečnost AI a jejich modely bývají hodnoceny jako konzistentní. Rád jejich přístup k přiznávání nejistoty: Claude spíš přizná, že neví, než aby si vymyslel přesvědčivě znějící nesmysl.
Meta (Facebook) zvolila jiný přístup než ostatní a vydává své modely jako open source. Rodina Llama (aktuálně Llama 4) je dostupná ke stažení a volnému použití. To přineslo vlnu nezávislých derivátů, specializovaných verzí a experimentů, které by v uzavřeném ekosystému nikdy nevznikly.
Mistral AI je francouzský startup, který vsadil na efektivní menší modely. Rodina Mistral ukazuje, že s chytrým tréninkem lze dosáhnout velmi dobrých výsledků bez bilionů parametrů a bez amerického kapitálu.
xAI (Elon Musk) vyvíjí modely Grok, integrované do platformy X. Největší devíza: přístup k živým datům z platformy X, což se hodí na otázky o aktuálním dění.
Rodina modelů obvykle funguje takto: firma natrénuje jeden velký základní model a pak z něj vytvoří varianty různé velikosti a zaměření. Označení „Small”, „Mini” nebo „Flash” bývají rychlejší a levnější varianty. Označení „Pro”, „Opus” nebo „Ultra” jsou výkonnější a dražší. Standardizaci těchto označení napříč firmami nikdo nezavedl, takže „mini” varianta od OpenAI a „Haiku” od Anthropic jsou různé věci, přestože obě jsou malé verze svých rodin.
A pak jsou specializované modely pro kód (GitHub Copilot), pro vědu (AlphaFold od DeepMind předpovídá struktury proteinů) a pro medicínu. Obecné chatboty, o kterých mluví média, jsou jedním z mnoha druhů.
Multimodalita: za hranicí textu
Původní LLM pracovaly výhradně s textem. To se mění.
Multimodální modely (z latinského modus, tedy způsob; jde o modely pracující více způsoby) zvládají zpracovat nebo generovat různé typy dat najednou: text, obrázky, zvuk, video, kód.
Aktuální model od OpenAI analyzuje fotografii a popíše, co na ní vidí. Gemini odpoví na dotaz z mluveného záznamu. Claude přečte grafy a tabulky v PDF a vysvětlí, co z nich plyne. Generátory obrázků jako Midjourney nebo Stable Diffusion, případně generování zabudované přímo v ChatGPT a Gemini, vytvoří obrázek z textového popisu.
Kde je hranice? Dnes hlavní chatboty zpracují text i obrázky standardně, hlasový režim a práce se zvukem se staly běžnou součástí placených tarifů. Generování videa (Sora od OpenAI, Veo od Googlu) se z omezených ukázek posunulo do běžně dostupných nástrojů, byť s limity na délku klipu a počet generování. Zda se jedna firma dopracuje k modelu, který plynule přepíná mezi všemi typy médií v reálném čase, zůstává otevřenou otázkou.
Co LLM neumí a proč to vědět
LLM neumí myslet. Generuje text, který se podobá tomu, jak by myslela lidská bytost, ale uvnitř žádné myšlení neprobíhá. Probíhá výpočet, pravděpodobnostní výběr slov, která k sobě v daném kontextu patří.
Tahle vlastnost způsobuje halucinace (odborněji konfabulace): model vygeneruje přesvědčivě znějící text, který se neshoduje s realitou. Soudní precedent, který neexistuje. Citace vědecké studie, která nikdy nevznikla. Datum historické události, které je špatně.
Model si to nevymýšlí záměrně. Generuje pravděpodobné pokračování textu a někdy to pravděpodobné pokračování není pravda. V roce 2023 se dva američtí advokáti dostali do problémů před soudem, protože do právního podání vložili soudní precedenty vygenerované ChatGPT. Precedenty zněly věrohodně. Jenže neexistovaly.
LLM nemá vlastní zkušenost. Ví o lásce z románů. Ví o bolesti z medicínských textů. Ale nikdy nic nezažilo. Proto může poskytnout přehled, ale ne odbornou radu s pochopením konkrétní situace a konkrétního kontextu.
LLM má datum konce tréninku. Co se stalo po tomto datu, model neví. U aktuálních modelů se tahle hranice pohybuje řádově v měsících až roce před dneškem, u starších a menších variant bývá i podstatně dál v minulosti. Konkrétní datum výrobci uvádějí v dokumentaci ke každému modelu. Otázky o aktuálním dění po tomto datu model buď odmítne zodpovědět, nebo si odpověď domyslí. Druhá varianta bývá horší.
LLM neumí spolehlivě počítat. Jazykové modely nejsou kalkulačky. Pro jednoduché součty bývají spolehlivé. Při složitější matematice se chybuje. Důvod: matematiku se naučily jako text, ne jako výpočet. Novější modely dostávají přídavek v podobě kódového interpretu, který skutečně počítá a výsledek předá modelu, ale to je jiný mechanismus než samotný jazykový model.
Znát tyhle limity není pesimismus. Je to přesnost. Ten, kdo limity zná, z modelu vytáhne víc než ten, kdo od něj čeká zázraky.
Otevřené a uzavřené modely
Ne všechny AI modely jsou uzavřené za podnikovou bránou.
Meta vydala rodinu Llama pod licencí, která umožňuje volné použití (s určitými omezeními pro komerční nasazení). Mistral vydává část svých modelů jako open source. Kolem těchto modelů vznikly komunity, které je dál vylepšují, specializují a zdarma sdílejí.
Pro běžného uživatele chatbotu to možná neznamená hodně. Pro vývojáře, firmy a výzkumníky enormně. Open source model lze nainstalovat přímo do vlastní infrastruktury, bez závislosti na externím API, bez odesílání citlivých dat do cloudu.
Nástroj jako Ollama umožní spustit menší jazykový model přímo na běžném notebooku, bez internetu a bez předplatného. Výkon nebude srovnatelný s nejsilnějšími komerčními modely, ale pro specifické úkoly to může stačit. Poradenská firma, která zpracovává citlivé dokumenty, může mít dobrý důvod preferovat model, jehož data neopouštějí vlastní servery.
Tenhle segment se rychle vyvíjí. Ještě v roce 2022 byl výkon otevřených modelů hluboko pod uzavřenými konkurenty. Dnes je rozdíl u běžných úkolů mnohem menší.
Jak se v modelech vyznat
Terminologie kolem AI modelů se mění rychle. Firmy vydávají nové verze každé měsíce a pojmenovávají je bez zjevné logiky. Základní termíny má na jednom místě glosář AI pojmů.
Pár orientačních bodů.
Název modelu versus název nástroje. ChatGPT je nástroj, modely řady GPT jsou to, co za ním stojí. Gemini je název jak modelu, tak chatbotu od Googlu. Claude je zároveň rodina modelů i název chatbotu od Anthropic. Tato nekonzistentnost je matoucí a z části záměrná, protože firmy využívají silnější značku, ať je to model nebo nástroj.
Čísla v názvech. Vyšší číslo zpravidla znamená novější a schopnější model. Označení „Pro” nebo „Ultra” bývá výkonnější varianta. Označení „Mini” nebo „Flash” bývá rychlejší a levnější varianta. Ani tyhle konvence nejsou standardizované a každá firma si dělá, co chce.
Jak se výkon mění. Od konce roku 2022 se výkon modelů dramaticky zvýšil. Úkoly, které dřívější modely nezvládaly, ty dnešní zvládají bez potíží. Tempo se postupně zpomaluje, ale stále je příliš rychlé na to, aby jakýkoli přehled zůstával aktuální déle než rok.
Co z toho plyne prakticky: nesoustřeďujte se na konkrétní čísla verzí. Soustřeďujte se na to, co konkrétní model zvládne pro váš konkrétní úkol.
Mapa, ne krajina
Rád přemýšlím o LLM přes jednu analogii: mapa není krajina. Mapa je zjednodušené zobrazení krajiny, které pomáhá se v ní orientovat. LLM je zjednodušené zobrazení lidského jazyka a lidského vědění. Zaměnit ho za samotnou krajinu je chyba.
To ale neznamená, že mapa není užitečná. Je. Mimořádně. Pokud víte, co vidíte.
Rozumět tomu, co LLM je a jak vznikl, přinese praktickou výhodu: budete vědět, co od modelu čekat a co ne. Nebudete překvapeni halucinacemi. Nebudete čekat aktuální zprávy od modelu, jehož trénink skončil rok zpátky. A nebudete podceňovat, co model skutečně zvládne, přepisovat, vysvětlovat, analyzovat, navrhovat, překládat a pomáhat s textem způsobem, který ještě před třemi lety neexistoval.
Pán z kavárny se mýlil ve dvou ze tří věcí. Ale ta třetí byla správně: AI opravdu mluví přirozenou češtinou. A to samo o sobě není málo.
