Otevřel jsem si minulý týden žebříček LMArena, abych zkontroloval, který model si zrovna vede nejlíp v obyčejném psaní. O čtrnáct dní později jsem stejnou stránku otevřel znovu. Pořadí na první příčce bylo jiné, aniž by kdokoli ohlásil nový model. Nic se nerozbilo. Jen se posunuly desetiny bodu, a s nimi celý žebříček.

Tenhle text nehodnotí, který model je právě teď nejlepší. To se stejně za pár týdnů změní. Vysvětluje něco trvalejšího: jak takové žebříčky vznikají, co doopravdy měří a proč se jim vyplatí věřit jen do určité míry.

Hlasování naslepo jako u degustace vína

LMArena, dřív známá jako Chatbot Arena, funguje jednoduše. Napíšete dotaz, dostanete dvě odpovědi vedle sebe, obě anonymní. Nevíte, který model odpověď napsal, dokud sami nehlasujete, která z nich je lepší. Teprve po hlasu se jména modelů odkryjí.

Je to podobné jako degustace vína poslepu. Sommelier neví, jestli pije stovku za pár korun, nebo láhev za pět tisíc, a hodnotí jen to, co má v puse. LMArena chce od hlasujících totéž: posoudit odpověď, ne značku pod ní.

Z tisíců takových hlasů systém spočítá hodnocení podobné šachovému Elo. Když model porazí soupeře, kterého lidé jinak hodnotí dobře, získá víc bodů, než kdyby porazil model, kterému beztak nikdo moc nevěří. Projekt vznikl na Kalifornské univerzitě v Berkeley jako výzkumný nástroj skupiny LMSYS a dnes na něm hlasují miliony lidí měsíčně napříč desítkami modelů od GPT přes Gemini, Claude a Grok až po Llamu a DeepSeek.

Modely bez jména, které testujete, aniž to víte

Jedna vlastnost LMArena překvapí skoro každého, kdo se tam podívá poprvé. Firmy si tam občas nechávají otestovat model ještě předtím, než mu dají oficiální jméno a datum vydání. Model se objeví pod kódovým označením, něco jako náhodná kombinace písmen, a nikdo z hlasujících v tu chvíli neví, jestli hlasuje pro připravovanou novinku od OpenAI, nebo pro experiment menšího studia.

Vyzkoušel jsem si to sám. Narazil jsem na dvojici odpovědí, kde jedna byla nápadně stručnější a druhá se rozepisovala do detailů, na které jsem se ani neptal. Hlasoval jsem pro tu stručnější, protože přesněji odpověděla na to, co jsem se ptal. Až po hlasu se ukázalo, že šlo o novou verzi modelu, který ještě neměl ani jméno. Tahle anonymita je vlastně jádro celého systému. Kdyby lidé věděli, čí je co dílo, hlasovali by podle reputace firmy, ne podle textu před sebou.

Tahle praxe je zároveň jeden z důvodů, proč se čas od času objeví zpráva typu „tajemný model beze jména válcuje žebříček”. Model se nejdřív potichu vyzkouší pod kódovým označením, a teprve když si vede dobře, firma ho slavnostně představí pod skutečným jménem. Odhalení pak působí silněji, protože žebříček už dopředu naznačil, že jde o něco výjimečného, ještě než padlo jméno firmy.

Artificial Analysis: čísla místo chuťovek

Vedle hlasování naslepo existuje i druhý přístup, který na lidský vkus nespoléhá vůbec. Server Artificial Analysis pouští modely přes desítky standardizovaných testů a výsledky slévá do jednoho souhrnného čísla, kterému říká index kvality.

Rozdíl proti LMArena je v tom, co se vlastně měří. Artificial Analysis k indexu přidává i cenu za dotaz a rychlost odpovědi, takže na jednom grafu uvidíte, jestli model, který stojí zlomek ceny konkurence, zaostává jen o pár bodů, nebo o propastný rozdíl. Pro někoho, kdo řeší rozpočet malé firmy, bývá tenhle pohled užitečnější než čisté pořadí podle lidského vkusu.

Obě metody mají svůj smysl, jenže měří jinou věc. LMArena se ptá, jaká odpověď se lidem líbí. Artificial Analysis se ptá, jaká odpověď věcně sedí podle předem daného klíče správnosti. Model, který umí odpovědi hezky formulovat, může vyhrávat v prvním žebříčku a zaostávat v tom druhém.

Kdo žebříček provozuje a z čeho žije

LMArena vznikla jako akademický projekt na Berkeley a formálně to pořád je výzkumný tým, i když dnes dostává výpočetní kapacitu a někdy i peníze od firem, jejichž modely sama hodnotí. Podobný střet zájmů zná každý žebříček, který se živí z oboru, jenž zároveň posuzuje. Neznamená to, že jsou čísla zfalšovaná. Znamená to, že je dobré vědět, odkud projekt bere prostředky na provoz.

Artificial Analysis funguje jinak, jako komerční analytická firma. Základní žebříček je zdarma přístupný komukoli, podrobnější reporty a individuální srovnání si ale kupují firmy, které se rozhodují o nákupu AI ve velkém. Bezplatná část je tak vlastně ukázka toho, co firma umí nabídnout za peníze, podobně jako zkušební verze softwaru.

Ani jeden model financování žebříček neznehodnocuje. Stojí ale za to mít ho na paměti stejně jako u jakéhokoli jiného srovnání, novinových recenzí nevyjímaje. Kdo platí účet, málokdy je ten, kdo o výsledku úplně nic neví.

Co se skrývá pod zkratkami jako MMLU

Standardizované testy mají svoje zkratky, které v tiskových zprávách firem působí důvěryhodně, aniž by kdokoli vysvětlil, co vlastně zkoušejí.

MMLU, anglicky Massive Multitask Language Understanding, je sada tisíců otázek z desítek oborů, práva, biologie, historie i informatiky, podobná rozsáhlé přijímací zkoušce na vysokou školu. GPQA jde na to jinak: obsahuje otázky z fyziky, chemie a biologie na doktorandské úrovni, sestavené tak, aby je nešlo snadno dohledat prostým vygooglením. SWE-bench zase nezkouší teorii, ale skutečné opravy chyb z reálných softwarových projektů, přesně ty, které běžně řeší programátoři v práci.

Vedle nich existuje třeba AIME, sada úloh z americké matematické olympiády, na které se zkouší, jestli model zvládne dlouhý výpočet na víc kroků, aniž by se spletl někde uprostřed. Samostatnou kapitolou jsou pak mnohojazyčné sady, které ověřují, jestli model umí odpovídat stejně spolehlivě i mimo angličtinu, čeština obvykle nevyjímaje.

Každý benchmark je jedna zkouška ve škole, ne celé vysvědčení. Žák, který exceluje z matematiky, nemusí být stejně dobrý z dějepisu. Model, který vede v SWE-bench, nemusí být stejně silný v citlivém formulování e-mailu, protože to žádný z těchto testů vůbec nezkouší.

Jak žebříček filtrovat, aby říkal něco k věci

Celkové pořadí na hlavní stránce LMArena je jen průměr přes všechny druhy dotazů dohromady, od básniček po ladění kódu. Pro váš konkrétní úkol to může být zavádějící číslo.

Obě stránky proto nabízejí filtrování podle kategorie. Na LMArena jde přepnout na žebříček zaměřený jen na programování, jen na matematiku, jen na delší kontext nebo jen na konkrétní jazyk včetně češtiny. Artificial Analysis má podobně rozdělené kategorie podle typu úlohy a k tomu grafy podle ceny za milion tokenů, tedy jednotek textu, na které model rozděluje váš dotaz.

Kdo píše hlavně kód, ať se dívá na žebříček pro programování, ne na ten obecný. Kdo potřebuje hlavně český text, ať zkusí filtr na český jazyk, pokud ho stránka nabízí, protože model, který vede v celkovém pořadí, nemusí být stejně silný zrovna v češtině. Rozdíl mezi celkovým a kategorijním pořadím bývá překvapivě velký, a právě tenhle detail lidé při rychlém pohledu na žebříček nejčastěji přehlédnou.

Proč se pořadí mění každý týden

Prvním důvodem je to nejzřejmější. Vyjde nový model. Když OpenAI vypustí novou verzi GPT, Google odpoví aktualizací Gemini a Anthropic přidá novou verzi Claude, pořadí pod nimi se posune, i kdyby se na starších modelech nic nezměnilo.

Druhý důvod je míň vidět. Hodnocení na LMArena se přepočítává po každém hlasu, takže i bez nového modelu se čísla mírně vlní podle toho, kdo zrovna hlasoval a na co se ptal. Malé výkyvy jsou statistický šum, ne skutečná změna kvality modelu.

Třetí důvod souvisí s tím, jak firmy k žebříčku přistupují. Než firma model zveřejní, otestuje si dopředu víc neoznačených variant a do žebříčku nakonec pošle tu, která si vedla nejlíp. Veřejnost tak často vidí jen vítěznou verzi z několika zkoušených, ne průměr toho, co firma reálně vyvíjela.

Čtvrtý důvod je složení hlasujících. Na LMArena hlasují lidé, kteří se sami rozhodli stránku navštívit, obvykle nadšenci do technologií, vývojáři a lidé, kteří AI sledují profesně. Účetní, který se ptá na formulaci e-mailu zákazníkovi, mezi hlasujícími skoro není, a jeho preference se do výsledného čísla nepromítá.

Když se žák nabiflá otázky nazpaměť

Existuje ještě jeden problém, na který lidé z oboru upozorňují čím dál hlasitěji. Říká se mu kontaminace dat. Modely se trénují na obřím množství textu z internetu, a část benchmarkových otázek se dřív nebo později na internetu objeví i s odpověďmi, třeba na diskuzním fóru nebo ve studentských poznámkách.

Pokud se taková otázka dostane do tréninkových dat, model ji nezvládá lépe proto, že by uvažoval přesněji. Zvládá ji proto, že ji už jednou viděl. Je to podobné, jako kdyby se žák před písemkou náhodou dostal k otázkám z loňského ročníku. Známku dostane výbornou, ale to, co skutečně umí, tím nezjistíte.

Firmy tvrdí, že testovací sady před vydáním modelu od podobných úniků čistí. Nezávislí výzkumníci to ale nemůžou snadno ověřit zvenčí, protože přesná tréninková data většina laboratoří nezveřejňuje. Zdravá dávka nedůvěry se tu hodí bez ohledu na to, o jaký model zrovna jde.

Jedna z neformálních zkoušek na podezření z úniku vypadá takhle: člověk požádá model, aby doslovně zopakoval začátek konkrétní benchmarkové otázky, ještě než mu ji ukáže celou. Pokud model odpoví přesně, klidně i s neobvyklou formulací nebo překlepem z originálu, je to silný náznak, že si text pamatuje, ne že by odpovědi rozuměl. Nad každou pochybnost to nic nedokazuje, ale jako rychlé varovné znamení to stačí, zatímco na oficiální vyšetřování se čeká měsíce.

Na co si dát pozor

Žebříček beroucí v potaz jen jedno číslo dokáže zavádět. Model na první příčce v LMArena může být jen ten, který píše delší a sebejistěji formulované odpovědi, ne nutně ten, který se míň plete. Delší a plynulejší text se v hlasování často líbí víc, i když věcně nepřináší nic navíc.

Srovnávejte proto radši víc zdrojů najednou, ne jeden žebříček jako konečný rozsudek. Když se pořadí na LMArena a na Artificial Analysis výrazně liší, je to signál, že modely vynikají v různých věcech. Neznamená to, že jeden z žebříčků je špatně spočítaný.

Nejspolehlivější test nakonec neběží na žádném serveru. Je to vaše vlastní zadání, ten samý dotaz nebo úkol, který normálně řešíte, vyzkoušený na dvou třech modelech vedle sebe. Žebříček řekne, kdo vyhrává v průměru napříč miliony cizích dotazů. Váš vlastní test řekne, kdo vyhrává u toho, co skutečně potřebujete vy.

Žebříček se přepíše dřív, než si stihnete zapamatovat pořadí

Kdo dnes vede v LMArena i v Artificial Analysis, bude za pár měsíců zajímat hlavně historiky oboru. Firmy vydávají nové verze v intervalech týdnů, ne let, a žebříček se přizpůsobuje stejným tempem.

Než uvěříte konkrétnímu číslu, podívejte se, kdy naposledy stránka aktualizovala data. Žebříček starý tři měsíce může v tomhle tempu klidně popisovat úplně jinou realitu, než jaká platí dnes, přestože jméno modelu na první příčce zůstává stejné.

Co zůstává, je způsob čtení. Ptejte se, kdo hlasoval a na co. Ptejte se, jaký konkrétní test stojí za oním jedním číslem v tiskové zprávě. A než se rozhodnete podle cizího žebříčku, zkuste to, co potřebujete, rovnou sami na dvou modelech vedle sebe. To je test, který žádná firma nezfalšuje.

Kdo chce vědět, jaké modely dnes vůbec existují, jaké firmy za nimi stojí a jak se jejich rodiny jmenují, najde přehled v textu o velkých AI modelech 2026. Kdo řeší praktičtější otázku, jaký konkrétní nástroj zvolit na svůj úkol a rozpočet, najde postup v průvodci, jak vybrat AI nástroj.