Poslední hodinu cesty z Ostravy signál na trati obvykle úplně zmizí. Notebook na klíně mi přesto dál odpovídá na otázky, opravuje rozjetou větu a navrhuje lepší nadpis k rozepsanému textu.

Žádná ikonka připojení. Žádná mobilní data, žádný cloud, kam by odešel jediný bajt.

Model, který mi odpovídá, běží přímo v mém počítači. Stáhl jsem si ho jednou a od té doby mi funguje i bez internetu, klidně v tunelu, klidně na chalupě bez wifi.

Přesně tohle umí otevřené modely, odborně se říká open-weight, jako Llama, Mistral nebo Qwen. Jejich váhy, tedy naučená čísla, ze kterých se model skládá, si každý může stáhnout a spustit na vlastním počítači. Nejde o hračku pro pár nadšenců se serverem v suterénu. Je to reálná alternativa k ChatGPT nebo Gemini, se svými přednostmi, ale i s cenou, kterou za ně platíte: vlastní hardware a vlastní práci navíc.

Co znamená „otevřený“ model a kde je háček

Otevřený model neznamená totéž co open source software, a firmy ten rozdíl rády stírají.

U klasického open source softwaru, řekněme Linuxu nebo Firefoxu, máte prakticky úplnou svobodu. Kód si upravíte nebo prodáte, licence vás v podstatě neomezuje. U jazykových modelů firmy o „otevřenosti“ mluví rády, ale často tím myslí jen to, že si stáhnete hotové váhy. Podmínky použití si přitom nastavují samy, a bývají různé model od modelu.

Meta u modelu Llama 4 používá vlastní licenci s názvem Llama 4 Community License. Zní vstřícně, dokud člověk nenarazí na jednu podmínku: pokud měla vaše firma nebo produkt v měsíci vydání Llamy víc než 700 milionů aktivních uživatelů měsíčně, potřebujete od Mety zvláštní svolení. Kdo model nebo jeho odvozeninu dál šíří, musí navíc viditelně uvést „Built with Llama“ a název odvozeného modelu začít slovem „Llama“. Podle definice Open Source Initiative na takovou licenci nálepka open source nesedí, přesněji se tomu říká open-weight, tedy otevřené váhy, ne otevřený zdrojový kód v plném slova smyslu.

Mistral a Qwen jdou u většiny svých modelů jinou cestou. Mistral 7B i naprostá většina modelů rodiny Qwen vychází pod licencí Apache 2.0, kterou jako skutečně otevřenou uznává i zmíněná Open Source Initiative, bez podobných prahových hodnot a bez povinné reklamy v názvu. V praxi rozdíl pozná hlavně ten, kdo chce model nasadit v placené komerční službě. Na běžné vyzkoušení doma zas tak nesejde, jestli licence má pár řádků navíc.

Aby model doma vůbec rozjel, obvykle se převede do formátu GGUF. Je to kontejner na naučená čísla modelu uzpůsobený pro rychlý běh na běžném procesoru nebo grafické kartě, podobně jako se fotka převede z těžkého RAW souboru do JPEGu: trochu ztratí na detailu, zabírá zlomek místa a jde rychle otevřít. Nástroje jako Ollama pracují s GGUF automaticky na pozadí, uživatel ani nemusí vědět, že tenhle formát existuje.

Kolem otevřených vah vznikla i celá komunita, která základní modely dál upravuje. Na Hugging Face, největší online knihovně AI modelů, dnes najdete tisíce odvozených verzí Llamy, Mistralu i Qwenu, některé vyladěné na češtinu, jiné jen zmenšené pro slabší hardware. U uzavřeného modelu s API tohle nejde, k původním vahám se nikdo zvenku nedostane.

Meta, Mistral a Alibaba: tři různé sázky na otevřenost

Meta vydala první Llamu v roce 2023 a spustila tím u velkých firem celý segment otevřených modelů. Aktuální generace Llama 4 vsadila na architekturu mixture-of-experts, česky směs expertů: místo jednoho obřího modelu, který počítá pořád celý, existuje víc menších „specialistů“ a na konkrétní dotaz se aktivuje jen několik z nich, podobně jako když ordinace pošle pacienta jen k těm lékařům, které jeho případ skutečně potřebuje. Verze Scout má dohromady 109 miliard parametrů, aktivně jich ale pro každý dotaz použije jen 17 miliard. Maverick je ještě větší, 400 miliard parametrů celkem, aktivních opět jen 17 miliard. Zní to úsporně, jenže soubor s váhami váží u Scoutu kolem 67 gigabajtů a u Maverickua přes 245 gigabajtů. Scout k tomu zvládne kontext přes 10 milionů tokenů, řádově tisíce stran textu najednou, což je mezi otevřenými modely zatím výjimka. Na běžný domácí počítač se to ale nevejde ani omylem. Kdo chce Llamu reálně rozběhat doma, sáhne spíš po starší a podstatně menší řadě 3, třeba po Llamě 3.2 ve verzi s 1 nebo 3 miliardami parametrů, které jsou naopak nenáročné na jakémkoli notebooku.

Mistral, francouzský startup, šel od začátku opačným směrem: menší modely, které i tak dávají smysl. Mistral 7B z roku 2023, soubor kolem 4,4 gigabajtu, tehdy překvapil tím, že v testech porážel podstatně větší Llamu 2 se 13 miliardami parametrů. Dnes k tomu firma přidala řadu Ministral ve velikostech 3, 8 a 14 miliard parametrů, mířenou přímo na slabší notebooky, a pod licencí Apache 2.0 otevřela i svůj vlajkový model Mistral Large 3. Mistral zároveň prodává uzavřené, placené modely přes vlastní API, otevřenost tedy kombinuje s klasickým byznysem, nerozdává úplně všechno zadarmo.

Qwen od čínského Alibaba Cloud je z té trojice nejrychlejší v tempu vydávání. Řada Qwen3 pokrývá prakticky celé spektrum velikostí, od 0,6 miliardy parametrů, soubor pod 600 megabajtů, poběží i na slabém notebooku, až po 235 miliard u největší verze, většina pod stejnou licencí Apache 2.0. Novější generace s označením Qwen3.8 přidala i práci s obrázky. Není náhoda, že když dnes otevřete GitHub stránku projektu Ollama, hned v úvodním popisu vedle Qwenu vidíte hlavně čínské modely GLM nebo Kimi a otevřený model gpt-oss od OpenAI. Llama v nabídce zůstává, ale rozhodně už netáhne jako jediná lokomotiva. Náskok, který měla Meta v roce 2023, se za tři roky citelně zmenšil. Otevřené váhy uvolňuje i čínský DeepSeek, u jehož oficiální appky ovšem zprávy putují na servery v Číně.

Proč by si někdo instaloval AI, která je pomalejší a slabší

Tady se hodí jedna poctivá otázka. Proč si někdo bude komplikovat život instalací a stahováním desítek gigabajtů, když ChatGPT nebo Gemini fungují v prohlížeči hned a bývají chytřejší?

Kamarádka, která vede menší účetní firmu, mi na tohle jednou odpověděla stroze: „Já tam neposílám výplatní pásky klientů.“ Přesně tohle je ten důvod. Jakmile pošlete text do cloudové služby, opustí vaši síť a přistane na serveru, který nekontrolujete, ať už jeho podmínky slibují cokoli. U mzdových údajů, zdravotní dokumentace, smluv nebo interní firemní komunikace to bývá problém, často i kvůli GDPR a firemním bezpečnostním pravidlům, která odesílání osobních údajů mimo firmu prostě zakazují. Lokální model tenhle problém obchází: data z počítače nebo z firemní sítě neodejdou nikam, protože není kam.

Druhý důvod je peněženka. Placené API se účtuje podle spotřebovaných tokenů, a u firmy, která generuje tisíce dotazů denně, třeba na zákaznickou podporu nebo zpracování dokumentů, se účet dokáže vyšplhat překvapivě vysoko. Vlastní hardware je jednorázová investice, provoz pak stojí hlavně elektřinu.

Třetí důvod je nezávislost. Cloudová služba může zdražit, nebo ji vlastník jednoho dne prostě vypne. Podmínky používání dat se přitom mohou změnit přes noc. U modelu staženého na vlastní disk se nic z toho nestane. Zůstane přesně to, co jste si stáhli, dokud si to sami nesmažete.

Čtvrtý důvod ocení hlavně pokročilejší uživatelé: doladění na vlastní data. Uzavřený model přes API se z principu chová stejně pro každého zákazníka. U otevřených vah si firma může model dotrénovat na vlastních dokumentech, terminologii nebo stylu komunikace a získat asistenta, který mluví přesně jejím jazykem. U placeného API tahle úprava buď chybí, nebo je omezená na pár nastavitelných parametrů.

Jak si takový model pustit doma

Instalace zabere méně času, než by člověk čekal, a programovat se u ní učit nemusíte.

Nejjednodušší cesta vede přes nástroj Ollama.

Postup vypadá takto:

  1. Stáhněte si Ollama z ollama.com. Instalátor existuje pro Windows, macOS i Linux a chová se jako běžná aplikace, žádné ruční nastavování předem netřeba.
  2. Otevřete terminál, na Windows stačí PowerShell, a napište ollama run mistral. Poprvé se spustí stažení souboru s váhami, u Mistralu 7B jde o zhruba 4,4 gigabajtu, takže to chvíli potrvá podle rychlosti připojení. Každé další spuštění už jede přímo z disku, offline. Pozor, jednoduchý název jako „mistral“ bez čísla verze míří na starší výchozí verzi modelu, ne automaticky na tu nejnovější. Přesné a aktuální varianty najdete na stránce modelu v knihovně Ollamy.
  3. Jakmile se stahování dokončí, otevře se rovnou chat přímo v terminálu. Napište dotaz a stiskněte Enter, stejně jako byste psali do ChatGPT.
  4. Pro vyzkoušení zadejte něco konkrétního, třeba: „Shrň mi následující e-mail do tří vět a navrhni zdvořilou odpověď“ a pod to vložte reálný text. Model odpoví během pár vteřin, rychlost závisí na výkonu počítače.
  5. Kdo se terminálu chce vyhnout úplně, sáhne po nástroji LM Studio. Funguje jako běžná aplikace s okny a tlačítky, model si vyberete a stáhnete kliknutím, chatujete v okně podobném běžnému chatbotu.

Po těchto krocích máte na disku fungujícího AI asistenta, který funguje offline, nikam nic neposílá a nestojí měsíční předplatné. Přepnout na jiný model, třeba menší Qwen nebo výkonnější Mistral Small, znamená napsat jiný název za příkaz ollama run.

Kolik výkonu na to reálně potřebujete

Tady většina lidí naráží na první limit.

Model, který si stáhnete, musí celý sedět v paměti počítače, jinak nepojede plynule. A paměť rozhodně není totéž co místo na disku, na disk se model jen uloží, do paměti se musí vejít celý, aby počítal.

Modely na běžné použití se skoro vždy stahují zkomprimované, odborně kvantizované. Princip je podobný jako u fotky převedené z těžkého RAW souboru do JPEGu: obraz mírně ztratí na detailu, zabírá ale zlomek místa a pořád je použitelný. Běžná kvantizace, označuje se třeba Q4, sníží nároky na paměť zhruba čtyřikrát až pětkrát oproti původní přesnosti, a rozdíl v kvalitě odpovědí je pro většinu použití těžko postřehnutelný.

V praxi to podle aktuální nabídky Ollamy vychází přibližně takhle. Model o 8 miliardách parametrů zabere v paměti kolem 5 gigabajtů. O 14 miliardách kolem 9 gigabajtů. O 30 miliardách kolem 19 až 20 gigabajtů. Orientační pravidlo: každá miliarda parametrů si řekne zhruba o 0,6 až 0,8 gigabajtu paměti navíc, k tomu je dobré přičíst rezervu na operační systém a na delší konverzaci.

Notebook s 16 gigabajty RAM bez samostatné grafické karty utáhne pohodlně modely do zhruba 8 miliard parametrů. Počítá se na procesoru, tedy pomaleji než v cloudu, řádově jednotky slov za vteřinu, zhruba tempem plynulého čtení nahlas, ale použitelně. Herní počítač s grafickou kartou je výrazně rychlejší, protože výpočet na grafickém čipu proběhne o řád rychleji než na procesoru, jenže model se musí vejít přímo do paměti karty, takzvané VRAM. Karta s 8 gigabajty VRAM zvládne podobně velké modely jako zmíněný notebook, karta se 16 nebo 24 gigabajty si poradí i s třicítkami miliard parametrů. Majitelé Macu s čipy řady M mají navíc výhodu sdílené paměti mezi procesorem a grafikou, takže Mac s 32 gigabajty paměti nabídne modelu podstatně víc prostoru než PC se stejně velkou VRAM na kartě.

Na obří modely jako zmíněná Llama 4 Maverick tahle matematika nevychází ani domácím nadšencům se dvěma grafickými kartami. Takové modely typicky běží na serverech, ne na stole v obýváku.

Na co si dát pozor

Zázrak zadarmo to není, i když se to tak občas prodává.

U složitého uvažování, dlouhých dokumentů nebo aktuálních informací obvykle prohrává s nejsilnějšími cloudovými modely. Sedmi až třicetimiliardový model je šikovný pomocník na běžné psaní nebo úpravu textu, ne náhrada nejnovějšího GPT nebo Gemini na složitou analýzu.

Aktualizace a zabezpečení jsou najednou vaše starost. Cloudová služba si model i infrastrukturu hlídá sama. U lokální instalace si bezpečnostní záplaty a nové verze hlídáte sami, stejně jako u jakéhokoli jiného softwaru v počítači.

Provoz něco stojí i bez předplatného. Grafická karta běžící naplno hodiny denně se citelně projeví na účtu za elektřinu, v místnosti bývá teplo a slyšet ventilátory. Zadarmo to není, cena se jen přesune jinam.

Halucinace nezmizí. I lokální model si dokáže vymyslet přesvědčivě znějící nesmysl, přesně jako jeho cloudoví sourozenci. Kvantizace ani domácí provoz na tom nic nemění.

Chybí i výbava, na kterou jsou lidé zvyklí z placených chatbotů. Vyhledávání na internetu nebo generování obrázků si u lokálního modelu musíte dodat sami, přes doplňkové nástroje. Základ je čistě textový chat s modelem, který sám o sobě nic dalšího neumí, dokud mu to sami nepřidáte.

A kdo plánuje model nasadit v placené službě, musí si přečíst licenci pořádně. U Llamy platí ona podmínka o 700 milionech uživatelů, u jiných modelů zase povinná atribuce nebo omezení na nekomerční použití. Co je zdarma ke stažení, nemusí být zdarma k prodeji.

Vařit doma, nebo si objednat

Lokální model dává smysl tam, kde vadí, že by citlivá data odešla mimo firmu, nebo kde se stejný typ dotazu opakuje tak často, že by účet za cloudové API narostl do nepříjemné částky. Pro občasné psaní e-mailu nebo rychlý dotaz stačí běžný chatbot v prohlížeči, žádnou instalaci to nevyžaduje.

Je to trochu jako vařit doma z vlastních surovin místo objednávky z restaurace. Přesně víte, co je uvnitř, a recept ani vzorek jídla nikomu neposíláte. Sami si ale musíte nakoupit i uvařit, nádobí pak zůstane na vás, a domácí kuchyň se nikdy nevyrovná vybavené restaurační kuchyni za rohem. Kdo tuhle práci unese, získá AI, která poslouchá jen jeho.