Fine-tuning AI modelu: co to je a kdy se firmě vyplatí

Tým podpory jedné pojišťovny loni zkoušel nasadit chatbota na běžném velkém jazykovém modelu. Odpovědi byly gramaticky v pořádku, ale nekonzistentní. Jednou model psal úředně, podruhé skoro kamarádsky, a zkratky jako „PU” nebo „bonus-malus”, které firma používá denně, mu nic neříkaly. Pomohlo až to, že mu ukázali tři tisíce starých, dobře napsaných odpovědí od vlastních operátorů a nechali ho na nich dotrénovat. Tomu se říká fine-tuning, česky doladění modelu.

Tenhle text vysvětlí, co se doladěním v modelu skutečně změní, čím se liší od chytřejšího promptu nebo od RAG, tedy vyhledávání v dokumentech, a kdy se do něj vyplatí investovat čas a peníze. Týká se hlavně firem a pokročilých uživatelů, kteří narazili na limity běžného chatbota.

Co se uvnitř modelu doopravdy pohne

Velký jazykový model vzniká v několika fázích. Nejdřív se natrénuje na obrovském množství textu z internetu, knih a dalších zdrojů, čemuž se říká předtrénování. Pak přijde doladění na menší, pečlivě vybrané sadě dat, aby se model naučil, jak má odpověď vypadat a jak se chovat k uživateli. Tahle druhá fáze proběhne u každého komerčního modelu ještě předtím, než se dostane k veřejnosti.

Fine-tuning, o kterém firmy mluví jako o vlastní investici, je v podstatě další kolo té samé procedury. Vezmete hotový, už natrénovaný model, třeba GPT nebo Llama, a necháte ho ještě jednou doladit na vlastních datech, stovkách nebo tisících ukázek, jak má vypadat ideální odpověď na typický dotaz z vašeho oboru. Model se přeučí, ale ne od nuly. Jeho parametry, ta čísla, ze kterých se skládá, se jen jemně posunou směrem k tomu, co jste mu ukázali.

Je to podobné, jako když zkušený řemeslník změní obor. Základní dovednosti, jak držet nástroj, jak číst výkres, mu zůstanou. Po pár měsících v novém provozu ale začne pracovat podle jeho zvyklostí, aniž by mu je kdokoli musel připomínat při každé zakázce.

Rozdíl v měřítku je obrovský. Předtrénování velkého modelu spotřebuje stovky miliard až biliony slov textu a týdny výpočetního času na tisících grafických karet. Firemní doladění se naproti tomu obejde s řádově stovkami až nízkými tisíci vzorových odpovědí a proběhne za hodiny, nanejvýš dny. Právě tenhle rozdíl v objemu dělá z doladění něco, co si může dovolit i firma, která by si vlastní model od základu nikdy nepostavila.

Fine-tuning není prompting a není to ani RAG

Tři různé způsoby, jak modelu vtisknout přesně to chování, které firma potřebuje, se v praxi často pletou dohromady.

Prompting znamená napsat instrukci přímo do zprávy nebo do systémového promptu, který se posílá před každou konverzací. Uvnitř modelu se tím nic trvale nemění. Funguje to okamžitě a nestojí to nic navíc. Nevýhoda je, že instrukci musíte opakovat pořád dokola, a čím je delší a spletitější, tím větší je šance, že se jí model v dlouhé konverzaci přestane přesně držet.

RAG dorovnává jinou mezeru. Model neví něco konkrétního a čerstvého, třeba dnešní ceník nebo přesné znění interní směrnice, tak mu systém text nejdřív vyhledá a vloží do zadání, než odpoví. Jak přesně to vyhledávání funguje, popisuje text o technice RAG.

Fine-tuning řeší třetí věc: styl a chování, ne aktuální fakta. Doladěný model mluví firemním tónem i bez připomínání, rozumí interním zkratkám a řadí odpovědi do očekávaného formátu sám od sebe. Co ale doladění neumí spolehlivě, je naučit model nová, přesná a často se měnící fakta. Modely si při tréninku spíš osvojí vzorec a styl odpovědi než každé jednotlivé číslo ze vzorových dat, a přesná fakta se pořád vyplatí dodávat přes RAG nebo přímo v zadání.

Dvě podoby doladění, které se v praxi míchají

Ani samotný fine-tuning není jedna jediná technika. V praxi firmy sahají hlavně ke dvěma přístupům, a rozdíl mezi nimi rozhoduje o tom, co se model reálně naučí.

První, běžnější varianta se odborně nazývá řízené doladění, anglicky supervised fine-tuning. Model dostane tisíce dvojic: konkrétní dotaz a k němu ideální odpověď, kterou napsal člověk nebo schválil zkušený pracovník. Model se snaží tyhle vzory co nejvěrněji napodobit. Je to podobné jako učit se psát podle vzorových dopisů, kde vidíte přesně, jak má hotový text vypadat.

Druhá varianta pracuje s protikladem místo vzoru. Model dostane dvě odpovědi na stejný dotaz a informaci, která z nich je lepší. Neučí se tak kopírovat jednu správnou variantu, ale rozlišovat kvalitu. Tahle metoda, které se říká preferenční doladění, stojí i za tím, jak firmy jako OpenAI nebo Anthropic svým veřejným modelům vůbec vštěpují zdvořilost a ochotu odmítnout nebezpečné zadání. Firmy ji přebírají i do vlastního doladění, když nemají dost jasných vzorových odpovědí, ale dovedou aspoň posoudit, která reakce je lepší.

Kdy se doladění vyplatí

Doladění dává smysl tam, kde firma řeší pořád stejný typ úlohy ve velkém objemu, třeba tisíce příchozích e-mailů, které je potřeba roztřídit do kategorií, nebo popisky produktů, které mají znít pořád stejným firemním hlasem.

Druhý dobrý důvod je cena za dotaz. Dlouhý systémový prompt s desítkami pravidel se posílá znovu při každém dotazu a platí se za každý token v něm. Doladěný model si stejná pravidla nese v sobě, takže zpráva může být kratší, a tedy levnější, i když jich jsou miliony.

Nejlíp se rozdíl vidí na dvou protikladných příkladech. Marketingová agentura, která jednou za čas napíše kampaň pro nového klienta, nemá důvod cokoliv dolaďovat, každé zadání je jinak, a dobře napsaný prompt stačí. E-shop, který každý týden generuje stovky popisků nových produktů ve stejném formátu a stejném tónu značky, naopak investici do doladění rychle vrátí, protože ušetří na délce promptu i na ručních opravách stylu.

Nevyplatí se sahat po doladění u úloh, které firma řeší jen občas, ani tam, kde jde hlavně o aktuálnost informací, ne o styl. Tam patří RAG. Stejně tak se nevyplatí doladění zkoušet dřív, než člověk pořádně vyzkouší, co dokáže jen lepší formulace promptu. Bývá to o dost levnější pokus a často stačí.

Co to stojí a kde bolí

Nejdražší část fine-tuningu bývá překvapivě příprava dat, ne samotný výpočet. Někdo musí projít stovky nebo tisíce příkladů, ověřit, že odpověď v nich je opravdu ta, kterou firma chce, a sjednotit formát. Firmy, které se do toho pouštějí, si obvykle připraví aspoň několik stovek kvalitních párů otázka-odpověď, ideálně víc. Pár desítek příkladů model spolehlivě nepřeučí.

OpenAI, Google i Mistral nabízejí ve svém API rozhraní přímo funkci pro doladění, kde se platí za natrénované tokeny. Cena se u menšího modelu a rozumného objemu dat běžně pohybuje v řádu stovek dolarů, u většího modelu a rozsáhlejší sady klidně v tisících. Kdo používá otevřené modely s volně dostupnými parametry, třeba Llama nebo Mistral, dolaďuje si je sám na vlastním nebo pronajatém hardwaru a platí hlavně za čas grafické karty, ne za samotnou licenci.

Levnější cestou je technika LoRA, zkratka pro Low-Rank Adaptation, kterou v roce 2021 popsal tým výzkumníků z Microsoftu. Místo přeučení celého modelu se natrénuje jen malá přidaná vrstva parametrů, což zvládne i jeden výkonný počítač místo celé serverovny. Tahle metoda je hlavní důvod, proč si dnes i menší firmy nebo jednotlivci mohou dovolit doladit otevřený model bez vlastního datového centra.

Riziko číslo jedna se jmenuje přeučení, odborně overfitting. Model se natolik přizpůsobí úzké sadě příkladů, že mu klesne výkon na cokoliv mimo ni, a někdy zapomene i běžné dovednosti, které předtím zvládal bez potíží. Riziko číslo dvě je údržba. Jakmile poskytovatel vydá novou verzi základního modelu, staré doladění na ni obvykle nenavazuje samo a celý proces se opakuje znovu.

Na co si dát pozor

Do tréninkových dat nepatří citlivé osobní údaje bez rozmyslu, hlavně pokud doladění běží přes cizí cloudovou službu. Podmínky, kam data putují a jak dlouho se uchovávají, se liší poskytovatel od poskytovatele a stojí za přečtení předem.

Po doladění je dobré model otestovat na příkladech, které při tréninku neviděl, ne jen na těch, na kterých se učil. Jinak snadno vznikne dojem, že funguje skvěle, zatímco ve skutečnosti jen opakuje naučené vzorce.

A poslední věc: doladěný model si nese i chyby a zkreslení z dat, na kterých se učil. Pokud firemní archiv odpovědí obsahoval starou, dnes už neplatnou informaci, model se ji může naučit jako normu, a nikdo mu do toho nebude mluvit.

Rozumný zvyk je nechat si po ruce i původní, nedoladěnou verzi modelu. Když se po nasazení objeví problém, tým se má kam vrátit, místo aby řešil chybu přímo za provozu na produkčním systému.

Krejčí, ne kouzelník

Fine-tuning nejvíc připomíná práci krejčího. Vezme hotový, univerzální oblek a předělá ho tak, aby padl přesně jednomu tělu. Oblek pak sedí líp než cokoliv z regálu, ale pořád jde jen o úpravu, ne o novou látku. Nová fakta ani dovednosti, které model nikdy neměl, mu doladěním nepřišijete.

Pojišťovna, se kterou tenhle text začal, si po pár měsících provozu pochvalovala hlavně jednu věc: operátoři přestali odpovědi modelu přepisovat. Dřív každou zprávu ručně dolaďovali do firemního tónu, teď jim stačí zkontrolovat věcnou správnost. Investice se jim vrátila ne na kráse textu, ale na čase, který ušetřili lidé, co by jinak text stejně přepisovali od základu.

Kdo hledá způsob, jak modelu jen předat čerstvá data k odpovědi, najde ho v článku o technice RAG. Kdo teprve řeší, který model si vůbec vybrat, než začne o doladění uvažovat, najde přehled v mapě velkých AI modelů 2026.