Jak číst názvy AI modelů: co znamenají 70B, MoE, Instruct a Q4_K_M
Otevřete Hugging Face a uvidíte něco jako Qwen3-30B-A3B-Instruct-2507-Q4_K_M.gguf. Vypadá to jako heslo k trezoru. Není. Každý kousek má význam — a když ho znáte, snáz vyberete model, který se vejde do RAM nebo paměti grafické karty a hodí se pro vaši úlohu. Nejdřív vysvětlíme základní pojmy a modely s veřejně dostupnými vahami. Potom ukážeme, proč se názvy komerčních API jako GPT, Claude a Gemini čtou jinak.
Čtyři věci, které je dobré vědět
- 1Číslo s B je přibližný počet parametrů v miliardách. Říká víc o paměti než o „inteligenci“.
- 2MoE má dva počty: kolik se musí uložit a kolik se na jeden token (krátký úsek textu) aktivuje.
- 3Instruct je dotrénovaný na pokyny. Q4_K_M je obvyklý kompromis mezi kvalitou a velikostí.
- 4Uzavřené modely parametry většinou nezveřejňují. Jejich jména jsou produktové úrovně, ne technický list.
Minislovník: deset pojmů, které budeme používat
Stačí pracovní význam. Přesnější technické detaily doplníme až ve chvíli, kdy budou potřeba.
- Model
- Neuronová síť a její naučená čísla. Po zadání vstupu vypočítá další tokeny a skládá z nich odpověď.
- Parametr, zjednodušeně váha
- Jedno naučené číslo v modelu. Většinu parametrů tvoří váhy ve velkých maticích, model ale obsahuje i další naučené hodnoty.
- Token
- Malý úsek textu — celé slovo, část slova nebo znak. Model nečte text po slovech, ale po tokenech.
- Inference
- Samotné používání už natrénovaného modelu: pošlete vstup a model počítá odpověď. Nejde o další trénink.
- RAM a VRAM
- RAM je operační paměť počítače. VRAM je rychlá paměť grafické karty. Model běží nejrychleji, když se potřebná data vejdou do VRAM.
- Tensor
- Vícerozměrné pole čísel. Pro programátora je to obdoba pole nebo matice s více rozměry.
- Checkpoint neboli vydání
- Uložený stav modelu v konkrétním okamžiku. Jedna rodina proto může mít více verzí, dotrénování a převodů.
- Běhový program
- Software, který model načte a spustí — například llama.cpp, Ollama, LM Studio nebo vLLM.
- Kvantizace
- Převod vah do úspornějšího číselného zápisu. Zmenší soubor, ale může ovlivnit kvalitu odpovědí.
- KV cache
- Pracovní paměť pro již zpracované tokeny. Roste s délkou kontextu a počtem souběžných požadavků.
Jeden název, sedm vodítek
Název lokálního modelu není náhodný řetězec. Komunita kolem formátu GGUF si zvykla skládat jméno z rodiny, velikosti, dotrénování, verze a kódování vah. Žádný kousek ale není specifikace. Je to zkratka. Přesná čísla hledejte v kartě modelu (anglicky model card), tedy na stránce s parametry, licencí a doporučeným použitím — ne jen v názvu souboru.
Qwen3-30B-A3B-Instruct-2507-Q4_K_M.gguf
Qwen3 Rodina Qwen, třetí generace. Říká, kdo model vydal a do které modelové řady patří. Přesné vlastnosti ověřte na stránce konkrétního vydání. 30B Přibližně 30 miliard parametrů celkem. Oficiální karta uvádí 30,5 miliardy. A3B MoE zkratka: na jeden token se aktivuje zhruba 3 miliardy parametrů. Model obsahuje 128 „expertů“ — vnitřních podsítí — a pro každý token vybere osm z nich. Instruct Model je dotrénovaný odpovídat na pokyny. Není to surový base model a v této variantě ani thinking mód. 2507 Aktualizace z července 2025. Stejná rodina a velikost, novější doladění. Q4_K_M Váhy jsou uložené převážně ve 4 bitech. K_M označuje konkrétní smíšený způsob kvantizace. Výsledkem je menší soubor. Dopad na kvalitu bývá často malý, ale závisí na modelu a konkrétní úloze. .gguf Formát souboru používaný nástroji jako llama.cpp, Ollama a LM Studio. Je to „krabice“ pro data modelu; sám neurčuje jejich přesnost. Stejnou logiku potkáte u hustého modelu bez MoE: Llama-3.3-70B-Instruct-Q5_K_M.gguf je Llama 3.3, zhruba 70 miliard parametrů, varianta pro pokyny a o něco přesnější — ale větší — kvantizace Q5 místo Q4. Protože nejde o MoE, při každém tokenu pracuje celý model. Starší zápis Mixtralu 8x7B je přezdívka, ne součin — k tomu se vrátíme u MoE.
Q4_K_M může u různých distributorů skrývat mírně jinou směs tensorů. Než model nasadíte, přečtěte jeho kartu: ověřte původ, licenci, požadovaný program a skutečnou velikost souboru. U velkých modelů nezapomeňte stáhnout všechny části. Rodina a verze
První slovo označuje rodinu modelu:
- Llama — Meta
- Qwen — Alibaba
- Gemma — Google
- Mistral a Mixtral — Mistral AI
- Kimi — Moonshot AI
- DeepSeek — DeepSeek AI
- GLM — Z.ai (dříve Zhipu AI)
- Phi — Microsoft
- gpt-oss — OpenAI
- Nemotron — NVIDIA
Rodina je výchozí bod, ne úplný popis. Dvě vydání stejné rodiny se mohou lišit licencí, délkou kontextu, způsobem konverzace i podporou nástrojů.
Číslo za jménem je generace, ne počet parametrů. Llama 3.3 není „o tři desetiny chytřejší“ než 3.1 — je to novější vydání stejné řady, často se stejným počtem vah a jiným doladěním. Qwen3 je jiná generace než Qwen2.5. Když někdo řekne „dej tam Llamu“, pořád nevíte, kterou.
Číselný suffix typu 2507 nebo 0324 je datum aktualizace. 2507 obvykle znamená červenec 2025, 0324 24. březen. Datum rozlišuje konkrétní vydání, ale nezaručuje, že bude pro vaši úlohu lepší. Může měnit styl odpovědí, uvažování nebo podporu nástrojů.
Pokročilejší praxe: původ převodu a přesná revize
Na Hugging Face rozlišujte autora modelu a autora převodu. Část před lomítkem je vlastník repozitáře, ne nutně tvůrce původních vah. Například bartowski/deepseek-ai_DeepSeek-V3-0324-GGUF je komunitní GGUF převod modelu DeepSeek. V kartě zkontrolujte base_model, odkaz na původní vydání, licenci a způsob převodu.
Alias bez data se může časem přesunout na novější vydání. V produkci proto ukládejte přesné ID a podle platformy také konkrétní snapshot nebo revizi. Aktualizaci nejdřív ověřte na vlastních testech.
ollama run qwen3:8b schová kvantizaci i přesné vydání za krátkou značku. Jaký soubor se skutečně načte, určuje manifest — popis dané značky. Ověřte ho přes ollama show nebo API /api/show, které vrací quantization_level. Jak model pak spustit, rozebíráme v článku Jak hostovat open-source LLM. Počet parametrů: co znamená 7B a 70B
Parametr je naučené číslo ve váhách sítě. Miliarda parametrů se značí B (billion). 7B je tedy zhruba sedm miliard čísel, která se model naučil z dat. Parametr není řádek kódu ani jedna uložená znalost. Výsledek vzniká spoluprací velkého množství vah. „70B“ navíc bývá zaokrouhlená velikostní třída, ne přesný laboratorní údaj.
U podobně trénovaných modelů stejné rodiny obvykle více parametrů znamená větší kapacitu učit se složité vzory. Samotné číslo B ale kvalitu nezaručuje: rozhodují také tréninková data, architektura a konkrétní úloha. Zároveň znamená víc paměti, pomalejší běh a dražší provoz. Na třídění e-mailů nebo extrakci údajů z faktury často stačí 4–8B. Univerzální asistent, náročnější kód a delší uvažování už sahají po 30B a výš, nebo po dobrém MoE. Jde o výchozí bod pro měření, ne o pevnou hranici.
Hrubý odhad místa na váhy je jednoduchý:
GB ≈ (miliardy parametrů) × (bity na váhu) ÷ 8
Sedm miliard vah ve 16 bitech je 14 GB. Ve 4 bitech 3,5 GB. Sedmdesát miliard ve 4 bitech 35 GB. Jde jen o teoretické minimum pro váhy, ne o celou spotřebu programu. Označení Q4 navíc nemusí znamenat přesně 4,00 bitu na každou váhu: tabulka llama.cpp uvádí u Q4_K_M přibližně 4,89 bitu na váhu. Některé citlivější části modelu totiž zůstávají přesnější a soubor obsahuje i pomocná data.
K vahám se přidá KV cache — pracovní paměť modelu pro už zpracované tokeny. Roste s délkou konverzace a počtem současných požadavků. Program navíc potřebuje místo na průběžné výsledky výpočtu. Proto model, jehož soubor má 18 GB, nemá být plánován na přesně 18 GB VRAM.
Následující tabulka předpokládá jeden požadavek a krátký až střední kontext. Skutečný limit závisí na konkrétní kvantizaci, délce kontextu a běhovém programu.
| VRAM | Typická karta | Typický model | Model bez MoE ve FP16 | Model bez MoE v Q4 třídě (~4,5–5 bitu/váhu) |
|---|---|---|---|---|
| 8 GB | RTX 4060 | Qwen3-8B | ~3B | ~7–8B |
| 16 GB | RTX 4080 | Qwen3-14B | ~7B těsně | ~14B |
| 24 GB | RTX 4090 / 3090 | Qwen3-32B | ~8–10B | ~30B s kratším kontextem |
| 48 GB | RTX 6000 Ada | Llama 3.3 70B | ~20B | ~70B velmi těsně |
| 80 GB | A100 / H100 | Llama 3.3 70B | ~30B | 70B s rezervou na cache |
| 320 GB | 4× H100 80 GB | Llama 3.1 405B | ~150B těsně | ~400B s kratším kontextem |
| 640 GB | 8× H100 80 GB | Kimi K2 1T-A32B (MoE) | ~300B těsně | ~1T velmi těsně, bez běžné rezervy |
| 2,88 TB | 16× B200 180 GB | Kimi K3 2,8T-A104B (MoE, nativní MXFP4) | ~1,3T těsně | ~4,5T velmi těsně |
Hustý model, MoE a aktivní parametry
Hustý model (anglicky dense) použije při každém tokenu všechny své váhy. Model 70B proto potřebuje uložit přibližně 70 miliard parametrů a všech 70 miliard se podílí na výpočtu.
MoE (Mixture of Experts) obsahuje více vnitřních podsítí zvaných experti. Malá rozhodovací vrstva — router — pro každý token vybere jen několik z nich. Expert zde neznamená „specialista na Python“ nebo „specialista na češtinu“; jde o část sítě, která se při tréninku naučila zachytit určité vzory. MoE proto uvádí dva počty: parametry celkem pro velikost a paměť a aktivní parametry pro množství výpočtu na token.
Hustý model
Llama-3.3-70B-Instruct
Jedna sada vah. Paměť i výpočet odpovídají zhruba 70 miliardám. Předvídatelnější, ale dražší na jeden token.
MoE model
Qwen3-30B-A3B
30,5 miliardy vah celkem, 3,3 miliardy aktivních na token. Potřebuje paměť téměř jako 30B model, ale při zpracování zapojuje jen část vah. Neznamená to automaticky rychlost hustého 3B modelu.
Zápis 30B-A3B je dnešní standard: první číslo je součet, A znamená active, tedy aktivní. Starší Mixtral to psal jako 8x7B — osm expertů po zhruba 7 miliardách. To ale není 56B: část sítě je pro všechny experty společná a neukládá se osmkrát. Oficiální článek Mixtral of Experts uvádí 46,7 miliardy parametrů celkem a 12,9 miliardy aktivních na token; router vybírá 2 z 8 expertů. DeepSeek-V3, který rozebíráme v článku Mixture of Experts, má 671 miliard celkem a na token používá 37 miliard.
Aktivní počet napoví, kolik výpočetní práce model na token provede; celkový počet určuje hlavně velikost souboru a nároky na paměť. Skutečnou dobu odpovědi ovlivní i přesuny dat, router, počet současně zpracovaných požadavků a hardware. Proto A3B nelze číst jako „stejně rychlé jako hustý 3B model“. Místo na disku a ve VRAM se řídí celkovými vahami. Proto „30B-A3B ve 4 bitech“ není třígigový soubor. Veřejné GGUF vydání Qwen3-30B-A3B-Instruct-2507-Q4_K_M má zhruba 18,6 GB. Při výpočtu se chová úsporněji, ale ke stažení a načtení zůstává středně velký.
MoE není sleva na paměť
Chcete-li mít všechny váhy na GPU, musíte do VRAM dostat téměř celý soubor, ne jen aktivní experty. Tomu se říká plný GPU offload. llama.cpp umí část vah nechat v systémové RAM, ale odpovědi pak bývají pomalejší. Aktivní počet snižuje výpočetní práci, ne velikost souboru.
Base, Instruct, Thinking a další
Stejné váhy předtrénované na textu se dál upravují na konkrétní chování. Tohle slovo v názvu často rozhodne víc než jedna velikostní třída.
Base / Pretrain
Dokončuje text. Nečekejte zdvořilou odpověď na „vysvětli mi SQL“. Hodí se k dalšímu tréninku, ne jako chatovací asistent.
Instruct / Chat / it
Dotrénovaný na pokyny a konverzaci. Gemma značí totéž zkratkou it (instruction-tuned). Tohle chcete ve chatu, v editoru i v agentovi.
Thinking / Reasoning
Model před finální odpovědí spotřebuje další tokeny na mezikroky. Ty mohou být viditelné, shrnuté nebo úplně skryté. Odpověď proto obvykle trvá déle a spotřebuje více tokenů. Stejná rodina Qwen3 má Instruct i Thinking jako oddělená vydání. Podrobnosti vysvětlujeme u reasoning modelů.
Coder, VL, Guard
Coder je posílený na kód. VL, Vision nebo Omni bere i obrázky nebo zvuk. Guard je filtr, ne obecný asistent.
Pro začátek platí jednoduché pravidlo: stahujte Instruct, ne Base. Base model ve stejném chatovém okně působí, jako by vám neodpovídal. Thinking variantu zapněte, až budete chtít delší uvažování a unesete cenu v čase i tokenech. Když stavíte agenta s nástroji, ověřte v kartě modelu tool calling, tedy schopnost vracet strukturovaný požadavek na volání funkce nebo API. Slovo Instruct ji samo o sobě negarantuje.
Kvantizace: Q4_K_M, Q8_0 a kamarádi
Kvantizace zmenší model tím, že jeho váhy uloží s menší přesností. Je to podobné, jako když místo velmi přesné hodnoty 0,123456 uložíte jen 0,12. Soubor zabere méně místa, ale část informace se ztratí. Nejde tedy o bezztrátovou kompresi typu ZIP.
Váhy neuronové sítě jsou miliony až stovky miliard čísel v tensorech, tedy vícerozměrných polích. Stejnou naučenou hodnotu lze do bitů zapsat několika způsoby. Zvolený zápis určuje velikost souboru, přesnost i to, jaký hardware dokáže výpočet efektivně provést.
Pro zvídavé: jak FP16, BF16 a Q4 ukládají stejné číslo
Pro samotný výběr modelu tuto část znát nemusíte. Ukazuje, proč menší počet bitů šetří paměť a proč „4bitový model“ není bezztrátově zabalená kopie originálu.
FP32, FP16, BF16 a FP8
Jde o obdobu vědeckého zápisu čísel. Znaménko určuje plus nebo minus, exponent přibližný rozsah a mantisa přesnost. FP32 používá 1 + 8 + 23 bitů, FP16 1 + 5 + 10 a BF16 1 + 8 + 7. Proto má BF16 velký rozsah podobný FP32, zatímco FP16 rozlišuje jemnější kroky v menším rozsahu.
INT8, Q8, Q6 a Q4
Váha se zaokrouhlí na jeden z omezeného počtu stupňů. Uloží se malé celé číslo a škála, která říká, jak ho převést zpět. Menší skupiny vah mohou mít vlastní škálu: bývají přesnější, ale potřebují více pomocných dat.
NF4, IQ a codebooky
Kód může místo pravidelných stupňů odkazovat do malé tabulky typických hodnot, které se v modelu vyskytují často. Při stejném počtu bitů tak někdy zachová více užitečné informace. Běhový program ale musí daný způsob znát.
Jedno číslo, pět různých zápisů
Vezměme váhu 0,1. V desítkové soustavě vypadá jednoduše, ale v binární soustavě má nekonečný periodický rozvoj. Formát proto musí hodnotu zaokrouhlit podle počtu dostupných bitů. Není nutné umět vzory přepočítat ručně. Důležité je vidět, že méně bitů znamená hrubší aproximaci. U řádků FP svislé čáry oddělují znaménko, exponent a mantisu.
| Formát | Uložené bity nebo kód | Hodnota po načtení | Co se stalo |
|---|---|---|---|
| FP32 | 0 | 01111011 | 10011001100110011001101 |
0,10000000149 | 23 bitů zlomku znamená velmi malé zaokrouhlení. |
| FP16 | 0 | 01011 | 1001100110 |
0,09997558594 | Více bitů zlomku než BF16, ale menší rozsah exponentu. |
| BF16 | 0 | 01111011 | 1001101 |
0,10009765625 | Široký rozsah jako FP32, ale jen 7 bitů zlomku. |
| FP8 E4M3 | 0 | 0011 | 101 |
0,1015625 | Tři bity zlomku už tvoří viditelně hrubší mřížku. |
| Q4 — symetrický příklad | 0011 + škála 0,03 |
3 × 0,03 = 0,09 | Čtyřbitový kód sám nestačí; dekodér potřebuje škálu skupiny. |
Během tréninku se tyto formáty běžně míchají: dopředný a zpětný průchod může počítat v FP16 nebo BF16, zatímco přesnější hlavní kopie vah a stav optimalizátoru zůstávají ve FP32. Publikované vydání modelu bývá často ve FP16 nebo BF16, tedy se dvěma bajty na váhu. Tyto detaily jsou důležité hlavně při trénování; pro běžné spuštění vás zajímá formát staženého vydání.
Kvantizace převede takové vydání na úspornější reprezentaci. Soubor zmenší a na vhodném hardwaru může zrychlit inference, tedy generování odpovědi; kvalita může o něco klesnout. Dopad závisí na modelu, způsobu kvantizace i úloze a bývá citlivější u matematiky, kódu a přesného dodržování formátu než u krátké sumarizace. Navíc je třeba rozlišovat váhy od aktivací — průběžných hodnot během výpočtu — a KV cache. Například W4A16 znamená 4bitové váhy, ale 16bitové aktivace.
Písmena za číslem upřesňují způsob kvantizace. Starší Q4_0 a Q4_1 ukládají model jednodušeji. Novější Q4_K_M nechá citlivější části modelu ve vyšší přesnosti a jinde šetří více. Proto bývá při podobné velikosti lepší výchozí volbou než Q4_0. Písmena S, M, L nebo XL obvykle naznačují velikost či přesnost varianty, ale jejich přesný význam ověřte u konkrétní rodiny kvantizace.
Pokročilé značky: AWQ, GPTQ, NF4, QAT a imatrix
Tyto zkratky při prvním lokálním spuštění v Ollamě nebo LM Studiu řešit nemusíte. Hodí se hlavně při provozu na GPU nebo dolaďování:
- AWQ a GPTQ — metody dodatečné kvantizace pro GPU vydání, často uložené v safetensors. AWQ používá kalibrační data a škálování podle aktivací, GPTQ minimalizuje chybu vah.
- W4A16 nebo W8A8 — první číslo je přesnost vah (weights), druhé aktivací. W4A16 má 4bitové váhy a 16bitový výpočet aktivací.
- bnb-4bit / NF4 / QLoRA — ekosystém bitsandbytes pro Transformers a úsporné dolaďování. NF4 je 4bitový datový typ; QLoRA přidává trénovatelné LoRA adaptéry nad kvantizovaný základ.
- QAT — model se kvantizaci učil už při tréninku, ne až dodatečně. Může držet kvalitu lépe než dodatečný převod, ale název sám o sobě výsledek negarantuje.
- imatrix — importance matrix: převod se kalibroval na vzorcích textu, aby nízké bity méně bolely.
- UD- — Unsloth Dynamic, vlastní směs kvantů nad stejným GGUF. Jméno slibuje recept; histogram tensorů v souboru řekne pravdu.
Formát souboru: GGUF není kvantizace
Přípona souboru říká, jak jsou data modelu zabalená. Kvantizace říká, s jakou přesností jsou uvnitř uložené váhy. Je to podobný rozdíl jako mezi typem souboru a kvalitou jeho obsahu. Proto může GGUF obsahovat velké váhy ve FP16 i malé váhy v Q4.
GGUF
Formát oblíbený pro lokální běh. Používá ho llama.cpp a pracují s ním Ollama i LM Studio. Model může běžet na CPU, GPU nebo na obou. Uvnitř může být FP16, Q8_0 i Q4_K_M.
safetensors
Bezpečný formát pro ukládání tensorů, běžný na Hugging Face. Používají ho knihovny a servery jako Transformers, vLLM a SGLang. Model obvykle potřebuje také konfigurační soubory a tokenizér. Samotná přípona neurčuje přesnost ani kompatibilní server.
MLX
Ekosystém pro čipy Apple Silicon. Dává smysl na novějších Macích, ne na serveru s grafickou kartou NVIDIA.
EXL2 a kvantovaná vydání
Specializované varianty pro běh na GPU. EXL2 patří k ExLlama, AWQ a GPTQ se často ukládají jako safetensors. Pokud teprve začínáte s Ollamou nebo LM Studiem, tuto větev můžete přeskočit.
Velké GGUF se řežou na více souborů. Musíte stáhnout všechny části stejného kvantu — například -00001-of-00004.gguf až -00004-of-00004.gguf — ne jen první. Když tedy někdo řekne „stáhni GGUF“, stále potřebujete znát konkrétní kvantizaci, například Q4_K_M.
trust_remote_code=True ale dovolí knihovně stáhnout a spustit kód z repozitáře modelu. Používejte ji jen u důvěryhodného zdroje a v produkci připněte konkrétní revizi. Komerční jména mluví jiným jazykem
GPT, Claude a Gemini parametry většinou nezveřejňují. Jejich názvy nejsou technický list. Jsou to produktové úrovně: rychlejší a levnější varianta, střed, a nejdražší model pro těžké úlohy. Porovnávat „Sonnet“ a „70B“ jako dvě velikosti proto nejde.
| Vzor | Příklad | Co z toho plyne | Co z toho neplyne |
|---|---|---|---|
| Rychlost a cena | Luna, Flash-Lite, Haiku |
Rychlejší odezva a nižší cena, slabší strop na těžké úlohy | Počet parametrů |
| Vyvážený / obecný model | Terra, Flash, Sonnet |
Denní až náročná práce, kód, agenti | Že je to „70B ekvivalent“ |
| Horní patro | Astra, Sol, Fable, Opus |
Nejtěžší úlohy, vyšší cena | Že menší sourozenec je k ničemu |
| Režim výpočtu | thinking, reasoning.effort |
Delší vnitřní postup, víc výstupních tokenů | Novou velikost modelu |
Stav k 20. září 2026:
- OpenAI: GPT-6 Astra pro nejtěžší práci; řada GPT-5.6 používá jména Sol, Terra a Luna od nejvýkonnější po nejúspornější variantu.
- Anthropic: Haiku pro rychlost, Sonnet jako vyvážená varianta, Opus pro složité úlohy a Fable 5.1 pro nejnáročnější uvažování a dlouhé agentní běhy.
- Google: úrovně Pro, Flash a Flash-Lite; aktuální katalog obsahuje například Gemini 3.8 Flash a 3.5 Flash-Lite.
API identifikátor může být pohyblivý alias, nebo přesná verze s datem. Katalog proto ověřte před každým nasazením.
Kontext, destilace a další značky
V názvu nebo kartě modelu potkáte i značky, které nepopisují velikost souboru. Říkají, kolik textu model zpracuje nebo jak konkrétní vydání vzniklo.
Kontextové okno
Kontextové okno (8k, 128k, 256k, 1M) je, kolik tokenů model udrží v jednom požadavku. Do stejného limitu se počítají systémové instrukce, historie chatu, přiložené dokumenty, aktuální dotaz i nová odpověď. Token není totéž co slovo; jedno české slovo se může rozdělit na více tokenů. Poskytovatel API může navíc nastavit samostatný nižší limit pro délku odpovědi. Dlouhý kontext spotřebuje více KV cache a model může uprostřed velmi dlouhého zadání přehlédnout důležitou informaci — tomu říkáme problém „lost in the middle“ neboli U-křivka.
Distill
Menší „studentský“ model se učil z výstupů většího modelu. DeepSeek-R1-Distill-Qwen-32B je Qwen 32B upravený podle stop R1. Není to celý R1 zmenšený do 32B.
SFT, DPO, RLHF a GRPO
SFT učí model na správných příkladech. Ostatní metody upravují chování podle lidských preferencí nebo vypočtené odměny. Zkratka popisuje postup, ne záruku kvality.
Merge a LoRA
Merge slučuje více vydání nebo adaptérů. LoRA je malý balíček naučených změn nad základním modelem, ne nový model stejné velikosti.
Embedding
Embeddingový model převádí text na číselné vektory pro vyhledávání a porovnávání. Negeneruje běžnou odpověď. Více vysvětluje článek Co je embedding.
Pokročilý příklad: milionový kontext u Qwen3
Qwen3-30B-A3B-Instruct-2507 má nativní limit 262 144 tokenů. Testovaná konfigurace pro přibližně milion tokenů vyžaduje zvláštní nastavení DCA/MInference a karta uvádí asi 240 GB celkové GPU paměti. Není to univerzální číslo: spotřeba závisí na KV cache, programu a rozdělení výpočtu mezi GPU. Inzerovaný, nativní a skutečně nastavený limit se mohou lišit.
Jak podle jména vybrat
Až budete stát nad složkou plnou kvantů, jděte v tomto pořadí. Nezačínejte otázkou „jaký největší model rozjedu“.
it. B × bity ÷ 8 plus rezerva na KV cache. U MoE dosazujte celkové B, ne aktivní A. Ke skutečné velikosti souboru přidejte rezervu na kontext a běhový program. Pokud se všechny váhy nevejdou do VRAM, může část zůstat v RAM, ale model poběží pomaleji. Časté otázky
Je 70B vždy lepší než 8B?
Ne. Větší model má víc kapacity, ale na úzké úloze ho menší Instruct často porazí rychlostí, cenou i tím, že ho vůbec spustíte. 70B špatně kvantizovaný nebo s nevhodnou šablonou umí být horší než 8B, který se vejde do VRAM a odpovídá v plném kontextu.
Co znamenají Instruct, Chat a Base?
Instruct a Chat označují model dotrénovaný pro pokyny a konverzaci; pro běžný chat jsou obvykle správnou volbou. Base je základní předtrénovaný model určený spíše k dalšímu dotrénování než k přímému rozhovoru.
Můžu pustit 70B na 8GB grafice?
Ne celé v 8 GB VRAM. Hustý 70B model v Q4_K_M potřebuje přes 40 GB jen na váhy. Část vrstev umí llama.cpp odložit do RAM, ale bude to pomalé. Pro 8GB kartu je praktičtější 7–8B model v Q4.
Proč 30B-A3B není třígigový model?
A3B říká, kolik vah se na token počítá, ne kolik se jich ukládá. Qwen3-30B-A3B má 30,5 miliardy parametrů a 128 expertů. Do paměti musíte načíst celý model. Proto má vydání Q4_K_M okolo 18,6 GB.
Co je lepší, Q4_K_M nebo Q8_0?
Q8_0 je blíže originálu a výrazně větší. Pro běžný chat a kód je Q4_K_M obvykle ten správný začátek. Když model halucinuje v číslech nebo rozbíjí syntax, zkuste Q5_K_M nebo Q6_K stejného vydání, ne hned jinou rodinu. Pokud se chyba opakuje i ve vyšší přesnosti, problém bude spíš ve výběru modelu, zadání nebo samotné úloze.
Proč komerční model nemá 70B v názvu?
Protože prodejce neprodává počet vah. Prodává úroveň služby: rychlost, cenu, režim uvažování a limity. Parametry jsou jeho výrobní tajemství. Srovnávejte cenu, dobu odezvy a kvalitu na úloze, ne vymyšlený přepočet na B.
Stačí název souboru, nebo musím číst kartu modelu?
Název je mapa. Karta je území. Tam je přesný počet parametrů, kontext, licence, chatová šablona a varování. U GGUF od třetích stran se navíc vyplatí zkontrolovat, že soubor opravdu obsahuje ten kvant, který slibuje jméno.
Chcete modelům rozumět v praxi, ne jen v názvech?
V kurzu Umělá inteligence pro programátory, vědu a datovou analytiku bereme lokální i API modely jako nástroje: kdy stačí malý Instruct, kdy sáhnout po MoE a jak ověřit, že kvantizace nezhoršila výsledek na konkrétní úloze.
Další cesty: chcete-li modely sami stavět a trénovat, navazuje kurz Machine learning a Neuronové sítě. Pro využití AI při programování je tu Vibe coding a AI ve vývoji. A pokud model potřebujete hlavně nasadit, pokračujte průvodcem hostováním open-source LLM.
Zdroje a další čtení
- GGUF specifikace — konvence názvu, metadata a typy tensorů
- llama.cpp: llama-quantize — oficiální přehled K-quant a I-quant receptů
- Jiang et al.: Mixtral of Experts — 46,7B celkem, 12,9B aktivních, 2 z 8 expertů
- Mistral: Mixtral of experts — srozumitelné shrnutí stejných čísel
- Qwen3-30B-A3B-Instruct-2507 — 30,5B / 3,3B, 128 expertů, kontext 262 144
- TensorBlock: Qwen3-30B-A3B-Instruct-2507 GGUF — velikosti jednotlivých kvantizací včetně Q4_K_M
- Qwen3 Technical Report — rodina Qwen3 a oddělení Instruct / Thinking
- DeepSeek-V3 Technical Report — 671B celkem a 37B aktivních na token
- Moonshot AI: Kimi K3 — veřejné váhy, 2,8T parametrů celkem, přibližně 104B aktivních a nativní MXFP4
- Gemini 2.5 Technical Report — Flash / Pro jako produktové úrovně a sparse MoE architektura
- OpenAI: GPT-5 System Card — větve main / thinking a velikosti mini, nano, pro
- OpenAI: aktuální katalog modelů — GPT-6 Astra a řada GPT-5.6 Sol, Terra a Luna
- Google: aktuální katalog Gemini — Pro, Flash, Flash-Lite a aktuální endpointy
- Anthropic: přehled modelů Claude — Haiku, Sonnet, Opus a Fable jako produktové úrovně
- Ollama: podrobnosti modelu — formát, parameter size a skutečný
quantization_level - Hugging Face: bitsandbytes — NF4, 4bitové načítání a QLoRA
- NVIDIA Transformer Engine: low-precision training — rozložení FP32, FP16 a BF16 a použití FP32 master vah
- PyTorch: quantized inference — per-channel INT8 a skupinová INT4 reprezentace vah
- Turing Institut: Mixture of Experts — proč velký MoE počítá jen zlomek vah
- Turing Institut: Jak hostovat open-source LLM — Ollama, llama.cpp, vLLM a nároky na VRAM
- Turing Institut: Reasoning modely — co se děje, když model „přemýšlí“
