Halucinace LLM: co říkají studie o tom, proč modely lžou

Neexistující soudní precedenty v podání advokáta, vymyšlené funkce knihoven, smyšlené citace v rešerších. Halucinace — sebejistě podané, ale nepravdivé výstupy — jsou nejznámější slabinou velkých jazykových modelů. Dlouho se braly jako záhadná vada, kterou další generace modelů „nějak“ vyřeší. Jenže výzkum posledních let ukazuje něco zajímavějšího: halucinace jsou statisticky nevyhnutelný důsledek toho, jak modely trénujeme a hlavně jak je hodnotíme. V tomto článku projdeme klíčové studie: co halucinace jsou, proč vznikají, jak souvisejí s kontextovým oknem, jak jim předcházet a čím se vlastně měří.

Co přesně je halucinace

Obecně přijímaná definice zní: výstup, který je plynulý a působí věrohodně, ale je v rozporu s fakty nebo se zadaným zdrojem. Rozsáhlý přehled A Survey on Hallucination in Large Language Models (Huang et al., 2023) rozlišuje dva základní druhy, které je užitečné oddělovat, protože mají různé příčiny i různé obrany:

• Faktografické halucinace (factuality) — výstup odporuje ověřitelným faktům o světě. Model si vymyslí datum, osobu, API funkci nebo citaci. Sem patří slavné případy typu smyšlených soudních rozhodnutí.
• Halucinace vůči zdroji (faithfulness) — výstup odporuje kontextu, který model dostal: shrnutí tvrdí něco, co v dokumentu není, RAG odpověď si přimyslí detail, který retriever nevrátil, překlad přidá větu navíc.

Slovo „halucinace“ je přitom trochu nešťastná metafora — model nevidí přeludy. Dělá pořád totéž co vždycky: generuje nejpravděpodobnější pokračování textu. Halucinace není porucha generování, ale jeho přirozený produkt v situaci, kdy správná odpověď v modelu (nebo v kontextu) prostě není — a místo ní se vygeneruje ta nejpravděpodobněji vypadající.

Proč halucinace vznikají: tři vrstvy příčin

1. Statistika předtrénování: vzácná fakta nelze naučit

Nejcitovanější současné vysvětlení přinesla studie Why Language Models Hallucinate (Kalai, Nachum, Vempala, Zhang, 2025; rozšířená verze vyšla v Nature, 2026). Autoři ukazují elegantní redukci: generování faktických výroků je přinejmenším tak těžké jako binární klasifikace „je tento výrok pravdivý?“. Pokud klasifikátor nedokáže odlišit pravdivé výroky od nepravdivých, generátor postavený na stejných datech musí část nepravdivých vyprodukovat.

Klíčový je koncept singleton rate: podíl faktů, které se v trénovacích datech vyskytnou právě jednou. Vzory, které se opakují (gramatika, pravopis, běžné znalosti), se model naučí spolehlivě. Ale jednorázová fakta — narozeniny málo známé osoby, detail obskurního API — nemají v datech žádnou statistickou oporu. Studie dokazuje, že chybovost modelu na takových faktech je zdola omezená právě singleton rate: když se 20 % faktů daného typu v datech vyskytuje jednou, model bude na tomto typu otázek halucinovat nejméně ve ~20 % případů — a to i kdyby trénovací data byla zcela bezchybná.

2. Kalibrace a povaha generování

Předtrénovaný model je optimalizovaný na predikci dalšího tokenu, ne na pravdivost. Dobře natrénovaný base model je kalibrovaný: jeho pravděpodobnosti odrážejí rozložení trénovacích dat — včetně toho, že u neznámého faktu „sebejistě“ dogeneruje něco, co odpovídá tvaru správné odpovědi. Práce Hallucination is Inevitable (Xu et al., 2024) dokládá formálně, že žádný vyčíslitelný LLM se halucinacím nevyhne úplně: vždy existují funkce/fakta, které model nemůže reprezentovat správně, a přesto pro ně vygeneruje odpověď.

3. Benchmarky odměňují tipování

Proč ale halucinace přežívají i masivní post-training zaměřený právě na jejich potlačení? Tady přichází nejpraktičtější poznatek studie Kalai et al.: drtivá většina benchmarků hodnotí binárně — správně = 1 bod, špatně = 0, „nevím“ = také 0. Z pohledu optimalizace je model v pozici studenta u testu, kde se za špatnou odpověď nestrhávají body: vždy se vyplatí tipovat. Model, který poctivě přizná nejistotu, skončí v žebříčcích pod modelem, který sebevědomě hádá. Trénujeme tedy výborné „test-takery“ a pak se divíme, že blafují.

Navrhované řešení je „socio-technické“: změnit bodování hlavních benchmarků tak, aby chyba stála víc než abstence (explicitně uvedená penalizace, tzv. open rubric), a tím přestat modely trénovat k blafování. OpenAI tento princip otevřeně komunikuje i na vlastních modelech: novější modely mají o něco nižší „accuracy“, ale výrazně nižší chybovost, protože se častěji zdrží odpovědi.

Jak s tím souvisí kontextové okno

Kontext je pro model druhý zdroj pravdy vedle znalostí zapečených ve vahách (parametrická paměť). Vztah ke halucinacím má tři podoby:

Kontext halucinace potlačuje…

Když správnou informaci vložíte do promptu (RAG, dokumentace, výsledky nástrojů), model nemusí spoléhat na děravou parametrickou paměť — přesně proto je grounding nejúčinnější praktická obrana. Singleton fakta, na kterých model podle Kalai et al. nutně chybuje, přestanou být problém, protože už je nemusí „vědět“, stačí je přečíst.

…ale jen když ho model skutečně použije…

A tady narážíme na U-křivku pozornosti, kterou jsme rozebírali v samostatném článku: informace uprostřed dlouhého kontextu dostávají systematicky méně pozornosti. Když model relevantní pasáž „přehlédne“, chybějící kousek doplní z parametrické paměti — a vznikne faithfulness halucinace, přestože správná odpověď v promptu byla. Vectara ve své práci o benchmarkování věrnosti v RAG ukazuje, že i nejlepší modely si při shrnování dokumentů občas přimyslí obsah, který ve zdroji není.

…a větší okno není automaticky lepší

Milionové kontextové okno svádí nasypat do promptu všechno. Jenže benchmark RULER ukázal, že efektivní délka kontextu bývá výrazně kratší než inzerovaná — s rostoucí délkou a „zaneseností“ kontextu klesá schopnost modelu informace skutečně využít a roste prostor pro konflikt mezi kontextem a parametrickou pamětí (model pak občas „přepíše“ váš dokument tím, co si myslí, že ví). Prakticky: méně, ale relevantnějšího kontextu na správných pozicích potlačuje halucinace víc než maximální nálož tokenů.

Jak halucinacím předcházet

Žádná technika halucinace neodstraní úplně (viz Xu et al. výše), ale dají se stlačit na zlomek. Obrany seřazené zhruba podle poměru cena/výkon:

• Grounding (RAG, nástroje) — dejte modelu správná fakta do kontextu a instruujte ho, ať odpovídá jen z nich a cituje zdroj. Výpočty a aktuální data delegujte na nástroje (kalkulačka, vyhledávání, databáze) — viz náš článek o AI agentech.
• Povolte „nevím“ — explicitně v promptu: „Pokud odpověď nevyplývá z podkladů, řekni, že nevíš.“ Zní to triviálně, ale obrací přesně tu motivaci, kterou benchmarky pokazily.
• Nižší teplota pro faktické úlohy — sampling s vysokou teplotou zvyšuje šanci, že se vygeneruje méně pravděpodobný (a častěji nepravdivý) token. Pro extrakci a QA používejte teplotu blízko 0; kreativitu si nechte na kreativní úlohy.
• Konzistenční kontrola (self-consistency) — vygenerujte více odpovědí a porovnejte je. Halucinace bývají nestabilní: model si pokaždé vymyslí něco jiného, zatímco skutečnou znalost opakuje shodně. Na tomto principu staví i sémantická entropie (Farquhar et al., Nature 2024): odpovědi se shluknou podle významu a měří se entropie přes shluky — vysoká entropie signalizuje konfabulaci.
• Verifikace druhým průchodem — nechte model (nebo levnější specializovaný model, např. HHEM) zkontrolovat, zda každé tvrzení odpovědi vyplývá ze zdrojů. V produkčních RAG pipeline dnes běžný krok.
• Lidská kontrola u vysokých sázek — právo, medicína, finance: tam všechna předchozí opatření jen snižují zátěž revizora, nenahrazují ho.

Minimální konzistenční kontrola se vejde do pár řádků:

from collections import Counter
from openai import OpenAI

client = OpenAI()

OTAZKA = "Ve kterem roce byla zalozena knihovna NumPy? Odpovez jen rokem."

odpovedi = []
for pokus in range(5):
    r = client.chat.completions.create(
        model="gpt-4.1-mini",
        messages=[{"role": "user", "content": OTAZKA}],
        temperature=1.0,          # zamerne vyssi, at se nejistota projevi
    )
    odpovedi.append(r.choices[0].message.content.strip())

nejcastejsi, pocet = Counter(odpovedi).most_common(1)[0]
if pocet >= 4:                    # aspon 4 z 5 odpovedi se shoduji
    print("Odpoved:", nejcastejsi)
else:
    print("Nizka konzistence, hrozi halucinace:", odpovedi)

Cena je pětinásobek dotazů, proto se tahle technika nasazuje selektivně — na tvrzení, u kterých chyba bolí. Sémantická entropie dělá totéž chytřeji (shlukuje parafráze podle významu pomocí entailment modelu), ale princip je stejný: nejistotu modelu jde měřit z rozptylu jeho odpovědí.

Čím se halucinace měří: benchmarky

Měření je záludné: rozhodnout, zda je odpověď halucinace, znamená znát pravdu — a to je u otevřených otázek obecně neřešitelné. Benchmarky si proto vybírají zjednodušené výseky problému:

Dvě praktická varování. Zaprvé, starší benchmarky jako TruthfulQA jsou u frontier modelů částečně saturované a jejich výsledky se do žebříčků často ani nepočítají — právě na to upozorňují Kalai et al.: hallucination benchmarky existují, ale leaderboardům dominují accuracy metriky, které působí opačným směrem. Zadruhé, žádný benchmark nezměří vaši aplikaci. Postavte si vlastní sadu otázek s ověřenými odpověďmi z vaší domény a vyhodnocujte na ní každou změnu modelu, promptu nebo RAG pipeline — stejně jako jsme to doporučovali u měření U-křivky.

Co si odnést

• Halucinace není záhadná porucha, ale statisticky očekávatelný výstup generativního modelu — u vzácných faktů matematicky nevyhnutelný.
• Přetrvávají hlavně proto, že binární hodnocení odměňuje tipování; modely jsou trénované jako dobří test-takeři.
• Kontext halucinace tlumí, ale jen pokud je relevantní, dobře umístěný (U-křivka!) a model instruovaný z něj vycházet.
• Nejlepší praktická kombinace: grounding + povolené „nevím“ + nízká teplota + verifikace důležitých tvrzení.
• Měřte na vlastních datech; veřejné benchmarky berte jako orientaci, ne záruku.

← Zpět na blog