Proč si AI chatbot vymýšlí? Otázky a odpovědi o halucinacích

Zdroj náhledové fotografie: Magnific.com

V červnu 2023 dostali dva newyorští advokáti a jejich kancelář pokutu 5 000 dolarů. Do soudního podání vložili citace rozsudků, které nikdy neexistovaly. Vymyslel je ChatGPT, včetně čísel spisů a výroků soudců. Případ Mata proti Avianca se stal učebnicovým příkladem jevu, kterému se říká halucinace umělé inteligence. Za tři roky se modely výrazně zlepšily, ale problém nezmizel. Sepsali jsme otázky, které lidé o vymýšlení chatbotů kladou nejčastěji, a odpovědi bez zbytečné hantýrky.

Co přesně je halucinace AI?

Halucinace je odpověď, která zní věrohodně a sebejistě, ale není pravdivá. Může jít o vymyšlenou knihu, špatné datum, neexistující zákon, falešnou citaci nebo odkaz, který vede do prázdna. Zrádné je, že taková odpověď vypadá úplně stejně jako ta správná. Chatbot nezmění tón, nezačne koktat a obvykle ani nepřizná, že si není jistý.

Proč to chatbot dělá? Lže schválně?

Nelže, protože nemá úmysl. Velký jazykový model je v jádru stroj na předpovídání dalšího slova. Při tréninku „přečetl“ obrovské množství textů a naučil se, jaká slova obvykle následují po jiných. Když se ho zeptáte, poskládá odpověď, která statisticky nejlépe pasuje. Většinou to vyjde, protože pravdivé věty jsou v textech častější než nesmysly. U vzácných faktů ale model nemá z čeho vycházet a doplní něco, co jen „vypadá jako“ odpověď.

Podobně je to s otázkami na chatbota samotného. Proč nemá smysl věřit tomu, co tvrdí o vlastním fungování, vysvětluje článek Proč nemůžete věřit chatbotovi, aby o sobě mluvil.

Proč modely radši hádají, než aby řekly „nevím“?

Na tohle se v září 2025 zaměřili výzkumníci OpenAI ve studii Why language models hallucinate. Jejich vysvětlení připomíná školní test s výběrem odpovědí. Kdo tipuje, má šanci trefit se a získat bod. Kdo nechá políčko prázdné, má jistou nulu. Většina testů, kterými se jazykové modely porovnávají, hodnotí jen přesnost a za „nevím“ nedává nic. Model, který odvážně hádá, pak v žebříčcích vypadá lépe než opatrný model, který přizná nejistotu.

Autoři navrhují změnit hodnocení tak, aby sebevědomé chyby stály víc než přiznaná nejistota. Dodávají také, že některé halucinace mají kořen už v samotném tréninku: náhodná, málo častá fakta, například datum narození méně známého člověka, se ze vzorců v textu prostě odvodit nedají.

Kde si chatboti vymýšlejí nejčastěji?

• Citace a zdroje: názvy studií, články, odkazy, čísla paragrafů.
• Méně známí lidé a malé firmy: životopisy, data, funkce.
• Čerstvé události: model zná svět jen do data, kdy skončil jeho trénink, pokud zrovna nevyhledává na webu.
• Čísla: ceny, sazby, statistiky, výpočty s více kroky.
• Místní specifika: české zákony, úřední postupy, menší obce. Česky psaných textů je v tréninkových datech mnohem méně než anglických.

Jak to vypadá v praxi, ukazuje pokus redaktora, který se ptal na doporučení recenzentů a všechny odpovědi dostal špatně.

Pomůže, když chatbot vyhledává na internetu?

Pomůže, ale nezachrání. Když model při odpovědi čte aktuální stránky, má na čem stavět a ke každému tvrzení může přidat odkaz. Chyby se ale přesouvají jinam: model může stránku špatně pochopit, vzít informaci ze špatného zdroje nebo odkazem „podložit“ tvrzení, které v odkazovaném textu vůbec není. Odkaz pod odpovědí je proto pozvánka ke kontrole, ne razítko pravdivosti.

Halucinují jen textoví chatboti?

Ne. Stejný princip „doplnění toho, co by tam asi mělo být“ se objevuje i u dalších nástrojů. Generátor obrázků přidá ruce šestý prst nebo na ceduli napíše nesmyslná písmena. Nástroje pro přepis řeči občas do textu vloží větu, která na nahrávce vůbec nezazněla, typicky v pauzách nebo při šumu. U porady to je jen nepříjemné, u lékařské zprávy to může být nebezpečné. Že se takové přepisy přesto používají i v nemocnicích, popisuje článek Přepisovací nástroj OpenAI halucinuje. Nemocnice to stejně využívají. Pravidlo je tedy stejné pro text, obraz i zvuk: výstup AI je návrh, který potřebuje lidskou kontrolu.

Dá se halucinacím úplně zabránit?

Podle současného stavu výzkumu ne. Lze je výrazně omezit. Firmy modely učí častěji přiznat nejistotu, napojují je na vyhledávání a na firemní dokumenty a přidávají kontrolní kroky. Model, který jen předpovídá text, ale nebude mít stoprocentní jistotu o každém faktu. Proto i nejlepší nástroje mají pod oknem drobné upozornění, že mohou chybovat.

Jak se jako uživatel bránit?

1. Chtějte zdroje a otevřete je. Nestačí, že odkaz existuje. Ověřte, že na stránce opravdu stojí to, co chatbot tvrdí.
2. Dovolte mu říct „nevím“. Do zadání napište: „Pokud si nejsi jistý, řekni to.“ Model pak častěji přizná nejistotu.
3. Dejte mu podklady. Když vložíte vlastní text, smlouvu nebo tabulku a necháte ho pracovat jen s nimi, chybuje méně než při odpovědích „z hlavy“. Další triky popisuje článek o tom, jak snížit halucinace AI.
4. Ptejte se znovu jinak. Pokud na stejnou otázku dostanete pokaždé jinou odpověď, je to signál, že model hádá.
5. Čísla počítejte zvlášť. Na výpočty je kalkulačka nebo tabulka spolehlivější.

Na co AI raději vůbec nepoužívat bez kontroly?

Na všechno, kde chyba něco stojí: zdravotní rady, právní kroky, daně, investice a technické postupy, při kterých jde o bezpečnost. Proč je obzvlášť riskantní nechat si od chatbota radit s penězi, rozebírá článek 5 důvodů, proč si to dvakrát rozmyslet, než použijete ChatGPT pro finanční poradenství. Pro psaní konceptů, shrnutí dlouhých textů, nápady nebo překlad je naopak AI skvělý pomocník. Jak si s chatboty usnadnit běžné plánování, ukazuje článek Použijte Google Gemini a ChatGPT k uspořádání svého života.

Je halucinace totéž co deepfake?

Není. Halucinace je nechtěná chyba modelu. Deepfake je záměrně vyrobený falešný obsah, třeba video nebo hlas skutečného člověka, který někdo použije k podvodu. Technologie je příbuzná, úmysl úplně jiný. Jak podvodníci zneužívají klonované hlasy příbuzných, popisujeme v článku „Mami, mám průšvih“. A pokud dáváte dítěti první telefon s chatbotem v kapse, projděte si i nastavení telefonu pro dítě krok za krokem.

Obsah vytvořený s pomocí AI. Tento článek jsme připravili s pomocí umělé inteligence (AI) a před zveřejněním prošel redakční kontrolou. Za obsah odpovídá redakce webu.