Model zmyśla i brzmi pewnie
Model, który nie zna odpowiedzi, rzadko mówi „nie wiem”. Podaje sygnaturę, datę i nazwę pakietu, które wyglądają dokładnie tak, jak powinny. To nie usterka, tylko skutek tego, jak modele się uczy i jak się je ocenia.
23 czerwca 2026 Naczelny Sąd Administracyjny rozpatrywał zażalenie przedsiębiorcy z Łodzi w sporze o VAT. Pełnomocnik, zawodowy prawnik, poparł je trzema orzeczeniami NSA, z sygnaturami i tezami. Sąd je sprawdził. Sygnatury istniały. Tyle że orzeczenia zapadły w innych datach, dotyczyły innych spraw, a żadne nie zawierało tez, które im przypisano. NSA oddalił zażalenie i ocenił w uzasadnieniu, że bezrefleksyjne korzystanie z narzędzi AI przy pismach procesowych zasługuje na krytykę.
To nie był pierwszy taki przypadek ani najbardziej spektakularny. Jest jednak bardzo pouczający, bo pokazuje, jak wygląda zmyślenie w 2026 roku. Nie jest już bełkotem. Ma poprawny format, realną sygnaturę i brzmi dokładnie tak, jak powinno.
Ta seria opisuje błędy, które da się wywołać jednym pytaniem, w czacie, bez narzędzi i bez pętli. Zmyślanie jest pierwszym z nich i najstarszym. OpenAI wpisało je jako pierwsze zastrzeżenie już w ogłoszeniu ChatGPT w 2022 roku, o czym pisze druga część Genealogii.
Objaw
Model podaje konkret, którego nie ma: datę, liczbę, nazwisko, tytuł, sygnaturę, nazwę biblioteki. Robi to tym samym tonem, którym podaje rzeczy prawdziwe. W angielskim przyjęło się słowo hallucination. OpenAI w pracy z września 2025 definiuje je prosto: wiarygodnie brzmiące, ale fałszywe stwierdzenia wygenerowane przez model.
Autorzy tej pracy zaczęli od samych siebie. Zapytali popularne modele o tytuł doktoratu jednego z autorów, Adama Taumana Kalaia. Dostali trzy różne tytuły i trzy różne lata, wszystkie błędne. O jego datę urodzenia zapytali trzy razy otwarty model i dostali trzy różne, błędne daty. To jest pierwszy znak rozpoznawczy zmyślenia: zapytaj kilka razy, a usłyszysz kilka wersji.
Najgłośniej widać ten objaw w sądach. Damien Charlotin, prawnik i wykładowca z Paryża, zbiera orzeczenia w sprawach, w których ktoś złożył pismo ze zmyśleniami AI. W czerwcu 2026 jego baza liczyła ponad 1600 spraw, z czego ponad tysiąc w Stanach Zjednoczonych. Zaczęło się od sprawy Mata przeciwko Avianca z 2023 roku. Nowojorski sąd ukarał wtedy prawników grzywną w wysokości 5000 dolarów za precedensy wymyślone przez ChatGPT.
Mniej głośno, ale groźniej, ten sam objaw działa w kodzie. Zespół z Uniwersytetu Teksasu w San Antonio przeanalizował kod wygenerowany przez szesnaście modeli. Prawie co piąty pakiet, który modele polecały, nie istniał, a zmyślonych nazw było ponad 205 tysięcy. Modele komercyjne zmyślały nazwy w co najmniej 5,2% przypadków, otwarte w 21,7%. Zmyślone nazwy nie były przypadkowe. Gdy badacze puścili to samo polecenie dziesięć razy, 43% zmyślonych nazw pojawiało się za każdym razem. To otwiera drogę do ataku nazwanego slopsquatting. Wystarczy zarejestrować w PyPI albo npm pakiet o nazwie, którą model regularnie wymyśla, i umieścić w nim złośliwy kod. Następny programista, który ufa podpowiedzi, sam go zainstaluje.
Zmyślenie nie wygląda jak błąd. Wygląda jak każda inna odpowiedź, tylko nie ma pod nim niczego.
Skąd się bierze
Praca Kalaia i współautorów z OpenAI i Georgia Tech wskazuje dwie przyczyny, po jednej na każdy etap powstawania modelu.
Pierwsza siedzi w pretreningu. Model uczy się na ogromnej ilości tekstu, w którym nikt nie oznaczył, co jest prawdą, a co fałszem. Wzorce, które się powtarzają, jak pisownia czy domknięte nawiasy, przestają sprawiać kłopot, gdy model rośnie. Ale fakty pojedyncze, które w danych pojawiają się raz albo wcale, nie mają wzorca, z którego dałoby się je wywnioskować. Autorzy podają przykład: jeśli 20% dat urodzenia pojawia się w danych treningowych dokładnie raz, model bazowy pomyli się przynajmniej przy 20% pytań o daty urodzenia. Sygnatura konkretnego postanowienia, nazwa niszowej biblioteki czy przychód małej firmy w 2024 roku to właśnie takie fakty.
Druga siedzi w tym, jak modele się ocenia. Większość testów liczy tylko trafienia. Poprawna odpowiedź daje punkt, a błędna i „nie wiem” dają zero. Przy takim liczeniu zgadywanie zawsze się opłaca. Zgadnięta data urodzenia ma szansę jeden do 365, a „nie wiem” daje pewne zero. Model, który zgaduje, wypada w rankingach lepiej niż model, który przyznaje się do niewiedzy. Autorzy piszą, że modele są optymalizowane, żeby dobrze zdawać egzaminy.
OpenAI pokazało to na własnych danych, porównując dwa swoje modele w teście SimpleQA. Starszy o4-mini odpowiadał prawie na wszystko: miał 24% trafień i 75% błędów. Nowszy gpt-5-thinking-mini w 52% przypadków nie podawał odpowiedzi: miał 22% trafień i 26% błędów. W rankingu liczącym tylko trafienia lepiej wypada starszy model, choć zmyśla prawie trzy razy częściej. To przykład dobrany przez producenta na jego własnych modelach, ale mechanizm, który pokazuje, dotyczy każdego rankingu opartego na samych trafieniach.
Trzeci element opisuje część Genealogii o GPT-4. Raport techniczny tego modelu pokazał, że po samym pretreningu model był dobrze skalibrowany: gdy oceniał swoją pewność na 70%, miał rację mniej więcej w 70% przypadków. Po treningu na posłuszeństwo kalibracja się pogorszyła. Model nauczony być pomocnym gorzej wie, kiedy powinien się zawahać.
Z czym to pomylić
Ze schlebianiem. Model, który schlebia, często zna poprawną odpowiedź, ale ustępuje sugestii z pytania. Model, który zmyśla, wypełnia lukę w wiedzy. Rozróżnia je prosty test: zadaj pytanie w nowym oknie, bez swojej opinii. Jeśli bez sugestii odpowiedź jest dobra, a z sugestią zła, to schlebianie, o którym jest następna część. Jeśli jest zła w obu przypadkach, model po prostu nie wie.
Z objawem agenta. Agent też podaje dane, których nie ma, ale zwykle z innego powodu. Narzędzie zwróciło pusty wynik albo błąd, a agent i tak złożył odpowiedź, zamiast to zgłosić. Ten objaw opisuje „Agent podaje dane, których nie ma”. Rozróżnia je dziennik wywołań. Jeśli model nie sięgnął po żadne narzędzie, a podał liczbę, to zmyślenie piętro niżej, w samym modelu. Jeśli sięgnął, a narzędzie nic nie zwróciło, to błąd pętli.
Z wiedzą, która się zestarzała. Model, który podaje stare oprocentowanie albo nieaktualną wersję biblioteki, nie zmyśla. Mówi coś, co było prawdą w dniu, w którym skończyły się jego dane. Skutek bywa podobny, ale naprawa inna: tu wystarczy podać modelowi aktualne źródło.
Co da się zrobić po stronie pytania
- Wiedz, gdzie jest ryzyko. Najwięcej zmyśleń dotyczy faktów rzadkich: sygnatur, numerów, nazwisk spoza pierwszych stron gazet, danych lokalnych i polskich, nazw niszowych bibliotek. Im węższe pytanie, tym ostrożniej.
- Proś o identyfikator, który da się sprawdzić, i sprawdź go u źródła. Orzeczenie w bazie orzeczeń, pakiet w rejestrze, artykuł po DOI. Przypadek z NSA pokazuje, że samo istnienie sygnatury nic nie znaczy. Trzeba przeczytać, co jest pod nią.
- Daj modelowi prawo do „nie wiem”. Napisz wprost, że brak odpowiedzi jest lepszy niż zgadywanie. Model nadal będzie czasem zgadywał, ale dostaje sygnał przeciwny do tego, którego uczyły go testy.
- Zapytaj kilka razy. Różne odpowiedzi na to samo pytanie to znak, że model zgaduje. Zgodne odpowiedzi nie są jednak dowodem. Zmyślone nazwy pakietów powtarzały się w prawie połowie przypadków.
- Podaj źródło zamiast pytać o pamięć. Model, który dostał tekst ustawy, cennik albo dokumentację, zmyśla rzadziej niż model, który odpowiada z pamięci. Nadal może źle zacytować, więc cytat trzeba sprawdzić w dokumencie.
- W firmie licz błędy osobno od trafień. Jeśli testujesz model na własnych pytaniach, zapisuj trzy liczby: trafienia, błędy i odmowy. Model z mniejszą liczbą trafień, ale dużo mniejszą liczbą błędów, bywa lepszym wyborem tam, gdzie pomyłka kosztuje.
- W kodzie nie instaluj niczego wprost z podpowiedzi. Sprawdź, czy pakiet istnieje, od kiedy, kto go wydał i ile ma pobrań. W projektach firmowych instaluj tylko z listy zatwierdzonych zależności.
Czego nie da się zrobić
Wyeliminować tego całkiem. Na część pytań nie da się odpowiedzieć, bo informacji nie ma albo pytanie jest niejasne. OpenAI pisze wprost, że trafność nigdy nie dojdzie do 100%. Jednocześnie autorzy tej samej pracy przekonują, że zmyślanie nie jest nieuniknione, bo model może się wstrzymać od odpowiedzi. Realny cel to więc nie model, który wie wszystko, tylko model, który częściej mówi „nie wiem”. Taki model w rankingach liczących tylko trafienia wypada gorzej, a rankingi decydują o tym, co producenci trenują.
Rozpoznać zmyślenia po formie. Poprawny format sygnatury, pewny ton i szczegół (nazwisko sędziego, numer strony, wersja biblioteki) nie są dowodem. Model nauczył się, jak wyglądają prawdziwe odpowiedzi, i taki sam kształt mają te zmyślone.
Zaufać deklarowanej pewności. Gdy model pisze, że jest „pewien” albo „w 95% pewien”, to też jest wygenerowany tekst. Po treningu na posłuszeństwo kalibracja się psuje, a zdanie o pewności nie pochodzi z osobnego pomiaru.
Przerzucić odpowiedzialności na narzędzie. Sądy, od Nowego Jorku po Warszawę, patrzą na to podobnie: za pismo odpowiada ten, kto je złożył, a nie narzędzie, którym je napisał. Tak samo jest z fakturą, ofertą i kodem, który trafił na produkcję.
Jedna myśl na drogę
Model nie ma w sobie miejsca, w którym rozróżnia „wiem” i „zgaduję”. Ma tylko odpowiedź, którą uznał za najbardziej prawdopodobną. Dlatego sprawdzanie nie jest oznaką nieufności wobec konkretnego modelu, tylko zwykłą częścią pracy z każdym z nich. Najtańsze jest wtedy, gdy model podał coś, co da się sprawdzić bez niego.
W następnej części: model, który przyznaje ci rację, czyli co się dzieje, kiedy model zna odpowiedź, ale woli powiedzieć to, co chcesz usłyszeć.
Źródła
- Postanowienie NSA z 23 czerwca 2026, sygn. I FZ 104/26: trzy orzeczenia z błędnymi tezami (Infor.pl)
- Kalai, Nachum, Vempala, Zhang, „Why Language Models Hallucinate” (OpenAI i Georgia Tech, arXiv, 4 września 2025)
- OpenAI, „Why language models hallucinate” (5 września 2025): przykład SimpleQA, o4-mini i gpt-5-thinking-mini
- Damien Charlotin, AI Hallucination Cases (baza orzeczeń) oraz AFP o bazie, czerwiec 2026
- Mata przeciwko Avianca i polskie przypadki zmyślonych orzeczeń (Bezprawnik)
- Spracklen i in., „We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs” (USENIX Security 2025)
- OpenAI, „GPT-4 Technical Report” (arXiv, marzec 2023): kalibracja przed i po treningu na posłuszeństwo