Czym są halucynacje AI i skąd się biorą?

Skąd się biorą halucynacje

Model językowy nie ma w środku bazy sprawdzonych faktów. Ma wzorce, z których składa tekst pasujący do pytania. Kiedy wie, pasujący tekst jest zwykle prawdziwy. Kiedy nie wie, dalej składa tekst, który pasuje, tylko że tym razem prawdziwy być nie musi. I robi to tym samym pewnym tonem.

Najczęściej zmyślane są rzeczy o przewidywalnym kształcie: numery artykułów, sygnatury wyroków, tytuły publikacji, adresy stron, dokładne liczby. Głośna była sprawa z 2023 roku, w której prawnicy w USA powołali się w sądzie na wyroki podsunięte przez ChatGPT. Wyroki nie istniały, a sąd nałożył na prawników sankcje.

Jak ograniczyć halucynacje

Nie da się ich wyłączyć, ale da się je mocno ograniczyć. Najskuteczniej działa danie modelowi źródeł i kazanie mu odpowiadać tylko na ich podstawie. Tak działa RAG. Do tego wymóg cytowania, czyli każda odpowiedź z odnośnikiem do fragmentu, z którego pochodzi, i wyraźne pozwolenie na odpowiedź „nie wiem”.

Pomagają też niższa temperatura przy zadaniach faktograficznych, liczenie przez narzędzia zamiast „w głowie” modelu i człowiek w pętli tam, gdzie pomyłka kosztuje. Praktyczne metody sprawdzania opisałem w tekście jak sprawdzać odpowiedzi AI.

Projektuj tak, żeby błąd było widać

W projektach przyjmuję, że model się czasem pomyli, i buduję system tak, żeby pomyłka była tania i łatwa do wyłapania. Janina, asystentka kadrowa, przy każdej odpowiedzi podaje numer artykułu. Kadrowa sprawdza go w kilka sekund, zamiast ślepo ufać. Halucynacja przestaje być ukrytym ryzykiem, bo widać ją od razu.