Słownik AI
Halucynacja
hallucination
Odpowiedź modelu, która brzmi wiarygodnie, ale jest nieprawdziwa - nieistniejące źródła, wymyślone dane, fikcyjne cytaty.
Halucynacja to sytuacja, w której model podaje informację nieprawdziwą, formułując ją tak samo pewnie jak informację poprawną.
Dlaczego się zdarza
Model generuje najbardziej prawdopodobny ciąg tokenów w danym kontekście. Nie ma osobnego mechanizmu weryfikacji prawdy. Gdy pytasz o coś, czego nie ma w jego wagach, model konstruuje odpowiedź prawdopodobną - z nazwiskami, datami i numerami, które pasują do wzorca, ale nie odpowiadają rzeczywistości.
Jak ograniczać
- Dostarczaj źródła w zapytaniu (RAG).
- Wymagaj cytowania fragmentów, na których oparta jest odpowiedź.
- Wprost pozwól modelowi napisać "nie wiem".
- Weryfikuj kodem wszystko, co da się zweryfikować.
Zobacz też: Halucynacje modeli w praktyce.
