Tokeny, kontekst i halucynacje: dlaczego model się myli
Gdy model AI zachowuje się dziwnie, zwykle stoi za tym jedno z trzech zjawisk: limit tokenów, ograniczony kontekst albo halucynacja.
Token: jednostka, w której liczy model
Model nie czyta liter ani całych słów, tylko tokenów, czyli kawałków tekstu. Token bywa całym słowem, jego częścią albo pojedynczym znakiem. W języku angielskim to z grubsza trzy czwarte słowa, a w wielu innych językach, także w polskim, tokenów na słowo wychodzi więcej. Limity długości i koszty usług zwykle liczy się właśnie w tokenach.
Okno kontekstu: pamięć robocza
Model widzi tylko to, co mieści się w jego oknie kontekstu: Twoje polecenia, wcześniejsze odpowiedzi i wklejone pliki. Gdy rozmowa jest bardzo długa, najstarsze fragmenty mogą zostać odcięte albo tracą na znaczeniu. Skutek: model „zapomina” ustalenia z początku, powtarza błędy lub zmienia styl kodu.
- Zaczynaj nową rozmowę przy nowym zadaniu.
- Przypominaj najważniejsze ograniczenia.
- Wklejaj tylko te fragmenty kodu, które są potrzebne.
- Przy długiej pracy poproś o krótkie podsumowanie ustaleń i od niego zacznij nową rozmowę.
Halucynacja: pewna siebie nieprawda
Model generuje odpowiedź, która brzmi dobrze, nawet jeśli nie ma za nią podstaw. W programowaniu typowe przykłady to funkcja, która nie istnieje w danej bibliotece, nieistniejący parametr, wymyślony pakiet albo składnia z innej wersji narzędzia. Dzieje się tak, bo model ma tworzyć prawdopodobny tekst, a nie sprawdzać fakty.
Jak się chronić:
- uruchamiaj kod, zamiast wierzyć na słowo,
- sprawdzaj nazwy funkcji i bibliotek w oficjalnej dokumentacji,
- poproś model o wskazanie założeń, na których oparł odpowiedź,
- przy ważnych wnioskach zapytaj ponownie w nowej rozmowie lub w innym narzędziu.
Dlaczego dobry prompt pomaga
Jasny kontekst zmniejsza pole do zgadywania, a mniej zgadywania to mniej halucynacji. O tym, jak to robić, piszemy w poradniku o pisaniu promptów do kodu.
