Słownik AI
Token
token
Najmniejsza jednostka tekstu przetwarzana przez model - fragment słowa, całe słowo lub znak interpunkcyjny.
Token to jednostka, na jaką model dzieli tekst. Nie jest to ani litera, ani słowo - najczęściej fragment słowa o długości kilku znaków. Częste słowa zajmują jeden token, rzadsze i dłuższe rozpadają się na kilka.
Dlaczego to ważne
- Koszty rozlicza się za tokeny, nie za znaki.
- Język polski zużywa ich więcej niż angielski - modele trenowano głównie na angielszczyźnie, więc polskie słowa dzielą się na więcej fragmentów.
- Limity okna kontekstowego podawane są w tokenach.
- Literowanie sprawia modelom kłopot, bo nie widzą pojedynczych liter.
Przelicznik orientacyjny
Dla angielskiego przyjmuje się około 0,75 słowa na token. Dla polskiego wartość jest wyraźnie niższa - ten sam tekst zużyje zauważalnie więcej tokenów niż jego angielski odpowiednik.
