Co to jest token w AI i dlaczego płaci się za tokeny?

Czym jest token

Model językowy nie czyta liter ani całych słów. Tekst jest najpierw cięty na tokeny, czyli kawałki z ustalonego słownika, który liczy zwykle od kilkudziesięciu do kilkuset tysięcy pozycji. Częste słowa bywają jednym tokenem, rzadsze są dzielone na kilka części, a spacja i przecinek też się liczą.

Tu jest haczyk dla polskich firm. Tokenizery są uczone głównie na tekstach angielskich, więc polskie słowa, z odmianą i znakami diakrytycznymi, rozpadają się na więcej kawałków. Ten sam tekst po polsku zużywa zauważalnie więcej tokenów niż jego angielskie tłumaczenie. Przy pojedynczym pytaniu to bez znaczenia, przy tysiącach rozmów miesięcznie widać to w rachunku.

Ile tokenów ma jedno słowo

Dla angielskiego przyjmuje się, że token to średnio około trzech czwartych słowa, czyli 100 tokenów to mniej więcej 75 słów. Dla polskiego ta proporcja jest gorsza i zależy od modelu, bo każdy dostawca ma własny tokenizer. Jeśli potrzebujesz dokładnej liczby, dostawcy udostępniają narzędzia do liczenia tokenów.

Dlaczego płaci się za tokeny

Przy korzystaniu z modeli przez API płaci się za milion tokenów, osobno za tekst wysłany do modelu i osobno za tekst przez niego wygenerowany. Wygenerowany jest zwykle kilka razy droższy. Ceny zależą od modelu i między najtańszymi a najmocniejszymi różnią się nawet stukrotnie.

Dlatego w agentach AI tak ważne jest, co trafia do okna kontekstowego. Wklejanie całego 80-stronicowego regulaminu do każdego pytania klienta kosztuje. Podanie tylko trzech pasujących fragmentów przez RAG kosztuje ułamek tego. Jak liczę koszty całego projektu, pokazuję w tekście o kosztach i ROI agenta AI.

Jak oszczędzać tokeny

Kilka sposobów, które stosuję w projektach: krótszy i konkretny system prompt, tańszy model do prostych zadań jak klasyfikacja maili, cache'owanie powtarzalnej części promptu, na którą dostawcy dają duże rabaty, i ograniczenie długości odpowiedzi tam, gdzie wystarczy jedno zdanie.