Ile przepłacamy za polszczyznę w zagranicznych modelach?
Autor: Andrzej Albera, Odpowiada za strategię i kierunek rozwoju
Modele językowe nie czytają słów, tylko tokeny, czyli kawałki słów. Zagraniczne modele uczyły się głównie na angielskim, więc angielskie słowo to dla nich zwykle jeden token, a polskie dwa albo trzy. Płacimy więc za polszczyznę więcej i mieścimy w modelu mniej tekstu. Policzyliśmy, ile to kosztuje i co zmienia polski tokenizer.
Jak to policzyliśmy
Pomiar: preambuła Konstytucji RP po polsku i po angielsku, tokenizery porównane przez twórców Bielika.
| Krok | Wartość |
|---|---|
| Tokeny na słowo, angielski, zagraniczny model (Llama 3.2) | 1,17 |
| Tokeny na słowo, polski, ten sam model | 2,81 |
| Różnica | 2,4 razy więcej |
| Tokeny za ten sam tekst (preambuła): polski wobec angielskiego, zagraniczny model | 653 wobec 371, czyli o 76% więcej |
| Tokeny na słowo, polski, polski tokenizer Bielika v3 | 1,62 |
| Wynik | o 42% mniej tokenów za ten sam polski tekst |
Co to znaczy w praktyce? Na każde 10 tys. tokenów zagraniczny model zmieści ok. 3,6 tys. polskich słów, a polski tokenizer Bielika ok. 6,2 tys., czyli o trzy czwarte więcej akt, uchwał i pism za jednym razem.
Polska a świat
| Tokenizer | Tokeny na polskie słowo | Komentarz |
|---|---|---|
| Bielik v3 przed zmianą (oparty na Mistralu) | 3,22 | punkt wyjścia |
| Llama 3.2 | 2,81 | popularny model ogólny |
| Qwen3 | 2,69 | popularny model ogólny |
| EuroLLM | 1,88 | model europejski |
| Bielik v3 z polskim tokenizerem | 1,62 | najmniej tokenów na polskie słowo w zestawieniu |
Jak czytać te liczby
- Token to pieniądze i pamięć. W modelach rozliczanych za tokeny polski tekst kosztuje więcej za tę samą treść. W modelach uruchamianych u siebie płacimy czasem pracy serwera i mniejszym oknem kontekstowym.
- Polski tokenizer to nie ciekawostka, tylko oszczędność. Ten sam serwer obsłuży więcej pism, a model zobaczy naraz więcej dokumentów.
- Liczby są na słowo. Polski tekst ma wyraźnie mniej słów niż angielskie tłumaczenie (w preambule o ok. jedną czwartą), więc za ten sam tekst różnica wynosi ok. 76%.
Co z tego wynika dla instytucji
- Wybierać model do zadania, nie odwrotnie. Pisma, decyzje i odpowiedzi dla mieszkańców są po polsku. TWIN:DESK, nasze Cyfrowe biurko AI, działa na polskich modelach, takich jak Bielik i PLLuM, w serwerowni urzędu. Więcej o samych modelach piszemy na stronie Bielik i PLLuM w firmie i urzędzie.
- Widzieć, ile naprawdę zużywamy. PROXY:AI zapisuje, kto i do czego używa AI. Z takiego rejestru widać, gdzie polski model wystarczy, a gdzie opłaca się inny.
- Liczyć przed wdrożeniem. Metodyka CDF zaczyna od oceny wstępnej, w której sprawdzamy, jakie teksty urząd przetwarza i jaki model będzie dla nich najtańszy.
Polszczyzna nie musi być droższa. Polski stack AI to właśnie to: polskie modele, polski tokenizer i SAIE, które składa je w narzędzie dla urzędu. O pierwszym kroku pisaliśmy we wpisie Polskie modele językowe w urzędach: ostatni kilometr.