Forklaret · 2 min
Hvad er et token?
De små bidder tekst, en AI-model læser og skriver, og hvorfor du betaler pr. token.
Skrevet af AI og tjekket mod vores redaktionelle kriterier. Ikke gennemgået af en redaktør.
Et token er en lille bid tekst, som en AI-model læser eller skriver. Det kan være et helt ord, en del af et ord, et enkelt bogstav eller et tegn.
Modeller kan ikke læse tekst direkte. De arbejder kun med tal. Derfor deler et program, der kaldes en tokenizer, først din tekst op i tokens og giver hvert token et nummer. Almindelige ord forbliver som regel hele. Sjældne eller lange ord deles op. Det engelske ord “tokenization” kan fx blive til “token” og “ization”.
Tænk på det sådan her: Et token er som en legoklods. Almindelige ord kommer som én færdig klods. Sjældne ord bygges af flere små klodser. Modellen arbejder kun med klodser, aldrig med hele sætninger.
På engelsk er et token ofte omkring tre til fire bogstaver langt, men det afhænger af modellen og sproget. Andre sprog, også dansk, bruger tit flere tokens på den samme tekst. Den samme sætning kan også tælle som et forskelligt antal tokens i to modeller.
Tokens betyder noget af to grunde. For det første måles en models arbejdshukommelse, dens context window, i tokens. For det andet tager AI-firmaerne betaling pr. token: én pris for de tokens, modellen læser, og som regel en højere pris for dem, den skriver. En agent, der arbejder i flere minutter, kan læse og skrive mange tusind tokens undervejs.
Hvad betyder det for dig: Når du sammenligner AI-priser, så sammenlign prisen for en færdig opgave, ikke kun prisen pr. million tokens. En billig model, der skal bruge mange flere tokens for at blive færdig, kan ende med at koste mere.
Læs mere: Hugging Face LLM Course: Tokenizers (engelsk) · Claude-dokumentation: Ordliste, Tokens (engelsk)