Definitie
De kleinste eenheid waarin een taalmodel tekst opdeelt, meestal een stukje van een woord. LLMs verwerken en factureren per token.
In context
Een token is voor een taalmodel wat een woord of lettergreep is voor een mens, alleen dan op een eigen manier opgedeeld. Voor het Engelse "unbelievable" zou een tokenizer bijvoorbeeld "un", "believ" en "able" maken. Voor het Nederlandse "onhoudbaar" iets soortgelijks. Het model ziet de wereld in deze stukken en doet zijn voorspellingen op tokenniveau.
Het is een onzichtbaar maar belangrijk concept voor wie met AI werkt. Modellen rekenen per token. Een prompt van duizend tokens kost zoveel, een antwoord van duizend tokens kost zoveel. Voor het Nederlands liggen die kosten meestal hoger dan voor het Engels, omdat Nederlandse woorden in meer tokens worden opgedeeld door tokenizers die op overwegend Engelse tekst zijn getraind.
In 2026 spelen tokens ook een rol bij het contextvenster, het maximum aantal tokens dat een model in één keer kan verwerken. Bij grote codebases, lange juridische teksten of uitgebreide gesprekshistorie kan dit een harde limiet zijn, hoewel context-vensters van honderdduizenden tokens inmiddels normaal zijn geworden.
Veelgestelde vragen
Hoeveel tokens zit er in een woord?
Vuistregel voor Engels is ongeveer 1 token per 4 karakters, of ongeveer 0,75 token per woord. Voor Nederlands ligt het iets hoger, omdat samengestelde woorden vaak in meer stukken worden opgesplitst. Cijfers, emoji's en code hebben weer andere ratios. Voor een precieze schatting gebruik je een tokenizer-tool van de aanbieder.
Waarom rekenen AI-aanbieders per token?
Tokens zijn de natuurlijke rekeneenheid voor een taalmodel. De kosten voor de aanbieder schalen direct mee met het aantal tokens dat verwerkt of geproduceerd wordt, omdat dat het GPU-werk bepaalt. Per-tokenprijzen geven aanbieders een transparante manier om kosten door te rekenen, en gebruikers een manier om te budgetteren.
Wat is het contextvenster in tokens?
Het contextvenster is het maximum aantal tokens dat een model in één keer kan verwerken, inclusief de invoer, eerdere berichten in het gesprek en het uitgaande antwoord. Anno 2026 hebben de grotere modellen een contextvenster van honderdduizenden tot een miljoen tokens, genoeg voor hele boeken of grote codebases.
Waarom kost Nederlands meer tokens dan Engels?
De meeste tokenizers zijn getraind op overwegend Engelse tekst en herkennen daar veel woorden als één token. Voor Nederlandse en zeker voor talen als Fins of Hongaars wordt elk woord vaker in meerdere stukken opgedeeld. Dat betekent meer tokens voor dezelfde betekenis, en dus hogere kosten en langzamere reacties.
