Tokenizer

Component die tekst opdeelt in tokens voordat een taalmodel ermee aan de slag gaat. Verschillende tokenizers leiden tot verschillende prijzen en gedrag.