Een token is een klein stukje tekst, vaak een woord of deel van een woord, dat een taalmodel stuk voor stuk leest en genereert. Modellen splitsen tekst op in tokens voordat ze deze verwerken, dus een zin kan uit meerdere tokens bestaan. Tokens zijn in de praktijk belangrijk omdat ze bepalen hoeveel tekst in een verzoek past en hoe het gebruik wordt afgerekend.
Wilt u dit toepassen in uw bedrijf? Bekijk hoe wij het naar productie brengen:
Wij bouwen deze AI in productie — met vaste prijzen en een vaste expert. Begin met een gratis consult.
Gratis consult boeken →