Token

Ein Sprachmodell zerlegt Text in Tokens. Das können ganze Wörter, Wortteile, einzelne Zeichen oder Bytes sein. Wie viele Tokens ein Text ergibt, hängt vom Modell und von der Sprache ab. In Tokens werden die Größe des Kontextfensters und meist auch die Kosten gemessen.

Weiterlesen

• Anthropic: Glossar