Lexikon

Token

Die kleinste Texteinheit, die ein Sprachmodell verarbeitet — nicht genau ein Wort und nicht genau ein Zeichen, sondern etwas dazwischen.

← alle Begriffe