Un token est l'unité de base que manipule un modèle de langage : un fragment de mot, un mot ou un signe.
Un token est le morceau élémentaire de texte qu'un modèle traite. Selon la langue, un token peut être un mot court, une partie de mot ou un caractère de ponctuation.
Les modèles découpent le texte en tokens avant de le traiter, et leur capacité se mesure en nombre de tokens de contexte.
La facturation des API d'IA se fait généralement au nombre de tokens consommés, en entrée comme en sortie.
Nos experts déploient ces concepts dans des solutions concrètes pour votre entreprise.