Token
Unité de découpage du texte
Token, qu'est-ce que c'est ?
Un token est le fragment de texte élémentaire qu'un modèle manipule : le plus souvent un mot court, un morceau de mot long, ou un signe de ponctuation. En français, comptez environ trois tokens pour quatre mots. C'est l'unité dans laquelle se mesurent la facturation des plateformes, la longueur maximale d'un échange et la vitesse de réponse.
Aussi appelé : jeton.
Token : qu'est-ce que ça change pour une PME ?
Deux conséquences pratiques. La première est financière : chez un éditeur, vous payez au token, en entrée comme en sortie, donc envoyer un contrat de cent pages à chaque question coûte cher - c'est un des arguments économiques de l'auto-hébergement, où le coût est celui de la machine. La seconde est fonctionnelle : un modèle a une longueur maximale, et un document trop long doit être découpé, d'où l'intérêt du RAG.
Comment nous traitons Token
Sur une installation chez vous, le token n'est plus une unité de facturation, seulement une unité de mesure : il sert à dimensionner la machine et à estimer les temps de réponse. C'est un des points où la comparaison avec un abonnement par utilisateur devient parlante au moment de l'audit.
À retenir
- Environ trois tokens pour quatre mots en français
- Les plateformes facturent l'entrée et la sortie
- Chaque modèle a une longueur maximale de contexte
- Auto-hébergé, le token cesse d'être un coût variable