Un token est un petit morceau de texte, souvent un bout de mot, que les modèles d'IA utilisent pour lire et écrire. Un modèle comme ChatGPT ou Claude ne voit pas des phrases ni même des mots entiers: il voit une suite de tokens. Un mot court peut tenir en un token, un mot long en plusieurs. Les tokens servent aussi d'unité de mesure: ils fixent la quantité de texte qu'une IA peut traiter d'un coup et, souvent, le prix.
Une image pour comprendre
Pensez à des briques de construction. Pour bâtir une maison, on n'utilise pas une pièce par pièce de la maison, mais des briques standard qui s'assemblent de mille façons. Les tokens sont les briques du texte pour une IA: un nombre limité de morceaux réutilisables qui, combinés, permettent d'écrire n'importe quel mot, y compris un nom propre qu'elle n'a jamais vu.
Par exemple, un mot comme "anticonstitutionnellement" sera découpé en plusieurs morceaux, tandis que "le" ou "chat" tiennent souvent en un seul.
Combien de mots dans un token?
OpenAI donne une règle approximative pour l'anglais: un token correspond à environ 4 caractères, soit à peu près trois quarts de mot. 100 tokens représentent donc environ 75 mots anglais. OpenAI précise que ce ne sont que des estimations, et que le rapport change selon la langue.
En français, les mots sont en moyenne un peu plus longs et les accents comptent, donc un même texte demande en général un peu plus de tokens qu'en anglais. Chaque fournisseur de modèle a aussi son propre découpage: le même paragraphe ne donne pas exactement le même nombre de tokens chez OpenAI, Anthropic ou Google.
Un exemple concret
Prenons une étude notariale fictive à Rennes. Un clerc veut faire résumer un acte de vente de 20 pages, soit environ 8 000 mots. Cela représente plus de 10 000 tokens. Il ajoute sa consigne ("résume les servitudes et les conditions suspensives"), puis l'IA écrit une réponse de 300 mots, soit encore quelques centaines de tokens.
Trois conséquences pratiques:
- La facture. Les fournisseurs facturent l'accès à leurs modèles au token, en distinguant souvent les tokens lus (entrée) et les tokens écrits (sortie).
- La limite. Chaque modèle a une fenêtre de contexte, la quantité maximale de tokens qu'il peut prendre en compte en même temps: votre texte, la conversation et sa réponse.
- La qualité. Même quand tout tient dans la fenêtre, un modèle devient moins fiable quand la conversation s'allonge beaucoup. Il "oublie" ce qui a été dit au début. C'est le context rot.
Pourquoi les tokens existent
Un modèle de langage travaille avec des nombres, pas avec des lettres. Chaque token reçoit donc un numéro. Quand vous écrivez, votre texte est converti en une suite de numéros, le modèle calcule le numéro du token suivant le plus probable, puis le reconvertit en texte. C'est le cœur de l'IA générative, expliqué pas à pas dans comment fonctionne ChatGPT.
Découper en morceaux plutôt qu'en mots entiers a un avantage: le vocabulaire reste limité, mais le modèle peut écrire des mots rares, des fautes de frappe, du code ou plusieurs langues.
Et vos données confidentielles?
Chaque token que vous envoyez part chez le fournisseur du modèle. Un nom de patient, un numéro de dossier ou une clause de contrat sont transmis de la même façon que le reste du texte.
Conseil pratique: n'envoyez que ce qui est nécessaire. Plutôt que tout un dossier, collez le passage utile: moins de tokens, moins de coût, et moins de données confidentielles qui circulent.
Le vrai risque n'est pas le token lui-même, c'est ce que le fournisseur a le droit d'en faire. S'il peut réutiliser vos contenus, il peut, une fois les noms retirés, en faire des données anonymisées que le RGPD ne protège plus et qui peuvent être vendues légalement. Voir la trace des données et pseudonymisation et anonymisation. Wysor agit uniquement comme sous-traitant sur vos instructions, sans licence de réutilisation, sans entraînement et sans vente de vos contenus, avec le zéro rétention chez chaque fournisseur de modèle connecté. Vous y retrouvez GPT, Claude, Gemini et d'autres modèles dans un seul espace, hébergé dans l'UE.
Questions fréquentes
Un token, c'est un mot? Pas toujours. Un mot court et courant est souvent un seul token, un mot long ou rare est découpé en plusieurs. La ponctuation et les espaces comptent aussi.
Comment compter les tokens d'un texte? Les fournisseurs proposent des outils de comptage. OpenAI met par exemple à disposition un outil en ligne appelé Tokenizer. Comme chaque modèle découpe différemment, le compte exact dépend du modèle utilisé.
Qu'est-ce qu'une fenêtre de contexte? C'est le nombre maximal de tokens qu'un modèle peut prendre en compte à la fois, question, documents, historique et réponse compris. Au-delà, il doit laisser de côté une partie du texte.
Pourquoi les tokens changent-ils le prix de l'IA? Parce que le calcul nécessaire augmente avec la quantité de texte traitée. Les fournisseurs facturent donc à l'usage, en tokens d'entrée et de sortie.
Pour aller plus loin
- Qu'est-ce que l'IA générative? Explication simple
- Comment fonctionne ChatGPT? Explication simple
- Context rot: pourquoi les longues conversations oublient
- Données personnelles: définition et exemples simples
Une question sur l'IA dans votre organisation? Écrivez-nous à [email protected] ou via le formulaire de contact dans l'application.
