La tokenisation est le processus par lequel un modèle de langage découpe le texte brut en unités de base appelées tokens avant de le traiter. Un token n'est pas forcément un mot : il peut correspondre à un mot entier ("formation"), un sous-mot ("form" + "ation"), un caractère ou un signe de ponctuation. Le modèle ne travaille jamais directement avec du texte lisible par un humain, il travaille avec des séquences de tokens numériques.
Chaque modèle utilise son propre tokenizer (algorithme de découpage). GPT-4 utilise le tokenizer cl100k_base, Claude utilise son propre système, Mistral aussi. En français, un mot correspond en moyenne à 1,3 à 1,5 tokens, ce qui signifie que traiter du texte français coûte environ 30 à 50% plus cher que du texte anglais à longueur égale (en anglais, un mot correspond à environ 1 token en moyenne).
La plupart des LLM modernes utilisent un algorithme appelé Byte Pair Encoding (BPE) ou une variante. Le principe : identifier les séquences de caractères les plus fréquentes dans le corpus d'entraînement et les fusionner en tokens uniques. Les mots courants deviennent un seul token, les mots rares ou inconnus sont découpés en plusieurs sous-tokens.
Cette méthode permet au modèle de gérer n'importe quel mot, y compris ceux qu'il n'a jamais vus, en les recomposant à partir de leurs sous-unités. Un terme technique comme "hypervisorization" sera découpé en "hyper" + "vis" + "oriz" + "ation", alors que "the" sera un seul token. Pour compter précisément les tokens d'un texte, OpenAI fournit l'outil tiktoken et Anthropic une API de comptage.
La tokenisation a un impact direct sur trois aspects critiques de l'utilisation de l'IA. Le premier est le coût. Les fournisseurs d'API (OpenAI, Anthropic, Mistral) facturent au token. Si vous envoyez 1 000 mots en français, cela représente environ 1 400 tokens en entrée, plus les tokens de la réponse en sortie. Sur des volumes importants (milliers de requêtes par jour), optimiser la longueur des prompts et des réponses peut réduire significativement la facture.
Le deuxième impact est la fenêtre de contexte. Chaque modèle a une limite maximale de tokens qu'il peut traiter en une seule requête (entrée + sortie combinés). Les modèles GPT supportent plus de 100 000 tokens, Claude plusieurs centaines de milliers de tokens, Gemini jusqu'à plus d'un million de tokens. Quand vous analysez un document long, la tokenisation détermine si le document tient dans la fenêtre de contexte ou s'il faut le découper en segments.
Le troisième impact est la qualité. Le tokenizer influence la compréhension du modèle. Les tokenizers entraînés principalement sur de l'anglais peuvent mal découper des mots dans d'autres langues ou des termes techniques spécialisés, ce qui peut dégrader la qualité des réponses. C'est une des raisons pour lesquelles Mistral, entraîné avec une attention particulière au français, peut être plus précis sur des textes très techniques en français.
Pour estimer rapidement le coût d'un cas d'usage, quelques repères utiles. Un email professionnel de 200 mots en français représente environ 280 tokens. Une page Word standard (300 mots) représente environ 420 tokens. Un rapport de 20 pages représente environ 8 000 tokens. Un manuel complet de 200 pages représente environ 80 000 tokens.
Sur un cas d'usage type de génération de réponses clients (prompt système de 500 tokens, contexte de 2 000 tokens, réponse de 300 tokens), chaque requête coûte environ 2 800 tokens. Pour 10 000 requêtes par mois, cela représente 28 millions de tokens. Avec un modèle milieu de gamme, la facture mensuelle reste inférieure à 100 euros, ce qui met en perspective la rentabilité de la plupart des cas d'usage.
Plusieurs pratiques permettent de réduire la consommation de tokens. Utiliser des prompts concis et structurés (éviter les répétitions et les reformulations). Limiter la longueur des réponses avec des instructions explicites ("Réponds en 200 mots maximum"). Choisir le bon modèle pour chaque tâche (un modèle Small pour les tâches simples plutôt qu'un Large).
Pour les systèmes RAG, optimiser la taille des chunks pour ne pas gaspiller de tokens sur du contexte non pertinent. Utiliser le prompt caching quand il est disponible (Anthropic, OpenAI) pour éviter de re-facturer le prompt système à chaque requête. Segmenter les longs documents avec une logique métier plutôt que de tout envoyer en une fois. Ces optimisations peuvent réduire la facture de 30 à 70% sur un cas d'usage à volume.
Les concepts de tokenisation et d'optimisation des coûts IA sont abordés dans nos formations Fondamentaux IA. Voir le catalogue Almera.
Maîtriser la tokenisation est clé pour piloter les coûts d'un déploiement IA à l'échelle. Pour aller plus loin, consultez notre guide sur les agents IA en entreprise et notre guide pour financer votre transformation IA. Almera accompagne les grands comptes (Eli Lilly, Havas, Carrefour, Orange, Eiffage) sur la transformation IA en entreprise, du diagnostic au déploiement d'agents IA métiers. Réservez un diagnostic IA gratuit de 30 minutes.
