Token (Unité de mot)

Vous êtes-vous déjà demandé comment l'IA comprend votre texte lorsque vous posez une question à Deepseek, Doubao, Qwen, ChatGPT ou Claude ?

Le cœur de la réponse est ce qu'on appelleToken, que l'on appelle en chinoisunité de motLe concept. Comprendre Token est la première étape dans le monde de l'IA.

Qu'est-ce qu'un Token (Unité de mot) ?

Token (词元) = AI 能理解的最小文本单位

On peut le voir comme : des fragments de texte dans le monde de l'IA, ou le carburant du monde de l'IA.

Tout comme les humains lisent en comprenant le sens par unités de la taille d'un mot, l'IA ne traite pas non plus le texte lettre par lettre—elle découpe le texte en morceaux, et chaque morceau est appelé un Token (unité de mot).

Une analogie utile :

Imaginez un article comme une pizza. Vous ne l'avaleriez pas tout entier ni ne le réduiriez en poudre—vous le coupez en tranches, et chaque tranche est un Token. C'est ainsi que l'IA consomme le texte : découper, comprendre, digérer.

Token est plus fin qu'un mot et plus grossier qu'une lettre—une unité intermédiaire flexible.

À quoi ressemble un Token ?

Les différents textes sont segmentés de manières très différentes.

Les mots courants correspondent à un Token, les mots complexes sont découpés, et la ponctuation compte aussi comme un Token.

TokenetCaractère、 motQuelle est la différence ?

Beaucoup de gens pensent que Token = mot, mais en faitce n'est pas tout à fait vrai.。

La segmentation en tokens suit un algorithme spécial (comme BPE, Byte Pair Encoding), et les résultats sont parfois intuitifs, parfois surprenants :

Conclusion :Les tokens sont plus fins que les mots et plus grossiers que les lettres, servant d'unité intermédiaire flexible.

Pourquoi les tokens sont-ils importants ?

1. Il détermine combien l'IA peut lire

Chaque modèle d'IA a unefenêtre de contexte, qui correspond au nombre maximum de tokens qu'il peut traiter en une fois. Par exemple :

• GPT-3.5 : environ 4,000 tokens
• GPT-4 Turbo : environ 128,000 tokens
• Claude 3.5 : environ 200,000 tokens

Au-delà de cette limite, l'IA ne parviendra pas à se souvenir de ce qui a été dit auparavant, tout comme lorsque la mémoire à court terme d'une personne est pleine.

2. Il affecte les coûts d'utilisation de l'API

Lorsque vous appelez une interface d'IA (API), les frais sont généralement facturés en fonction du nombre de tokens.Texte d'entrée + texte de réponse de l'IA, les deux consomment des tokens, donc plus vous écrivez, plus cela coûte cher.

3. Il affecte la vitesse de réponse de l'IA

Lorsque l'IA génère du texte, elleproduit un token à la fois.Par conséquent, plus la réponse est longue, plus le temps d'attente est long.

Anecdotes sur les tokens

• 1,000 tokens ≈ 750 mots anglais, ce qui est un ratio d'estimation couramment utilisé.
• Le chinois, le japonais, le coréenet d'autres langues asiatiques consomment généralement plus de tokens que l'anglais, car ces caractères sont plus complexes à encoder.
• Les espaces et la ponctuationcomptent aussi comme des tokens ! Ne pensez pas que seul le texte compte.
• CodeLa consommation de tokens du code est généralement inférieure à celle du langage naturel, car les langages de programmation sont structurellement compacts.

Résumé