Token (unidad léxica)

¿Alguna vez te has preguntado cómo la IA entiende tu texto cuando haces preguntas a Deepseek, Doubao, Qianwen, ChatGPT o Claude?

El núcleo de la respuesta es un concepto llamadoToken, que en chino se denominatoken (unidad léxica)El concepto. Comprender el Token es el primer paso para adentrarse en el mundo de la IA.

¿Qué es un Token (unidad léxica)?

Token (词元) = AI 能理解的最小文本单位

Podemos entenderlo como: fragmentos de texto en el mundo de la IA, o el combustible del mundo de la IA.

Así como los humanos leen comprendiendo el significado por palabras, la IA tampoco procesa el texto letra por letra: primero corta el texto en fragmentos, y cada fragmento se llama un Token (unidad léxica).

Una buena analogía:

Imagina un artículo como una pizza: no te la tragas entera ni la mueles hasta convertirla en polvo, sino que la cortas en trozos; cada trozo es un Token. Así es como la IA procesa el texto: lo corta, lo comprende y lo digiere.

Un Token es más fino que una palabra y más grueso que una letra; es una unidad intermedia flexible.

¿Cómo es un Token?

La forma de segmentar varía mucho según el texto.

Las palabras comunes son un Token; las palabras complejas se dividen; la puntuación también cuenta como Token.

Tokenycarácter、 palabra¿Cuál es la diferencia?

Mucha gente cree que Token = palabra, pero en realidadno es exactamente así.。

La división de Tokens sigue un algoritmo especial (como BPE, codificación por pares de bytes); a veces el resultado es intuitivo y otras veces sorprendente:

Conclusión:Un Token es más fino que una palabra y más grueso que una letra; es una unidad intermedia flexible.

¿Por qué es importante el Token?

1. Determina cuánto puede leer la IA

Cada modelo de IA tiene unaventana de contexto (Context Window), es decir, el número máximo de Tokens que puede procesar de una vez. Por ejemplo:

• GPT-3.5: aproximadamente 4,000 Tokens
• GPT-4 Turbo: aproximadamente 128,000 Tokens
• Claude 3.5: aproximadamente 200,000 Tokens

Si se supera este límite, la IA no recordará lo dicho anteriormente, como cuando la memoria a corto plazo de una persona está llena.

2. Afecta el costo de uso de la API

Al llamar a la interfaz de IA (API), el costo generalmente se calcula según la cantidad de Tokens.El texto de entrada + el texto de respuesta de la IA, ambos consumen Tokens; cuanto más escribas, mayor será el gasto.

3. Afecta la velocidad de respuesta de la IA

Cuando la IA genera texto, lo haceemitiendo Token a Token, así que cuanto más larga sea la respuesta, más tiempo de espera.

Curiosidades sobre el Token

• 1,000 Tokens ≈ 750 palabras en inglés, es una proporción de estimación de uso común.
• El chino, el japonés y el coreanoy otros idiomas asiáticos normalmente consumen más Tokens que el inglés, porque estos caracteres son más complejos en su codificación.
• Los espacios y los signos de puntuación¡También cuentan como Tokens! No pienses que solo el texto se contabiliza.
• CódigoEl consumo de Tokens del código generalmente es menor que el del lenguaje natural, porque los lenguajes de programación tienen una estructura compacta.

Resumen