Токен (словесная единица)

Вы когда-нибудь задумывались, как ИИ понимает ваш текст, когда вы задаёте вопрос Deepseek, Doubao, Qwen, ChatGPT или Claude?

Суть ответа — нечто под названиемТокен, которое по-китайски называетсясловесной единицей. Концепция. Понимание токена — первый шаг в мир ИИ.

Что такое токен (словесная единица)?

Token (词元) = AI 能理解的最小文本单位

Мы можем представить его как: фрагменты текста в мире ИИ или топливо мира ИИ.

Подобно тому как люди читают, понимая смысл единицами размером со слово, ИИ тоже не обрабатывает текст буква за буквой — он разрезает текст на части, и каждая часть называется токеном (словесной единицей).

Полезная аналогия:

Представьте статью как пиццу. Вы не стали бы глотать её целиком или перемалывать в порошок — вы нарезаете её на кусочки, и каждый кусочек — это токен. Именно так ИИ потребляет текст: нарезает, понимает, переваривает.

Токен мельче слова и крупнее буквы — гибкая промежуточная единица.

Как выглядит токен?

Разные тексты сегментируются очень по-разному.

Обычные слова — это один токен, сложные слова разделяются, а пунктуация тоже считается токеном.

ТокениСимвол、 словоВ чём разница?

Многие думают, что токен = слово, но на самом делеэто не совсем так.。

Сегментация токенов следует специальному алгоритму (например, BPE, Byte Pair Encoding), и результаты иногда интуитивны, иногда удивительны:

Вывод:Токены мельче слов и крупнее букв, служа гибкой промежуточной единицей.

Почему токен важен?

1. Он определяет, сколько ИИ может прочитать

У каждой модели ИИ естьокно контекста— это максимальное количество токенов, которое она может обработать за один раз. Например:

• GPT-3.5: около 4,000 токенов
• GPT-4 Turbo: около 128,000 токенов
• Claude 3.5: около 200,000 токенов

За этим пределом ИИ не сможет вспомнить, что было сказано ранее, точно так же, как когда кратковременная память человека заполнена.

2. Это влияет на расходы на использование API

При вызове интерфейса ИИ (API) плата обычно взимается в зависимости от количества токенов.Входной текст + текст ответа ИИ, оба потребляют токены, поэтому чем длиннее вы пишете, тем больше это стоит.

3. Это влияет на скорость ответа ИИ

Когда ИИ генерирует текст, онвыводит по одному токену за раз.Поэтому чем длиннее ответ, тем дольше время ожидания.

Интересные факты о токенах

• 1,000 токенов ≈ 750 английских слов, что является часто используемым оценочным соотношением.
• Китайский, японский, корейскийи другие азиатские языки обычно потребляют больше токенов, чем английский, потому что эти символы сложнее в кодировании.
• Пробелы и знаки препинаниятакже считаются токенами! Не думайте, что учитывается только текст.
• КодПотребление токенов кодом обычно меньше, чем естественным языком, потому что языки программирования структурно компактны.

Итог