Token（トークン）

Deepseek、豆包、千问、ChatGPT、Claude に質問するとき、AI がどのようにあなたの文章を読み取っているのか、不思議に思ったことはありませんか？

答えの核心は、Tokenと呼ばれ、中国語では词元（トークン）と呼ばれる概念です。Token を理解することは、AI の世界への第一歩です。

Token（トークン）とは？

Token (词元) = AI 能理解的最小文本单位

これは、AI の世界における文字の断片、あるいは AI の世界の燃料だと考えることができます。

人間が読むときに単語単位で意味を理解するように、AI も文字を一文字ずつ処理するわけではありません。まずテキストを細かい断片に分割し、その一つひとつを Token（トークン）と呼びます。

わかりやすい例え話：

一つの文章を一枚のピザだと考えてみてください。丸ごと飲み込むことも、粉々にすることもありません。一切れずつに切り分けます。その一切れが Token です。AI はこのようにして文章を取り込みます。切り分けて、理解して、消化するのです。

Token は単語より細かく、文字より粗い、柔軟な中間単位です。

Token はどんなもの？

テキストによって、分割方法は大きく異なります。

一般的な単語は 1 つの Token ですが、複雑な単語は分割され、句読点も Token として数えられます。

Tokenと字、 词違いは何？

多くの人は Token = 単語だと思っていますが、実は完全にそうとは限りません。

Token の分割は特別なアルゴリズム（例：BPE、Byte Pair Encoding）に従います。その結果は直感的なこともあれば、予想外のこともあります：

結論：Token は単語より細かく、文字より粗い、柔軟な中間単位です。

Token が重要なのはなぜ？

1. AI が読み取れる量を決める

すべての AI モデルにはコンテキストウィンドウ（Context Window）があり、つまり一度に処理できる最大 Token 数です。例えば：

• GPT-3.5：約 4,000 Token
• GPT-4 Turbo：約 128,000 Token
• Claude 3.5：約 200,000 Token

この制限を超えると、AI は以前の話を覚えていられなくなります。あたかも人間の短期記憶がいっぱいになったかのようです。

2. API の利用料金に影響する

AI の API を呼び出すとき、料金は通常 Token 数に応じて計算されます。入力したテキスト + AI が返信したテキストの両方で Token を消費するため、長く書くほどコストがかかります。

3. AI の応答速度に影響する

AI がテキストを生成するときは、Token を 1 つずつ出力していきますそのため、応答が長いほど待ち時間も長くなります。

Token の豆知識

• 1,000 Token ≈ 750 語の英単語これはよく使われるおおよその比率です。
• 中国語、日本語、韓国語などのアジア言語は通常、英語より多くの Token を消費します。これらの文字はエンコーディングがより複雑だからです。
• スペースと句読点も Token として数えられます！文字だけが数えられると思わないでください。
• コードの Token 消費量は通常、自然言語より少なくなります。プログラミング言語は構造がコンパクトだからです。

まとめ