詞元與計費 / TOKEN WIKI

Tokenizer / 分詞器

Token超算力內容編輯 · 更新於 2026-10-28 · 入門級說明

一句話理解

分詞器把原始文字轉換成模型可處理的 Token 序列，並把輸出 Token 還原成可讀內容。

為什麼與業務有關？

分詞規則影響上下文佔用和呼叫費用，跨模型比較必須統一任務而不是機械比較 Token 數。

使用供應商指定版本的分詞器，保留角色範本、系統提示與特殊標記的開銷。

為什麼同一段文字的 Token 數不一樣？

不同詞表、演算法和對話範本會導致不同的分割結果。