Token / 词元
Token 是模型处理信息的基本单位；在文本模型中通常由分词器把文字拆成词、子词、字符或字节片段。
阅读词条 ↗TOKEN WIKI / 行业知识库
理解词元，从一个概念开始。
38 个入门词条，从词元、算力出海、词元出海出发，涵盖模型、推理、API 计费与全球交付。
38 个词条
Tokenizer / 分词器
分词器把原始文本转换为模型可处理的 Token 序列，并把输出 Token 还原成可读内容。
阅读词条 ↗输入 Token
输入 Token 是一次模型请求中被模型读取的信息量，通常包含用户问题、系统提示、历史对话及工具等上下文。
阅读词条 ↗输出 Token
输出 Token 是模型生成的结果用量。不同服务还可能把推理过程中产生的特定用量单独列出。
阅读词条 ↗Token 成本测算
Token 成本测算是把输入、输出及其他可计费项目按同一币种和计量单位汇总的过程。
阅读词条 ↗上下文缓存
上下文缓存是在满足特定条件时复用已处理上下文，以减少重复计算的机制。
阅读词条 ↗算力
算力描述计算系统执行计算任务的能力。在 AI 场景中，需要结合任务、精度、硬件与软件栈理解。
阅读词条 ↗GPU / 图形处理器
GPU 是适合大规模并行计算的处理器，常用于深度学习训练、推理和科学计算。
阅读词条 ↗显存 / VRAM
显存是 GPU 存放模型权重、中间状态和其他计算数据的专用内存。
阅读词条 ↗FLOPS / 浮点运算能力
FLOPS 表示每秒浮点运算次数，常用于描述特定精度与条件下的计算性能。
阅读词条 ↗GPU 智算集群
GPU 智算集群由计算节点、互联网络、存储和调度等组件共同构成，用于承载较大规模 AI 工作负载。
阅读词条 ↗带宽与互联
带宽表示单位时间内可传输的数据量；模型服务涉及显存、设备互联和网络等不同层次的带宽。
阅读词条 ↗LLM / 大语言模型
大语言模型通过大规模训练学习语言中的模式，用于生成、理解和转换文本等任务。
阅读词条 ↗推理 / Inference
推理是使用已训练模型对新输入计算并生成输出的过程，与更新模型参数的训练不同。
阅读词条 ↗推理模型 / Reasoning Model
推理模型侧重复杂问题的分步处理与推断，常用于数学、代码和多约束任务。
阅读词条 ↗多模态模型
多模态模型能处理文本、图像、音频或视频等多种形式的信息，具体支持范围因模型而异。
阅读词条 ↗上下文窗口
上下文窗口是模型一次处理时可容纳的 Token 范围，通常涉及输入和输出预算。
阅读词条 ↗Prompt / 提示词
提示词是用于说明任务、上下文、输出要求和约束的输入内容。
阅读词条 ↗吞吐量 / Throughput
吞吐量是在给定时间内处理的请求或 Token 数，需要说明统计对象与测试条件。
阅读词条 ↗推理延迟
推理延迟描述从请求发起到输出产生或完成所经历的时间，应区分排队、首字与总耗时。
阅读词条 ↗TTFT / 首 Token 时间
TTFT 指从请求开始到收到第一个输出 Token 的时间，常用于衡量流式交互的等待体验。
阅读词条 ↗KV Cache
KV Cache 缓存注意力机制计算中先前 Token 的键和值，以减少自回归生成中的重复计算。
阅读词条 ↗批处理 / Batching
批处理把多个计算任务组合执行，以改善硬件利用率；服务系统也可能采用连续批处理。
阅读词条 ↗模型量化
模型量化使用较低精度的数值表示部分模型数据或计算，以降低资源开销。
阅读词条 ↗流式输出 / Streaming
流式输出让应用在完整结果生成之前逐步接收内容，常用于对话和实时交互。
阅读词条 ↗Token 出海 / 词元出海
Token 出海是把模型推理等智能能力通过 API 或平台交付给海外应用的一种数字服务模式。
阅读词条 ↗算力出海
算力出海是围绕计算资源、云服务、模型或应用能力向海外市场提供产品与服务的业务方向。
阅读词条 ↗API / 应用程序接口
API 定义应用之间交换请求和响应的方式；模型 API 让开发者调用远程模型能力。
阅读词条 ↗限流 / Rate Limit
限流是控制一段时间内请求量、Token 用量或并发的机制，常用于管理资源与服务稳定性。
阅读词条 ↗RAG / 检索增强生成
RAG 在生成前从外部资料中检索相关内容，再把资料与问题交给模型，以补充上下文。
阅读词条 ↗Embedding / 向量表示
Embedding 将文本等对象映射为数值向量，用于表达相似性并支持搜索、聚类等任务。
阅读词条 ↗向量数据库
向量数据库支持存储与检索向量，常与元数据过滤一起用于语义搜索和知识库应用。
阅读词条 ↗SEO / 搜索引擎优化
SEO 是帮助搜索引擎发现、理解和呈现网站内容的一组内容与技术实践。
阅读词条 ↗GEO / 生成式搜索优化
GEO 通常指改善内容在生成式搜索中的可发现性、可理解性与被引用可能性的实践。
阅读词条 ↗robots.txt
robots.txt 是放在站点根路径的抓取规则文件，用于向遵守规则的爬虫表达访问偏好。
阅读词条 ↗Sitemap / 站点地图
站点地图列出希望被发现的规范 URL，帮助搜索引擎了解公开内容结构。
阅读词条 ↗结构化数据 / JSON-LD
结构化数据用机器可读格式表达页面中的实体与关系，例如网站、文章、术语和面包屑。
阅读词条 ↗AI 搜索爬虫
AI 搜索爬虫抓取公开网页以支持搜索或用户检索，不同机构可能区分搜索、用户访问和训练用途。
阅读词条 ↗