Token / 词元
Token 是模型处理信息的基本单位;在文本模型中通常由分词器把文字拆成词、子词、字符或字节片段。
阅读词条 ↗52 个入门词条,从词元、算力出海、词元出海出发,涵盖模型、推理、API 计费与全球交付。
Token 是模型处理信息的基本单位;在文本模型中通常由分词器把文字拆成词、子词、字符或字节片段。
阅读词条 ↗分词器把原始文本转换为模型可处理的 Token 序列,并把输出 Token 还原成可读内容。
阅读词条 ↗输入 Token 是一次模型请求中被模型读取的信息量,通常包含用户问题、系统提示、历史对话及工具等上下文。
阅读词条 ↗输出 Token 是模型生成的结果用量。不同服务还可能把推理过程中产生的特定用量单独列出。
阅读词条 ↗Token 成本测算是把输入、输出及其他可计费项目按同一币种和计量单位汇总的过程。
阅读词条 ↗上下文缓存是在满足特定条件时复用已处理上下文,以减少重复计算的机制。
阅读词条 ↗算力描述计算系统执行计算任务的能力。在 AI 场景中,需要结合任务、精度、硬件与软件栈理解。
阅读词条 ↗GPU 是适合大规模并行计算的处理器,常用于深度学习训练、推理和科学计算。
阅读词条 ↗显存是 GPU 存放模型权重、中间状态和其他计算数据的专用内存。
阅读词条 ↗FLOPS 表示每秒浮点运算次数,常用于描述特定精度与条件下的计算性能。
阅读词条 ↗GPU 智算集群由计算节点、互联网络、存储和调度等组件共同构成,用于承载较大规模 AI 工作负载。
阅读词条 ↗带宽表示单位时间内可传输的数据量;模型服务涉及显存、设备互联和网络等不同层次的带宽。
阅读词条 ↗大语言模型通过大规模训练学习语言中的模式,用于生成、理解和转换文本等任务。
阅读词条 ↗推理是使用已训练模型对新输入计算并生成输出的过程,与更新模型参数的训练不同。
阅读词条 ↗推理模型侧重复杂问题的分步处理与推断,常用于数学、代码和多约束任务。
阅读词条 ↗多模态模型能处理文本、图像、音频或视频等多种形式的信息,具体支持范围因模型而异。
阅读词条 ↗上下文窗口是模型一次处理时可容纳的 Token 范围,通常涉及输入和输出预算。
阅读词条 ↗提示词是用于说明任务、上下文、输出要求和约束的输入内容。
阅读词条 ↗吞吐量是在给定时间内处理的请求或 Token 数,需要说明统计对象与测试条件。
阅读词条 ↗推理延迟描述从请求发起到输出产生或完成所经历的时间,应区分排队、首字与总耗时。
阅读词条 ↗TTFT 指从请求开始到收到第一个输出 Token 的时间,常用于衡量流式交互的等待体验。
阅读词条 ↗KV Cache 缓存注意力机制计算中先前 Token 的键和值,以减少自回归生成中的重复计算。
阅读词条 ↗批处理把多个计算任务组合执行,以改善硬件利用率;服务系统也可能采用连续批处理。
阅读词条 ↗模型量化使用较低精度的数值表示部分模型数据或计算,以降低资源开销。
阅读词条 ↗流式输出让应用在完整结果生成之前逐步接收内容,常用于对话和实时交互。
阅读词条 ↗Token 出海是把模型推理等智能能力通过 API 或平台交付给海外应用的一种数字服务模式。
阅读词条 ↗算力出海是围绕计算资源、云服务、模型或应用能力向海外市场提供产品与服务的业务方向。
阅读词条 ↗API 定义应用之间交换请求和响应的方式;模型 API 让开发者调用远程模型能力。
阅读词条 ↗限流是控制一段时间内请求量、Token 用量或并发的机制,常用于管理资源与服务稳定性。
阅读词条 ↗RAG 在生成前从外部资料中检索相关内容,再把资料与问题交给模型,以补充上下文。
阅读词条 ↗Embedding 将文本等对象映射为数值向量,用于表达相似性并支持搜索、聚类等任务。
阅读词条 ↗向量数据库支持存储与检索向量,常与元数据过滤一起用于语义搜索和知识库应用。
阅读词条 ↗SEO 是帮助搜索引擎发现、理解和呈现网站内容的一组内容与技术实践。
阅读词条 ↗GEO 通常指改善内容在生成式搜索中的可发现性、可理解性与被引用可能性的实践。
阅读词条 ↗robots.txt 是放在站点根路径的抓取规则文件,用于向遵守规则的爬虫表达访问偏好。
阅读词条 ↗站点地图列出希望被发现的规范 URL,帮助搜索引擎了解公开内容结构。
阅读词条 ↗结构化数据用机器可读格式表达页面中的实体与关系,例如网站、文章、术语和面包屑。
阅读词条 ↗AI 搜索爬虫抓取公开网页以支持搜索或用户检索,不同机构可能区分搜索、用户访问和训练用途。
阅读词条 ↗Codex 是 OpenAI 的编程智能体产品,可在受控环境中理解代码、修改文件、运行检查,并协助处理软件任务。
阅读词条 ↗模型蒸馏是利用教师模型的输出、概率分布或中间信息训练学生模型,使其在目标任务上学习教师的部分能力。
阅读词条 ↗AI 圈中的“咒语”通常是提示词的趣味说法,指用户交给模型的任务说明、上下文、约束和输出要求。
阅读词条 ↗AI 原生编辑器与 IDE 将模型对话、代码上下文、补全、修改和工具执行融入开发工作流,让 AI 参与多个开发步骤。
阅读词条 ↗Cursor 是围绕 AI 辅助开发构建的代码编辑与智能体工具,提供代码上下文理解、自然语言交互和代码修改等工作流。
阅读词条 ↗Windsurf 是 AI 开发工具生态中的产品名称,Cascade 是相关智能体工作流;目前相关官方文档已导向 Devin Desktop 文档。
阅读词条 ↗TRAE 是提供 AI 辅助软件开发体验的工具,涵盖 IDE 与 SOLO 等产品形态,帮助开发者围绕需求理解、编写和验证代码。
阅读词条 ↗Cline 是可连接模型与开发工具的编程智能体生态,提供编辑器集成、终端及其他入口,可读取文件、修改代码并执行工具任务。
阅读词条 ↗OpenClaw 是可在自有基础设施上运行的 AI 助手与智能体系统,可连接模型、消息渠道和工具来处理任务。
阅读词条 ↗AI 智能体是围绕目标选择步骤、调用工具并利用反馈推进任务的系统,通常由模型、工具、状态与执行规则组成。
阅读词条 ↗Manus 是面向多步骤任务的 AI 智能体产品,可通过产品界面或相关 API 创建和管理智能体任务。
阅读词条 ↗Muse 是 Meta 推出的个人 AI 智能体产品,面向真实任务执行,使用 Muse Spark 等相关模型能力。
阅读词条 ↗Muse Spark 是 Meta 的模型系列,为 Meta AI、Muse 等产品及相关开发者入口提供推理和多模态能力,具体能力依型号而定。
阅读词条 ↗Vibe Coding 指借助自然语言与 AI 工具快速形成软件的开发方式,通常通过描述目标、观察结果并持续迭代推进。
阅读词条 ↗
一起出海 ↗