Token / 詞元
Token 是模型處理資訊的基本單位;在文字模型中通常由分詞器將文字拆成詞、子詞、字元或位元組片段。
閱讀詞條 ↗52 個入門詞條,從詞元、算力出海、詞元出海出發,涵蓋模型、推理、API 計費與全球交付。
Token 是模型處理資訊的基本單位;在文字模型中通常由分詞器將文字拆成詞、子詞、字元或位元組片段。
閱讀詞條 ↗分詞器把原始文字轉換成模型可處理的 Token 序列,並把輸出 Token 還原成可讀內容。
閱讀詞條 ↗輸入 Token 是一次模型請求中被模型讀取的資訊量,通常包含使用者問題、系統提示、歷史對話及工具等上下文。
閱讀詞條 ↗輸出 Token 是模型產生的結果用量。不同服務也可能把推理過程中產生的特定用量單獨列出。
閱讀詞條 ↗Token 成本計算是把輸入、輸出及其他可計費項目以同一幣種和計量單位匯總的過程。
閱讀詞條 ↗上下文快取是在滿足特定條件時重複處理上下文,以減少重複計算的機制。
閱讀詞條 ↗算力描述計算系統執行計算任務的能力。在 AI 場景中,需要結合任務、精確度、硬體與軟體堆疊理解。
閱讀詞條 ↗GPU 是適合大規模平行運算的處理器,常用於深度學習訓練、推理和科學運算。
閱讀詞條 ↗顯存是 GPU 存放模型權重、中間狀態和其他計算資料的專用記憶體。
閱讀詞條 ↗FLOPS 表示每秒浮點運算次數,常用於描述特定精確度與條件下的計算效能。
閱讀詞條 ↗GPU 智算叢集由運算節點、網路絡、儲存和調度等元件共同構成,用於承載較大規模 AI 工作負載。
閱讀詞條 ↗頻寬表示單位時間內可傳輸的資料量;模型服務涉及顯存、設備互聯和網路等不同層級的頻寬。
閱讀詞條 ↗大語言模型透過大規模訓練學習語言中的模式,用於產生、理解和轉換文字等任務。
閱讀詞條 ↗推理是使用已訓練模型對新輸入計算並產生輸出的過程,與更新模型參數的訓練不同。
閱讀詞條 ↗推理模型著重複雜問題的逐步處理與推斷,常用於數學、程式碼和多約束任務。
閱讀詞條 ↗多模態模型能處理文字、影像、音訊或視訊等多種形式的訊息,具體支援範圍因模型而異。
閱讀詞條 ↗上下文視窗是模型一次處理時可容納的 Token 範圍,通常涉及輸入和輸出預算。
閱讀詞條 ↗提示詞是用來說明任務、情境、輸出要求和限制的輸入內容。
閱讀詞條 ↗吞吐量是在給定時間內處理的請求或 Token 數,需要說明統計物件與測試條件。
閱讀詞條 ↗推理延遲描述從請求發起到輸出產生或完成所經歷的時間,應區分排隊、首字與總耗時。
閱讀詞條 ↗TTFT 指從請求開始到收到第一個輸出 Token 的時間,常用於衡量串流互動的等待體驗。
閱讀詞條 ↗KV Cache 快取注意力機制計算中先前 Token 的鍵和值,以減少自迴歸產生中的重複計算。
閱讀詞條 ↗批次將多個計算任務組合執行,以改善硬體使用率;服務系統也可能採用連續批次處理。
閱讀詞條 ↗模型量化使用較低精度的數值表示部分模型資料或計算,以降低資源開銷。
閱讀詞條 ↗串流輸出讓應用程式在完整結果產生之前逐步接收內容,常用於對話和即時互動。
閱讀詞條 ↗Token 出海是把模型推理等智慧能力透過 API 或平台交付給海外應用的一種數位服務模式。
閱讀詞條 ↗算力出海是圍繞運算資源、雲端服務、模型或應用能力向海外市場提供產品與服務的業務方向。
閱讀詞條 ↗API 定義應用程式之間交換請求和回應的方式;模型 API 讓開發者呼叫遠端模型能力。
閱讀詞條 ↗限流是控制一段時間內請求量、Token 用量或併發的機制,常用於管理資源與服務穩定度。
閱讀詞條 ↗RAG 在生成前從外部資料中檢索相關內容,再把資料與問題交給模型,以補充上下文。
閱讀詞條 ↗Embedding 將文字等物件對應為數值向量,用於表達相似性並支援搜尋、聚類等任務。
閱讀詞條 ↗向量資料庫支援儲存與檢索向量,常與元資料過濾一起用於語意搜尋和知識庫應用。
閱讀詞條 ↗SEO 是幫助搜尋引擎發現、理解和呈現網站內容的一組內容與技術實踐。
閱讀詞條 ↗GEO 通常指改善內容在生成式搜尋中的可發現性、可理解性與被引用可能性的實踐。
閱讀詞條 ↗robots.txt 是放在網站根路徑的抓取規則文件,用於向遵守規則的爬蟲表達存取偏好。
閱讀詞條 ↗網站地圖列出希望被發現的規範 URL,幫助搜尋引擎了解公開內容結構。
閱讀詞條 ↗結構化資料以機器可讀格式表達頁面中的實體與關係,例如網站、文章、術語和麵包屑。
閱讀詞條 ↗AI 搜尋爬蟲抓取公開網頁以支援搜尋或使用者檢索,不同機構可能區分搜尋、使用者存取和訓練用途。
閱讀詞條 ↗Codex 是 OpenAI 的程式設計智能體產品,可在受控環境中理解程式碼、修改檔案、執行檢查,並協助處理軟體任務。
閱讀詞條 ↗模型蒸餾是利用教師模型的輸出、機率分佈或中間資訊訓練學生模型,使其在目標任務上學習教師的部分能力。
閱讀詞條 ↗AI 圈中的「咒語」通常是提示詞的趣味說法,指使用者交給模型的任務說明、上下文、約束和輸出要求。
閱讀詞條 ↗AI 原生編輯器與 IDE 將模型對話、程式碼上下文、補全、修改和工具執行融入開發工作流程,讓 AI 參與多個開發步驟。
閱讀詞條 ↗Cursor 是圍繞 AI 輔助開發構建的程式碼編輯與智能體工具,提供程式碼上下文理解、自然語言互動和程式碼修改等工作流程。
閱讀詞條 ↗Windsurf 是 AI 開發工俱生態中的產品名稱,Cascade 是相關智能體工作流程;目前相關官方文件已導向 Devin Desktop 文件。
閱讀詞條 ↗TRAE 是提供 AI 輔助軟體開發體驗的工具,涵蓋 IDE 與 SOLO 等產品形態,幫助開發者圍繞需求理解、編寫和驗證程式碼。
閱讀詞條 ↗Cline 是可連接模型與開發工具的程式設計智能體生態,提供編輯器整合、終端機及其他入口,可讀取檔案、修改程式碼並執行工具任務。
閱讀詞條 ↗OpenClaw 是可在自有基礎架構上運作的 AI 助理與智慧體系統,可連接模型、訊息管道和工具來處理任務。
閱讀詞條 ↗AI 智能體是圍繞目標選擇步驟、呼叫工具並利用回饋推進任務的系統,通常由模型、工具、狀態與執行規則組成。
閱讀詞條 ↗Manus 是多步驟任務的 AI 智慧體產品,可透過產品介面或相關 API 建立和管理智慧體任務。
閱讀詞條 ↗Muse 是 Meta 推出的個人 AI 智能體產品,針對真實任務執行,使用 Muse Spark 等相關模型能力。
閱讀詞條 ↗Muse Spark 是 Meta 的模型系列,為 Meta AI、Muse 等產品及相關開發者入口提供推理和多模態能力,具體能力依型號而定。
閱讀詞條 ↗Vibe Coding 指借助自然語言與 AI 工具快速形成軟體的開發方式,通常透過描述目標、觀察結果並持續迭代推進。
閱讀詞條 ↗
一起出海 ↗