토큰/단어 요소
토큰은 모델 처리 정보의 기본 단위입니다. 텍스트 모델에서 텍스트는 일반적으로 단어 분할기에 의해 단어, 하위 단어, 문자 또는 바이트 조각으로 분할됩니다.
문서 읽기 ↗TOKEN WIKI / 산업 지식 기반
단어 요소를 이해하는 것은 개념에서 시작됩니다.
에는 단어 단위, 해외로 가는 컴퓨팅 파워, 해외로 가는 단어 단위부터 시작하여 모델, 추론, API 청구 및 글로벌 전달을 다루는 52개의 입문 항목이 있습니다.
항목 52개
토크나이저/토크나이저
토크나이저는 원본 텍스트를 모델에서 처리할 수 있는 토큰 시퀀스로 변환하고 출력 토큰을 읽을 수 있는 콘텐츠로 복원합니다.
문서 읽기 ↗입력 토큰
입력 토큰은 모델 요청에서 모델이 읽은 정보의 양입니다. 여기에는 일반적으로 사용자 질문, 시스템 프롬프트, 기록 대화 및 도구와 같은 컨텍스트가 포함됩니다.
문서 읽기 ↗출력 토큰
출력 토큰은 모델에서 생성된 결과 사용량입니다. 다양한 서비스에서는 추론 중에 발생한 특정 사용량을 나열할 수도 있습니다.
문서 읽기 ↗토큰 비용 계산
토큰 비용 계산은 입력, 출력 및 기타 청구 가능한 항목을 동일한 통화 및 측정 단위로 요약하는 프로세스입니다.
문서 읽기 ↗컨텍스트 캐시
컨텍스트 캐싱은 특정 조건이 충족될 때 처리된 컨텍스트를 재사용하여 반복 계산을 줄이는 메커니즘입니다.
문서 읽기 ↗컴퓨팅 성능
컴퓨팅 성능은 컴퓨팅 작업을 수행하는 컴퓨팅 시스템의 능력을 나타냅니다. AI 시나리오에서는 작업, 정확성, 하드웨어 및 소프트웨어 스택 이해를 결합해야 합니다.
문서 읽기 ↗GPU/그래픽 프로세서
GPU는 대규모 병렬 컴퓨팅에 적합한 프로세서이며 딥 러닝 훈련, 추론 및 과학 컴퓨팅에 일반적으로 사용됩니다.
문서 읽기 ↗비디오 메모리/VRAM
비디오 메모리는 모델 가중치, 중간 상태 및 기타 계산 데이터를 저장하기 위해 GPU에서 사용하는 전용 메모리입니다.
문서 읽기 ↗FLOPS / 부동 소수점 컴퓨팅 성능
FLOPS는 초당 부동 소수점 연산 수를 나타내며, 특정 정밀도 및 조건에서 컴퓨팅 성능을 설명하는 데 자주 사용됩니다.
문서 읽기 ↗GPU 지능형 컴퓨팅 클러스터
GPU 지능형 컴퓨팅 클러스터는 컴퓨팅 노드, 상호 연결 네트워크, 스토리지 및 예약 구성 요소로 구성되며 대규모 AI 작업 부하를 수행하는 데 사용됩니다.
문서 읽기 ↗대역폭 및 상호 연결
대역폭은 단위 시간당 전송할 수 있는 데이터의 양을 나타냅니다. 모델 서비스에는 비디오 메모리, 장치 상호 연결, 네트워크 등 다양한 수준의 대역폭이 포함됩니다.
문서 읽기 ↗LLM/대형 언어 모델
대규모 언어 모델은 대규모 학습을 통해 언어의 패턴을 학습하고 텍스트 생성, 이해 및 변환과 같은 작업에 사용됩니다.
문서 읽기 ↗추론/추론
추론은 훈련된 모델을 사용하여 새로운 입력을 계산하고 출력을 생성하는 프로세스로, 모델 매개변수를 업데이트하는 훈련과 다릅니다.
문서 읽기 ↗추론 모델/추론 모델
추론 모델은 복잡한 문제의 단계별 처리 및 추론에 중점을 두고 있으며 일반적으로 수학, 코딩 및 다중 제약 조건 작업에 사용됩니다.
문서 읽기 ↗다중 모드 모델
다중 모드 모델은 텍스트, 이미지, 오디오 또는 비디오와 같은 다양한 형태의 정보를 처리할 수 있으며 구체적인 지원 범위는 모델에 따라 다릅니다.
문서 읽기 ↗컨텍스트 창
컨텍스트 창은 모델이 단일 처리 시간에 수용할 수 있는 토큰 범위이며 일반적으로 입력 및 출력 예산과 관련됩니다.
문서 읽기 ↗프롬프트 / 프롬프트 단어
프롬프트 단어는 작업, 컨텍스트, 출력 요구 사항 및 제약 조건을 설명하는 데 사용되는 입력 콘텐츠입니다.
문서 읽기 ↗처리량 / 처리량
처리량은 특정 기간 내에 처리된 요청 또는 토큰 수입니다. 통계적 대상과 테스트 조건에 대한 설명이 필요합니다. 초당
문서 읽기 ↗추론 지연
Inference latency describes the time elapsed from request initiation to output generation or completion. Queuing, first word, and total time consuming should be distinguished.
문서 읽기 ↗TTFT / First Token Time
TTFT refers to the time from the start of the request to the receipt of the first output Token, and is often used to measure the waiting experience of streaming interactions.
문서 읽기 ↗KV Cache
KV Cache caches the keys and values of previous Tokens in attention mechanism calculations to reduce repeated calculations in autoregressive generation.
문서 읽기 ↗batch processing / Batching
batch processing combines multiple computing tasks to improve hardware utilization; the service system may also use continuous batch processing.
문서 읽기 ↗model quantification
model quantization uses lower-precision numerical values to represent part of the model data or calculations to reduce resource overhead.
문서 읽기 ↗Streaming output / Streaming
streaming output allows applications to receive content incrementally before the complete result is generated, often used for conversations and real-time interactions.
문서 읽기 ↗Token goes to the sea / Ci Yuan goes to the sea
Token going overseas is a digital service model that delivers intelligent capabilities such as model reasoning to overseas applications through APIs or platforms.
문서 읽기 ↗AI 컴퓨팅의 글로벌 진출
Going overseas is the business direction of providing products and services to overseas markets around computing resources, cloud services, models or application capabilities.
문서 읽기 ↗API/Application Programming Interface The
API defines how requests and responses are exchanged between applications; the model API allows developers to call remote model capabilities.
문서 읽기 ↗current limit / Rate Limit
Current limiting is a mechanism to control the number of requests, token usage or concurrency within a period of time. It is often used to manage resources and service stability.
문서 읽기 ↗RAG / search enhancement generation
RAG retrieves relevant content from external data before generation, and then hands the data and questions to the model to supplement the context.
문서 읽기 ↗Embedding / vector representation
Embedding maps objects such as text into numerical vectors to express similarity and support tasks such as search and clustering.
문서 읽기 ↗vector database The
vector database supports the storage and retrieval of vectors, often used with metadata filtering for semantic search and knowledge base applications.
문서 읽기 ↗SEO / Search Engine Optimization
SEO is a set of content and technical practices that help search engines discover, understand, and present website content.
문서 읽기 ↗GEO / Generative Search Optimization
GEO generally refers to the practice of improving the discoverability, understandability, and citation potential of content in generative search.
문서 읽기 ↗robots.txt
robots.txt is a crawling rule file placed in the root path of the site, which is used to express access preferences to crawlers that abide by the rules.
문서 읽기 ↗Sitemap / Sitemap The
sitemap lists the canonical URLs you want to be discovered, helping search engines understand the structure of public content.
문서 읽기 ↗structured data / JSON-LD
Structured data expresses entities and relationships in pages, such as websites, articles, terms, and breadcrumbs, in a machine-readable format.
문서 읽기 ↗AI search crawler
AI search crawler crawls public web pages to support search or user retrieval. Different organizations may differentiate between search, user access and training purposes.
문서 읽기 ↗Codex/Programming Agent
Codex is OpenAI's programming agent product that can understand code, modify files, run checks, and assist with software tasks in a controlled environment.
문서 읽기 ↗Distillation / Knowledge Distillation
model distillation is to use the output, probability distribution or intermediate information of the teacher model to train the student model so that it can learn part of the teacher's capabilities on the target task.
문서 읽기 ↗spell / Prompt commonly known as
A “mantra” in AI circles is often a fancy way of saying a prompt, which refers to the task description, context, constraints, and output requirements that the user hands to the model.
문서 읽기 ↗AI native editor and IDE
AI native editor and IDE integrate model dialogue, code context, completion, modification and tool execution into the development workflow, allowing AI to participate in multiple development steps.
문서 읽기 ↗Cursor
Cursor is a code editing and agent tool built around AI-assisted development, providing workflows such as code context understanding, natural language interaction, and code modification.
문서 읽기 ↗Windsurf / Cascade
Windsurf is the product name in the AI development tool ecosystem, and Cascade is the related agent workflow; currently the relevant official documents have been directed to Devin Desktop documents.
문서 읽기 ↗TRAE
TRAE is a tool that provides AI-assisted software development experience, covering product forms such as IDE and SOLO, helping developers understand, write and verify code around requirements.
문서 읽기 ↗Cline
Cline is a programming agent ecosystem that can connect models and development tools. It provides editor integration, terminals and other entrances, and can read files, modify codes and perform tool tasks.
문서 읽기 ↗OpenClaw
OpenClaw is a system of AI assistants and agents that runs on its own infrastructure, connecting models, messaging channels, and tools to handle tasks.
문서 읽기 ↗Agent / intelligent body
AI agent is a system that selects steps around goals, calls tools, and uses feedback to advance tasks. It usually consists of models, tools, states, and execution rules.
문서 읽기 ↗Manus
Manus is an AI agent product for multi-step tasks. Agent tasks can be created and managed through the product interface or related APIs.
문서 읽기 ↗Muse/Meta Personal Intelligence
Muse is a personal AI agent product launched by Meta. It is oriented towards real task execution and uses related model capabilities such as Muse Spark.
문서 읽기 ↗Muse Spark / Meta model series
Muse Spark is Meta's model series, which provides reasoning and multi-modal capabilities for Meta AI, Muse and other products and related developer portals. The specific capabilities depend on the model.
문서 읽기 ↗Vibe Coding / atmosphere programming
Vibe Coding refers to a development method that uses natural language and AI tools to quickly form software, usually by describing goals, observing results, and continuing to iterate.
문서 읽기 ↗