/ TOKEN WIKI
Editor de contenido
El token de salida
entender en una frase
¿Por qué el
es el uso de resultados generado por el modelo. Los diferentes servicios también pueden enumerar el uso específico incurrido durante la inferencia. Elementos de palabra de salida
es relevante para los negocios?
El precio unitario de salida y la duración de la generación pueden afectar significativamente los costos de las tareas, y las respuestas largas no siempre resultan en un mayor valor comercial.
?
establece un límite superior razonable en la longitud de la salida, registra la tasa de éxito de las tareas completas y verifica cómo el proveedor mide el uso de inferencia.
Preguntas frecuentes
¿Limitar la longitud de salida puede reducir los costos?
puede limitar el límite de uso de generación, pero también debe tener en cuenta la integridad de la respuesta y el costo de reintento. Longitud generada
