/ TOKEN WIKI
O token de saída
entenda em uma frase
Por que
é o uso do resultado gerado pelo modelo. Diferentes serviços também podem listar usos específicos ocorridos durante a inferência. Elementos da palavra de saída
é relevante para os negócios?
O preço unitário de saída e a duração da geração podem afetar significativamente os custos das tarefas, e respostas longas nem sempre resultam em maior valor comercial.
?
define um limite superior razoável no comprimento de saída, registra a taxa de sucesso de tarefas concluídas e verifica como o fornecedor mede o uso de inferência.
Perguntas frequentes
Limitar o comprimento de saída pode reduzir custos?
pode limitar o limite de uso de geração, mas também precisa levar em consideração a integridade da resposta e o custo de novas tentativas. Comprimento gerado
