Tokens und Abrechnung / TOKEN WIKI
Eingabe-Token
in einem Satz verstehen
Warum ist
Input Token ist die Menge an Informationen, die das Modell in einer Modellanforderung liest, die normalerweise Kontext wie Benutzerfragen, Systemeingabeaufforderungen, historische Konversationen und Tools umfasst.
für Unternehmen relevant?
Mehrrundenanwendungen übermitteln möglicherweise wiederholt historische Nachrichten, und die Eingabekosten steigen mit zunehmendem Kontext.
zu beurteilen?
bezieht Systemansagen, abgerufene Dokumente und Chat-Verlauf in den Test ein und bestätigt, ob Cache-Treffer separat abgerechnet werden.
Häufige Fragen
Wird die Eingabe eines Tokens nur als diese Frage gezählt?
enthält in der Regel auch den Verlauf und anderen mit der Anfrage gesendeten Kontext, gemessen durch Schnittstellenmessung.
