/ TOKEN WIKI
The total system throughput of
inference delay
เข้าใจในประโยคเดียว
ทำไม
อธิบายเวลาที่ผ่านไปตั้งแต่เริ่มต้นคำขอไปจนถึงการสร้างหรือเสร็จสิ้นเอาต์พุต ควรแยกแยะการเข้าคิว คำแรก และเวลาที่ผ่านไปทั้งหมด ความเร็วในการตอบสนองของ
ถึงเกี่ยวข้องกับธุรกิจ?
average may mask a long-tail experience, and interactive applications also need to observe high-quantile latency.
?
บันทึกเวลาของคำแรก ความเร็วในการสร้าง การใช้เวลาตั้งแต่ต้นจนจบ และควอนไทล์ p95 หรือ p99 ตามลำดับ
คำถามที่พบบ่อย
เวลาแฝงเฉลี่ยต่ำหมายถึงประสบการณ์ที่ดีหรือไม่?
ไม่จำเป็นว่าการหางยาว การลองใหม่ล้มเหลวและการรอคำแรกอาจส่งผลต่อประสบการณ์ผู้ใช้ รุ่น
