Latenz bezeichnet die Zeitverzögerung zwischen einer Eingabe und der Reaktion eines Systems. In der KI-Telefonie ist damit die Zeitspanne gemeint, die zwischen dem Ende eines Satzes des Anrufers und der hörbaren Antwort des KI-Telefonassistenten vergeht.
Für natürlich wirkende Gespräche ist Latenz die kritischste Kennzahl: Menschen erwarten Antworten innerhalb von etwa einer Sekunde. Dauert es länger, entstehen unangenehme Pausen, Anrufer sprechen dazwischen oder legen auf. Die Gesamtlatenz setzt sich zusammen aus Spracherkennung, Verarbeitung im Sprachmodell und Sprachausgabe — plus Netzwerkübertragung via VoIP.
Moderne Voice-AI-Plattformen optimieren jeden Schritt: Streaming-Erkennung beginnt schon während des Sprechens, Modelle antworten tokenweise und Server in EU-Nähe verkürzen Übertragungswege. Werte unter 800 Millisekunden gelten als sehr gut.