Ein Large Language Model (LLM) ist ein großes KI-Sprachmodell, das mit enormen Textmengen trainiert wurde und dadurch Sprache versteht, Zusammenhänge erfasst und natürlich formulierte Antworten erzeugt. Bekannte Beispiele sind die Modelle hinter ChatGPT, Gemini oder Claude.
In der KI-Telefonie ist das LLM das „Gehirn“ des KI-Telefonassistenten: Es erhält den per Spracherkennung transkribierten Satz des Anrufers, versteht das Anliegen im Gesprächskontext und formuliert die passende Antwort — die anschließend per Sprachsynthese ausgesprochen wird. Über Anweisungen (Prompts) und Wissensdatenbanken wird das Modell auf Unternehmen, Tonalität und erlaubte Aussagen zugeschnitten.
Für den Telefoneinsatz zählen vor allem zwei Eigenschaften: geringe Latenz, damit Antworten ohne spürbare Pause kommen, und Zuverlässigkeit, damit das Modell bei fehlendem Wissen sauber an Menschen übergibt statt zu spekulieren. Beim Einsatz in der EU spielt zudem DSGVO-konformes Hosting eine wichtige Rolle.