96,9 Prozent Trefferquote. Und im selben Versuchsaufbau, mit demselben Modell, 40,3 Prozent.
Die erste Zahl beschreibt, wie zuverlässig BERT eine Anfrage einer von 150 bekannten, gut trainierten Kategorien zuordnet. Die zweite beschreibt, wie zuverlässig dasselbe Modell im selben Durchlauf erkennt, dass eine Anfrage in keine dieser Kategorien gehört und eine Sonderbehandlung braucht. Beide Werte stehen in derselben Tabelle desselben Papers: Larson, Mahendran, Peper und Kollegen, „An Evaluation Dataset for Intent Classification and Out-of-Scope Prediction”, veröffentlicht auf der EMNLP 2019.
Auch mit zusätzlichem Trainingsmaterial für genau diese Restklasse, 250 statt 100 Out-of-Scope-Beispiele, kommt das beste der sieben getesteten Systeme, Rasa NLU, nur auf 66,0 Prozent. Die Autoren sprechen in der Einleitung ihres Papers selbst von einer erheblichen Leistungslücke, im Original „major performance gap”.
Das ist ein Benchmark für Dialogsysteme aus dem Jahr 2019 und kein Test deines E-Mail-Copiloten. Ich nutze ihn hier als strukturelle Analogie, weil die Aufgabenform dieselbe ist: viele häufige Kategorien mit reichlich Beispielen, dazu eine seltene Restklasse, bei der es darauf ankommt. Wir haben den Use Case für KI-gestützte Kundenkorrespondenz ausgearbeitet und beraten Unternehmen dazu. An dieser Restklasse hängt dort mehr, als in Einführungsgesprächen zur Sprache kommt.
Bevor der Copilot schreibt, hat er schon entschieden
Auf der Packung steht Schreibhilfe. Leeres Blatt weg, Tonalität einheitlich, neue Leute schreiben ab dem ersten Tag auf Teamniveau. Dieser Teil funktioniert, darüber muss man 2026 nicht mehr streiten.
Der Ablauf beginnt aber nicht beim Formulieren. Schritt 1 ist das Lesen und Einordnen der eingehenden Mail: Beschwerde, Rückfrage, Kündigung, Lob. Und weiter hinten steht das Eskalationsprotokoll mit fünf Kategorien, die technisch als Pflichtprüfung markiert gehören: Kulanz und Erstattung über einem Schwellwert, Kündigung einer laufenden Vertragsbeziehung, eskalierte Beschwerde, anwaltliche oder behördliche Post, Medienanfragen.
Die Frage, die selten jemand stellt: Wer setzt diese Markierung?
Dasselbe Modell, das unmittelbar danach den Entwurf schreibt. Das Sicherheitsnetz wird von dem geknüpft, wovor es schützen soll. Eine Eskalationsliste ist eben kein Schalter und keine Regel. Sie ist ein Klassifikator. Und für einen Klassifikator gibt es entweder eine gemessene Zahl oder eben keine.
Was so ein Copilot kostet und welches Werkzeug zu welcher Mail- und CRM-Landschaft passt, haben wir im Use Case zur KI-gestützten Kundenkorrespondenz aufgeschrieben, mitsamt den Datenschutzpflichten.
Das Label sortiert nicht nur die Mail, sondern auch deine Aufmerksamkeit
Der übliche Einwand an dieser Stelle lautet: Bei uns liest ohnehin ein Mensch jede Mail, bevor sie rausgeht.
Schau dir an, was dieser Mensch sieht. Über dem Entwurf steht eine Kategorie. „Standardanfrage Lieferstatus” liest sich anders als „Kündigung, Pflichtprüfung”. Im ersten Fall prüfst du, ob der Ton passt und die Sendungsnummer stimmt. Im zweiten Fall liest du jeden Satz zweimal, weil du weißt, was daran hängt.
Die Einordnung steuert also, welchen Weg die Mail nimmt, und wie genau sie danach noch gelesen wird. Bei einer Fehleinordnung prüft der Mensch weiterhin, nur eben die falsche Frage: ob die Formulierung höflich ist, statt ob hier überhaupt eine Standardantwort rausgehen darf. Genau in dem einen Fall, für den das Vier-Augen-Prinzip existiert, ist es entwertet, bevor jemand hinsieht.
Das ist keine Messung, sondern der Aufbau des Arbeitsschritts, und den kannst du an deinem eigenen System nachvollziehen. In bezahlten Kundenprojekten fragen wir deshalb früh nach dieser Liste und bekommen sie fast immer als Dokument, fast nie als Testfall.
Bei Cursor war der Text fehlerfrei, die Einordnung nicht
Im April 2025 teilte der KI-Support-Bot des Entwicklerwerkzeugs Cursor mehreren Nutzern per Mail mit, es gebe eine Richtlinie, nach der ein Abo nur auf einem Gerät genutzt werden dürfe. Diese Richtlinie existierte nicht. Die wiederholten Logouts gingen laut Bericht von The Register vom 18. April 2025 offenbar auf eine Race Condition bei langsamen Verbindungen zurück. Mitgründer Michael Truell entschuldigte sich öffentlich auf Reddit, stellte klar, dass es keine solche Regel gebe, nannte die Auskunft eine falsche Antwort eines KI-Support-Bots an vorderster Front, im Original „an incorrect response from a front-line AI support bot”, erstattete dem betroffenen Entwickler die Kosten und hielt in der Hacker-News-Diskussion fest, dass KI-Antworten im E-Mail-Support seither klar als solche gekennzeichnet werden.
Sprachlich war an dieser Mail nichts auszusetzen. Sie war höflich, klar, im richtigen Ton. Der Fehler lag eine Stufe davor: Eine Anfrage zu ständigen Logouts wurde als beantwortbare Standardanfrage behandelt, obwohl die Antwort eine Aussage über die Bedingungen eines laufenden Abos enthielt. Übersetzt in die fünf Pflichtkategorien: Das war eine Auskunft zur laufenden Vertragsbeziehung und gehörte in die Pflichtprüfung.
Die Konsequenz des Unternehmens war Kennzeichnung. Kennzeichnung ist eine eigene Baustelle, dazu haben wir den Text zu Artikel 50 des AI Acts geschrieben. Sie beantwortet die Zuständigkeitsfrage aber nicht. Ein Hinweis „KI-generiert” ändert nichts daran, dass die Auskunft im Namen des Unternehmens rausging.
96,9 Prozent Gesamtgenauigkeit sagen nichts über die fünf Kategorien
Das stärkste Gegenargument gegen diesen Text ist kein Strohmann: Intent-Klassifikation ist seit Jahren produktiv im Einsatz und liefert hohe Trefferquoten. Für den Großteil des Volumens stimmt das, und die 96,9 Prozent aus dem Benchmark oben belegen es.
Nur ist Gesamtgenauigkeit ein nach Fallzahl gewichteter Durchschnitt über alle Kategorien. Die seltene Klasse verschwindet darin, weil sie fast nichts wiegt. In derselben Konfiguration, die 96,9 Prozent liefert, liegt die Erkennungsquote für die Fälle mit Sonderbehandlung bei 40,3 Prozent, und mit gezieltem Zusatztraining im besten getesteten System bei 66,0 Prozent. Der Satz „unser Klassifikator hat X Prozent Genauigkeit” beantwortet die Frage nach den Kündigungs- und Kulanzfällen deshalb nicht. Das ist eine andere Zahl, getrennt zu messen, auf genau dieser einen Klasse.
Der zweite Einwand kommt danach: Dann prüfen wir eben alles. Damit fällt das automatische Routing der Standardfälle weg, und mit ihm der Teil des Business Case, der tatsächlich Zeit spart. Wer nicht routet, spart nicht, sondern verschiebt nur das leere Blatt. Dass ein Mensch überhaupt im Ablauf sitzt, ist kein Komfortwunsch, sondern hat Haftungsgründe. Die Frage ist nicht mehr oder weniger Prüfung. Die Frage ist, ob die Trennlinie zwischen beidem gemessen wurde.
Drei übersehene Fälle im Monat sehen aus wie beantwortete Mails
Rechnen wir es durch. Die folgenden Zahlen sind meine Annahmen, keine Messwerte. Fünf Personen im Kundenkontakt, zusammen 100 Kundenmails am Tag. Wie hoch der Anteil eskalationspflichtiger Vorgänge im deutschen Mittelstand liegt, weiß ich nicht, eine belastbare Branchenzahl dafür ist mir nicht bekannt. Nimm drei Prozent als Rechengröße: drei Fälle pro Tag, rund 60 im Monat.
Bei 95 Prozent Erkennungsquote auf dieser Klasse rutschen drei Fälle im Monat durch. Bei 90 Prozent sechs. Läge dein System bei den 66,0 Prozent aus dem Benchmark, wären es 20. Setz deine eigenen Zahlen ein, die Rechnung ist in zwei Minuten gemacht.
Interessant ist nicht das Ergebnis, sondern seine Unsichtbarkeit. Ein übersehener Eskalationsfall erzeugt keine Warnung, keinen Fehler, keinen Eintrag in irgendeinem Protokoll. Er sieht aus wie eine beantwortete Mail, und meistens ist er sogar eine gut geschriebene.
Auffallen wird er später, an einer anderen Stelle. Eine zugesagte Erstattung, die aus deinem Postfach kommt, ist für den Kunden die Zusage deines Unternehmens, unabhängig davon, wer den Entwurf getippt hat. Ob sie im Einzelfall rechtlich bindet, klärt ein Anwalt und nicht dieser Text. Betriebswirtschaftlich ist die Sache vorher entschieden: Du löst sie ein oder du hast den Konflikt.
Der Prüfschritt wird gerade wegautomatisiert, nicht ausgebaut
Gartner prognostizierte am 5. März 2025 in einer Pressemitteilung, dass agentische KI bis 2029 80 Prozent der häufigen Kundenservice-Anliegen ohne menschliches Eingreifen löst, bei 30 Prozent niedrigeren operativen Kosten. Das ist eine Prognose, keine Messung, und ob die Zahl so eintrifft, weiß heute niemand.
Die Richtung ist trotzdem die, in die Anbieter ihre Produkte bauen: Der Anteil der Vorgänge mit menschlicher Prüfung soll sinken. Damit trägt ausgerechnet die Fähigkeit mehr Gewicht, die in diesem Text als die schwächste beschrieben ist. Je mehr Standardfälle ohne Zwischenstopp durchlaufen, desto mehr hängt daran, ob die Einordnung „Standardfall” gestimmt hat.
Ein Testset aus 200 alten Mails schlägt jeden Haken im Konfigurationsmenü
Dass Klassifikation der ruhigere Einstieg in KI im Kundenservice ist, ruhiger als der Chatbot auf der Startseite, haben wir an anderer Stelle geschrieben. Das gilt weiterhin. Es heißt nur nicht, dass sie ungeprüft bleiben kann, sondern das Gegenteil: Weil sie tragend ist, braucht sie einen Test.
Drei Schritte, klein genug für die nächste Woche.
Erstens: Nimm 200 gesendete Mails der letzten Wochen und ordne sie von Hand deinen Eskalationskategorien zu. Von Hand, ohne Modell. Das ist dein Testset, und es ist der einzige Teil dieser Arbeit, den du nicht delegieren kannst, weil die Bewertung sonst wieder von dem stammt, was bewertet werden soll.
Zweitens: Lass den Klassifikator über dieselben 200 Mails laufen und werte genau eine Zahl aus. Wie viele der eskalationspflichtigen Fälle hat er nicht als solche erkannt? Nicht die Gesamtgenauigkeit, nicht die Trefferquote über alle Kategorien. Nur diese eine.
Drittens: Setz die Schwelle bewusst asymmetrisch. Im Zweifel eskalieren. Ein Fehlalarm kostet dich zwei Prüfminuten. Eine übersehene Kündigung kostet dich den Kunden, und du erfährst es erst an der Bewertung.
Der Rest des Copiloten bleibt, was er ist, eine gute Schreibhilfe. Was ihn darüber hinaus zu einem Zuständigkeitssystem macht, ist die Einordnung davor. Solange du für sie keine gemessene Zahl hast, ist deine Eskalationsliste kein Sicherheitsnetz, sondern eine Absichtserklärung, die ein Modell auslegt.