Eine Bank stuft einen Kreditnehmer als risikoreich ein und verlangt deshalb einen höheren Zins. Der höhere Zins erhöht das Ausfallrisiko. Fällt der Kredit später aus, war die Prognose richtig, und sie war zugleich einer der Gründe dafür.
Mit diesem Beispiel beginnt das Paper “Performative Prediction” von Juan Perdomo, Tijana Zrnic, Celestine Mendler-Dünner und Moritz Hardt von der University of California, Berkeley, begutachtet und veröffentlicht auf der ICML 2020, Volltext bei arXiv. Ihr Begriff dafür ist präzise: Performativ ist eine Vorhersage dann, wenn sie das Ziel beeinflusst, das sie vorhersagen soll. Das Modell der Bank, schreiben die Autoren, sei nicht auf die Ergebnisse kalibriert, die entstehen, wenn man nach dem Modell handelt.
Ein Deal-Score im CRM hat dieselbe Bauform. Er sagt nicht nur etwas über den Deal aus, er liegt auf dem Tisch, während der Deal noch offen ist. Wer ihn sieht, entscheidet danach, wohin der Nachmittag geht.
Der Score ist im Raum, bevor der Deal entschieden ist
Diesen Übertragungsschritt vom Kreditscoring in den Vertrieb mache ich hier selbst. Das Paper handelt nicht von CRM-Systemen, es liefert die formale Bedingung, unter der so ein Effekt auftritt: Die Prognose muss sichtbar sein und Handlungen auslösen, bevor das Ergebnis feststeht. Bei einem Deal-Score ist genau das der Zweck. Ein Score, den niemand vor dem Abschluss sieht, wäre wertlos.
Damit unterscheidet sich Vertriebsprognose grundsätzlich von Wettervorhersage. Der Regen schert sich nicht darum, was die App sagt. Der Deal schon, weil zwischen Score und Ausgang ein Mensch sitzt, der seine Woche danach plant. Wie so ein Setup praktisch aussieht, von Lead Scoring bis CRM-Anreicherung, haben wir im Beitrag zu KI im Vertrieb beschrieben. Dieser Text setzt eine Ebene darunter an.
Kostenrahmen, Tool-Auswahl, Datenschutzfragen und ein realistischer Zeitplan für so ein Projekt liegen in unserem Use Case zu Predictive Analytics im Vertrieb. Hier geht es um eine Entscheidung, die vor all dem kommt und in keinem Angebot auftaucht.
Fünf Bauchgefühle streuen, ein Score nicht
Der stärkste Einwand kommt sofort, und er ist gut: Bauchgefühl hat auch immer schon selektiert. Wer im Vertrieb arbeitet, entscheidet seit jeher, welcher Deal die zwei zusätzlichen Telefonate bekommt und welcher liegen bleibt. Das Problem ist so alt wie der Beruf und hat mit KI nichts zu tun.
Die Forschung stützt sogar eine schärfere Fassung dieses Einwands. Jennifer Logg, Julia Minson und Don Moore zeigen in sechs Experimenten (Organizational Behavior and Human Decision Processes, Band 151, 2019, S. 90 bis 103), dass Laien algorithmischen Einschätzungen eher folgen als menschlichen. Im Abstract steht aber auch der paradoxe Befund: Erfahrene Fachleute, die regelmäßig Prognosen erstellen, verließen sich weniger auf algorithmische Empfehlungen als Laien, und das schadete ihrer Genauigkeit. Für ein Vertriebsteam heißt das: Ausgerechnet die Leute mit den meisten Jahren folgen dem Score am wenigsten. Dieselbe Arbeit verweist außerdem auf einen Befund von Dietvorst, Simmons und Massey: Wer einen Algorithmus irren sieht, verliert das Zutrauen zu ihm und greift eher auf einen menschlichen Prognostiker zurück, selbst wenn der schlechter abschneidet.
Trotzdem fällt der Einwand, und zwar nicht daran, ob Menschen dem Score folgen, sondern daran, wie sie es tun. Fünf Vertriebsleute mit fünf Bauchgefühlen streuen in fünf Richtungen. Der eine mag Konzernkunden, die andere glaubt an den Rückruf nach vier Wochen Funkstille. Über die gesamte Pipeline hinweg bekommt dadurch fast jede Sorte Deal irgendwann Aufmerksamkeit von irgendjemandem. Diese Streuung ist unbeabsichtigte Erkundung des Möglichkeitsraums, und sie ist der eigentliche Wert des alten Zustands. Dass die Streuung diesen Effekt hat, ist mein Schluss aus den beiden Befunden oben, keine gemessene Größe.
Ein zentraler, für alle sichtbarer Score ersetzt fünf Richtungen durch eine. Wer ihm folgt, folgt demselben Signal. Wer aus Erfahrung dagegenhält, hält gegen dasselbe Signal, systematisch statt zufällig. Der Bruch liegt nicht darin, dass überhaupt selektiert wird. Er liegt darin, dass die Selektion im ganzen Team synchron läuft. In bezahlten Kundenprojekten kommt dieser Einwand fast immer, und fast immer von der Person mit den meisten Jahren im Vertrieb.
Das Modell lernt nur aus den Deals, die jemand bearbeitet hat
Danielle Ensign, Sorelle Friedler, Scott Neville, Carlos Scheidegger und Suresh Venkatasubramanian formulieren das Grundproblem in einem Satz, der mit ihrem eigentlichen Untersuchungsgegenstand gar nichts zu tun hat: Einstellungsalgorithmen bekommen nur Rückmeldung zu den Menschen, die tatsächlich eingestellt wurden. Ihre Arbeit “Runaway Feedback Loops in Predictive Policing” (Proceedings of Machine Learning Research, Band 81, 2018, S. 1 bis 12) belegt diese Dynamik nicht per Analogie, sondern mit einem verallgemeinerten Pólya-Urnenmodell, nachlesbar im PDF. Das Ergebnis ist unangenehm: Die Schleife pendelt sich nicht von selbst ein, sie läuft davon.
Übertragen auf dein CRM: Ein Trainingssignal bekommt das Modell nur für Deals, die jemand bearbeitet hat. Für alle anderen bekommt es einen Ausgang, an dem der Score selbst beteiligt war. Die Deals mit niedrigem Score gehen verloren, das Modell verbucht einen Treffer, und beim nächsten Training ist es sich noch sicherer.
Die Trefferquote steigt, der Umsatz nicht
Was dabei entsteht, ist nicht wachsendes Chaos. Es ist etwas Unangenehmeres: Das System wird stabil.
Perdomo und seine Mitautoren zeigen formal, dass wiederholtes Neutrainieren unter bestimmten mathematischen Bedingungen zu einem Gleichgewicht konvergiert, das sie performative Stabilität nennen. Der wichtige Teil steht direkt daneben. Stabilität bedeutet, dass die Vorhersagen nicht gegen vergangene Ergebnisse kalibriert sind, sondern gegen die künftigen Ergebnisse, die entstehen, wenn man nach der Vorhersage handelt. Ein stabiles Modell ist deshalb ausdrücklich nicht dasselbe wie ein Modell mit minimalem Vorhersagefehler.
Im Quartalsmeeting sieht das so aus: Die Trefferquote des Scores steigt. Die Deals, die er niedrig bewertet hat, sind tatsächlich nicht zustande gekommen. Nur folgt der Umsatz dieser Kurve nicht. Und es gibt keine Zeile im Bericht für die gewinnbaren Deals, die niemand mehr angefasst hat, weil sie es nie in eine Statistik schaffen. Die Kennzahl wird besser, das Geschäft nicht. Das ist keine Störung des Systems, das ist sein Normalbetrieb.
Zillow hat den Preis dafür in der Bilanz stehen
Zillow Group kaufte Häuser zu Preisen, die das eigene Modell vorgab, und verkaufte sie weiter. Am 2. November 2021 stellte das Unternehmen dieses Geschäft ein. Im dritten Quartal 2021 verbuchte es rund 304 Millionen US-Dollar Abschreibung auf den Hausbestand und rechnete mit weiteren 240 bis 265 Millionen US-Dollar Verlust im vierten Quartal, überwiegend aus Häusern, die das Unternehmen im vierten Quartal noch kaufen wollte. Angekündigt war ein Stellenabbau von rund 25 Prozent der Belegschaft, alles nachzulesen in der Mitteilung von Zillow Group vom 2. November 2021. Rich Barton, damals CEO, begründete den Schritt in derselben Mitteilung damit, dass die Unvorhersehbarkeit bei der Prognose von Hauspreisen weit über dem liege, was das Unternehmen erwartet habe.
Das ist kein Vertriebsfall, und ich verkaufe ihn auch nicht als einen. Ein Hauskauf ist ein direkter Eingriff in den Markt, ein Deal-Score ist ein Hinweis an einen Menschen. Gemeinsam ist beiden die Struktur: Ein Modell trifft Entscheidungen, die die Datengrundlage verändern, auf der es kalibriert wurde.
Der billigere Beleg für dieselbe Falle ist älter. David Lazer, Ryan Kennedy, Gary King und Alessandro Vespignani zeigten 2014 in Science (Band 343, S. 1203 bis 1205), dass Google Flu Trends zwischen August 2011 und September 2013 in 100 von 108 Wochen zu hoch lag. Für die Saison 2012/13 verweisen sie auf einen Nature-Bericht vom Februar 2013, wonach der vorhergesagte Anteil der Arztbesuche wegen grippeähnlicher Erkrankungen mehr als doppelt so hoch lag wie der von der US-Gesundheitsbehörde CDC gemeldete, für die Saison davor beziffern sie es in einer eigenen Abbildung auf mehr als 50 Prozent zu hoch. Einen Teil davon führen die Autoren auf “algorithm dynamics” zurück, die sie als die Änderungen definieren, die Ingenieure am kommerziellen Dienst vornehmen, und die Änderungen im Verhalten derer, die den Dienst nutzen. Das Messinstrument war Teil des Systems geworden, das es messen sollte.
Was du erklären musst, ist keine Formel, sondern eine Schleife
Aus dem Analyseproblem ist längst ein Erklärproblem geworden. Der Gerichtshof der Europäischen Union entschied am 27. Februar 2025 in der Rechtssache C-203/22 (Erste Kammer, Dun & Bradstreet Austria, vormals Bisnode Austria), dass Betroffene bei automatisierten Entscheidungen nach der DSGVO “aussagekräftige Informationen über die involvierte Logik” verlangen können, und zwar “in präziser, transparenter, verständlicher und leicht zugänglicher Form”. Der Fall betraf eine Bonitätsbeurteilung, das Urteil steht im Volltext bei EUR-Lex.
Ob dein Deal-Scoring in diesen Rahmen fällt, ist eine eigene Prüfung: Sie hängt am Personenbezug und an der Art der Entscheidung. Die praktische Pointe liegt woanders. Sollst du die Logik eines Scores beschreiben, der seit zwei Jahren mitbestimmt, welche Deals überhaupt bearbeitet werden, dann ist die ehrliche Antwort keine Formel. Sie ist eine Schleife, in der dein eigenes Team vorkommt. Und diese Antwort kannst du nur geben, wenn du sie mitgeschrieben hast. Wie so eine laufende Nachweisführung als Regelkreis aussieht, haben wir am Beispiel von ISO/IEC 42001 beschrieben.
Miss den Score gegen den Umsatz, nicht gegen sich selbst
Das ist keine Modellfrage, sondern eine Frage der Buchführung. Drei Regeln reichen.
Erstens: Schreib den Score mit, den die Vertriebsperson zum Zeitpunkt der Zuteilung gesehen hat. Als eigenes Feld, mit Zeitstempel, nicht als laufend überschriebener Wert. Ein Feld, das immer den aktuellen Stand zeigt, sagt dir später nichts darüber, nach welcher Zahl damals gehandelt wurde. Ohne diesen Wert lässt sich die Rückkopplung im Nachhinein nicht einmal nachweisen, weder dir selbst noch jemandem, der fragt.
Zweitens: Berichte Trefferquote und tatsächlichen Umsatz je Score-Band nebeneinander. Niemals die Trefferquote allein. Steigt sie im unteren Band, während die Zahl der dort überhaupt bearbeiteten Deals gegen null geht, misst du keine Prognosegüte. Du misst, wie diszipliniert dein Team dem Score folgt.
Drittens: Lass einen Teil des Teams ohne den Score arbeiten. Zwei von sechs Leuten, ein Quartal lang, bei gleicher Zuteilung. Die interessante Zahl ist nicht, wer mehr abschließt. Sie ist, wie das System die Deals bewertet hatte, die diese zwei gewonnen haben.
Fällt dabei nichts auf, hast du schriftlich, dass dein Score sauber arbeitet. Fällt etwas auf, weißt du es nach einem Quartal statt nach drei Jahren. Beides ist mehr wert als eine Trefferquote, die jedes Quartal ein bisschen besser aussieht.