1993 stand eine Frage im Titel eines mathematischen Fachaufsatzes, die in keinem CRM-Onboarding vorkommt: „Can reject inference ever work?” Der Aufsatz stammt von D.J. Hand und W.E. Henley, erschienen im IMA Journal of Mathematics Applied in Business and Industry, Band 5, Heft 1, Seiten 45 bis 55. Die Antwort im Abstract ist so vorsichtig wie eindeutig: Die Verteilung der abgelehnten Antragsteller hilft bei der Korrektur nicht weiter, solange man keine zusätzlichen Annahmen trifft.
Reject Inference ist der Name, den die Kreditwirtschaft einem Problem gegeben hat, das sie seit Jahrzehnten nicht loswird. Eine Scorekarte entscheidet, wer einen Kredit bekommt. Ob jemand zurückzahlt, erfährt die Bank nur von denen, die das Geld bekommen haben. Für die Abgelehnten gibt es kein Ergebnis, nie. Die Karte wird also ausschließlich an ihrer eigenen Auswahl geprüft.
Dein Lead-Score arbeitet mit derselben Datenlage, nur ohne den Fachbegriff. Er sortiert die eingehenden Anfragen, der Vertrieb ruft oben an. Ein Ausgang, gewonnen oder verloren, entsteht ausschließlich dort, wo jemand angerufen hat. Der Lead mit Score 12, den niemand angefasst hat, taucht in keiner Auswertung als Fehler auf. Er taucht überhaupt nicht auf.
Der Schritt von der Kreditvergabe in den Vertrieb ist meiner. Hand und Henley schreiben über Kreditanträge, über nichts sonst. Formal beschrieben ist das Muster unter dem Namen selective labels, in einem viel zitierten Papier von Lakkaraju, Kleinberg, Leskovec, Ludwig und Mullainathan auf der KDD-Konferenz 2017. Das Leitbeispiel dort sind richterliche Kautionsentscheidungen: Ob ein Angeklagter zum Termin erscheint, weiß man nur von denen, die der Richter freigelassen hat.
Wir haben den Use Case für automatische Lead-Qualifizierung ausgearbeitet und beraten Unternehmen dazu. Wie in den vorherigen Texten dieser Reihe prüft dieser Beitrag eine eigene Zeile nach. Diesmal die Skalierbarkeit, bei uns 5 von 5, mit der Begründung: „Je mehr Deals im CRM landen, desto besser wird das Scoring-Modell.”
Mehr Deals im CRM machen den Score sicherer, ohne ihn zu prüfen
Der Satz stimmt unter einer Bedingung, die im überwachten Lernen fast immer stillschweigend mitläuft: dass die neuen Daten aus derselben Grundgesamtheit stammen wie die Fälle, auf die das Modell später angewendet wird. Beim Lead-Scoring ist das nach dem ersten Tag nicht mehr der Fall.
Sobald der Vertrieb nach Score arbeitet, entstehen neue Abschlussdaten nur noch oben. Das nächste Retraining sieht deshalb einen Datensatz, der noch reiner aus der vom Modell freigegebenen Menge stammt als der vorherige. Das Modell wird davon nicht schlechter. Es wird schmaler und selbstsicherer, und die Fehler, die es unten macht, kommen in seiner eigenen Bilanz nicht vor.
Was das mit deiner Erfolgskennzahl macht, zeigt eine Beispielrechnung mit ausgeschriebenen Annahmen, keine Marktdaten: 1.000 Leads im Quartal, 12 Prozent davon kaufen, macht 120 Abschlüsse. Jetzt kommt der Score, und der Vertrieb bearbeitet nur noch die oberen 400. Nimm an, das Modell sortiert ordentlich und 100 der 120 Käufer liegen in diesen 400. Die Abschlussquote je bearbeitetem Lead steigt damit von 12 auf 25 Prozent. Die Zahl der Abschlüsse sinkt um 20.
Diese Quote steigt in der Rechnung zwangsläufig, sobald die schwächsten Leads wegfallen. Sie ist deshalb kein Beleg dafür, dass das Modell gut sortiert. Unser älterer Überblick zu KI im Vertrieb beginnt mit einem Münchner Softwareanbieter und dem Ergebnis „40 Prozent mehr Abschlüsse im Quartal”, unser Use Case rechnet ein ROI-Beispiel über eine Conversion-Rate, die von 12 auf 17 Prozent steigt. Beide Zahlen sind ehrlich gemeint. Beide beschreiben die bearbeitete Teilmenge.
Kostenrahmen, Tool-Auswahl, Zeitplan, dazu die Frage, wann Art. 22 DSGVO bei einem vollautomatischen Kontakt-Trigger überhaupt greift: Das behandeln wir im Use Case zur automatischen Lead-Qualifizierung. Hier geht es um eine einzige Zeile daraus.
Als eBay die Kontrollgruppe wirklich fuhr, fiel die Rendite in sich zusammen
Wie weit beobachtete und tatsächliche Wirkung auseinanderliegen können, hat eBay gemessen statt geschätzt. Blake, Nosko und Tadelis schalteten die bezahlten Google-Anzeigen ohne Markenbezug in rund 30 Prozent der 210 US-Werberegionen ab. Ausgewählt aus einer Zufallsstichprobe und danach nach historischem Umsatzverlauf mit Kontrollregionen gepaart, verglichen sie die Regionen miteinander. Erschienen ist die Studie als NBER Working Paper Nr. 20171 im Mai 2014 und danach in Econometrica, Band 83 (2015), Seiten 155 bis 174.
Die Marken-Keywords hatten sie in einem eigenen Test geprüft: eBay schaltete diese Anzeigen auf Yahoo und MSN ab und ließ Google als Kontrolle weiterlaufen. Für sie nennen die Autoren in der Zusammenfassung „no measurable short-term benefits”, bei Nicht-Marken-Keywords fiel der durchschnittliche Return negativ aus. Die klassische, nicht-experimentelle Auswertung derselben Nicht-Marken-Anzeigen weist in Tabelle 4 des Working Papers dagegen eine Rendite von 1.632 Prozent aus. Die Autoren fassen den Abstand selbst zusammen: Die Erträge aus bezahlter Suche seien „a fraction of conventional non-experimental estimates”.
Der Grund ist derselbe Mechanismus wie oben. Die beobachtungsbasierte Schätzung sah die Käufer, die das System ohnehin erreicht hatte, und ein großer Teil davon hätte auch ohne Anzeige gekauft.
Auch das ist ein Übertragungsschritt, kein Befund über dein CRM: eBay hat Suchanzeigen getestet, kein Lead-Scoring, und die Größenordnung dieser Zahl gilt für eBays Anzeigen. Übertragbar ist die Struktur der Messung, nicht der Faktor.
Der quartalsweise Abgleich findet vieles, nur diesen Fehler nicht
Der beste Einwand kommt aus dem eigenen Haus. Unser Use Case empfiehlt, die Score-Verteilung quartalsweise gegen die tatsächlichen Abschlüsse zu halten, und das bleibt richtig. Gegen Modelldrift ist es das wirksamste einfache Mittel: Wenn sich dein Idealkunde verschiebt, siehst du es dort.
Nur besteht die rechte Seite dieses Abgleichs ausschließlich aus Leads, die das Modell freigegeben hat. Ein Lead, der nie angerufen wurde, kann in dieser Tabelle weder als Treffer noch als Fehler erscheinen. Der Abgleich prüft, ob das Modell innerhalb seiner Auswahl sauber sortiert. Ob die Auswahl selbst stimmt, prüft er nicht.
Die statistische Notlösung dafür gibt es, und ihre Bilanz ist ernüchternd. Crook und Banasik haben die gängigen Reject-Inference-Verfahren empirisch geprüft und ihre Arbeit ebenfalls als Frage betitelt: „Does reject inference really improve the performance of application scoring models?”, erschienen im Journal of Banking & Finance, Band 28 (2004), Seiten 857 bis 874. Ihr Befund: Re-Weighting schnitt nicht zuverlässig besser ab als eine Schätzung, die die abgelehnten Fälle einfach weglässt, bei hoher Ablehnungsquote sogar deutlich schlechter. Extrapolation brachte keinen Gewinn. Mehr als dreißig Jahre nach Hand und Henley steht die beste Antwort auf die Titelfrage von 1993 also weiter auf Nein, und niemand liefert dir die Korrektur im CRM mit.
Der zweite Einwand klingt praktischer: Unsere Leute übersteuern den Score ohnehin ständig, damit haben wir Gegenbeispiele. Das stimmt zur Hälfte. Diese Übersteuerungen folgen derselben Vertriebsintuition, aus deren früheren Ergebnissen das Modell gelernt hat, und sie werden fast nie so festgehalten, dass sich später etwas damit anfangen lässt. Wenn wir in bezahlten Kundenprojekten nach diesen Fällen fragen, kann sie in der Regel niemand zeigen.
Das Tripel aus Score, Anruf und Ergebnis steht nirgends zusammen
HubSpot beschreibt das eigene Predictive Lead Scoring in der Wissensdatenbank selbst als „blackbox machine learning”. Verarbeitet werden Analytics- und Conversion-Daten, Interaktionen aus dem CRM, firmografische Unternehmensdaten aus Breeze sowie Daten zum eigenen HubSpot-Account. Wie daraus ein Wert wird, ist proprietär.
Vorwurf ist das keiner, für den Zweck reicht das häufig. Es bedeutet nur: Von außen ist nicht nachvollziehbar, warum ein Lead seinen Wert bekommen hat. Und die Daten, mit denen du es von außen prüfen könntest, liegen in der Standardkonfiguration nicht vor. Das ist unsere Einschätzung aus der Arbeit am Use Case, keine Aussage des Anbieters: Der Score zum Entscheidungszeitpunkt, die tatsächliche Vertriebsaktion und der Ausgang werden selten gemeinsam protokolliert. Der Score wird laufend überschrieben, die Aktion steht im Aktivitätenprotokoll, der Ausgang im Deal. Wer die drei später zusammenführen will, rekonstruiert.
Dazu kommt eine Ironie in der Rechtslage. Art. 22 DSGVO läuft darauf hinaus, dass am Ende ein Mensch entscheidet, und in gut gebauten Systemen ist das ohnehin so. Genau dieser Mensch ist beides zugleich: die Quelle der Verunreinigung, weil seine Auswahl mitbestimmt, welche Leads je einen Ausgang bekommen, und der einzige Lieferant von Gegenbeispielen, den die meisten Teams überhaupt haben. Das ist kein Rechtsrat, nur die Beobachtung, wo die Daten herkommen.
Verzerrung durch historisch ungleiche Trainingsdaten ist übrigens ein anderes Thema, dazu haben wir separat geschrieben. Hier ist die Trainingsmenge nicht schief, weil die Vergangenheit ungerecht war. Sie ist schief, weil das Modell selbst mitentscheidet, welche Fälle je ein Ergebnis bekommen.
Der billige Kanal für die Gegenprobe hat ein Spam-Budget
Die naheliegende Antwort auf all das lautet: Dann bearbeiten wir die niedrig bewerteten Leads eben automatisiert. Anbieter agentischer Vertriebswerkzeuge werben allgemein damit, Outbound ohne zusätzliches Personal zu skalieren. Belastbare Marktzahlen dazu haben wir nicht gefunden, deshalb steht hier keine. Der Gedanke bleibt trotzdem plausibel: Was bisher als Verschwendung galt, könnte zum Nebenprodukt der Automatisierung werden.
Dagegen steht eine Grenze, die längst gilt. Google verlangt in seinen Richtlinien für E-Mail-Absender seit dem 1. Februar 2024 von allen, die mehr als 5.000 Nachrichten pro Tag an private Gmail-Adressen schicken, eine Spam-Beschwerdequote unter 0,30 Prozent, empfohlen wird ein Wert unter 0,10 Prozent. Dazu kommen Authentifizierung per SPF, DKIM und DMARC sowie ein Abmeldelink, der mit einem Klick funktioniert. Yahoo hat zum selben Zeitpunkt vergleichbare Anforderungen eingeführt.
Neu ist daran nichts, die Regel ist über zwei Jahre alt. Genau deshalb ist sie die harte Nebenbedingung für den Trend: Wer die Bearbeitung schwacher Leads einfach per Massenversand hochzieht, riskiert die Zustellbarkeit seiner Domain für alle anderen Mails. Die Gegenprobe ist also nicht kostenlos, auch wenn ein Agent sie technisch billig macht. Sie muss klein bleiben und protokolliert werden.
Die Gegenprobe kostet weniger als ein Modell, dem niemand widersprechen kann
Das ist eine Betriebsregel, kein Projekt. Drei Punkte.
Erstens: Zieh eine feste, kleine Quote aus dem unteren Score-Bereich und bearbeite sie normal weiter. Zufällig gezogen, nicht nach Bauchgefühl ausgewählt, sonst entscheidet wieder dieselbe Intuition. Zwanzig Leads pro Quartal reichen für den Anfang. Es sind genau die Stunden Vertriebszeit, die das System einsparen sollte, und sie sind der Preis dafür, dass du dem Score später glauben darfst.
Zweitens: Protokolliere das Tripel zum Zeitpunkt der Entscheidung. Score-Wert, wer wann welche Aktion gemacht hat, Ausgang. Der Score muss dabei eingefroren werden, sonst zeigt das Feld ein halbes Jahr später den aktuellen Wert und nicht den, auf dessen Basis jemand entschieden hat. Ein zusätzliches Feld im CRM und eine Automatisierung, die es beim Statuswechsel füllt, reichen dafür aus.
Drittens: Miss die Modellgüte an dieser Gruppe, nicht am Gesamtbild. Die Frage lautet nicht mehr, wie hoch die Abschlussquote der bearbeiteten Leads ist. Sie lautet: Wie viele Abschlüsse kamen aus dem unteren Score-Bereich, hochgerechnet auf dessen Größe?
Wenn aus zwanzig zufällig gezogenen Leads mit niedrigem Score über zwei Quartale kein einziger Abschluss entsteht, hat dein Modell recht, und du weißt es zum ersten Mal belegbar. Kommen zwei, hast du zwei Abschlüsse gefunden, die dein Score-Bericht als korrekt aussortiert geführt hätte. Der Anruf, von dem der Score abgeraten hat, ist in beiden Fällen die einzige Messung im ganzen System, die überhaupt etwas Neues erfahren kann.