Am 29. März 2024 veröffentlichte Colin Lecher für The Markup eine Recherche zum offiziellen KI-Chatbot der Stadt New York. Entstanden ist sie zusammen mit THE CITY und Documented. Der MyCity Business Chatbot sollte Kleinunternehmern erklären, welche Regeln für sie gelten. Er sagte ihnen unter anderem, ein Arbeitgeber dürfe einen Teil des Trinkgelds seiner Angestellten einbehalten. In New York City ist genau das verboten. Er antwortete außerdem, Vermieter müssten Inhaber von Section-8-Wohngutscheinen nicht als Mieter akzeptieren. Auch diese Ablehnung ist in New York City verboten, von einer kleinen Ausnahme für kleine Gebäude abgesehen, in denen der Vermieter oder seine Familie wohnt. Ein Restaurant dürfe komplett bargeldlos arbeiten, obwohl die Stadt die Annahme von Bargeld vorschreibt. Nachdem The Markup sie auf die eigenen Tests hingewiesen hatte, prüfte Rosalind Black, Citywide Housing Director bei Legal Services NYC, den Bot selbst. Ihr sagte er, ein Vermieter dürfe einen Mieter aussperren. Nach 30 Tagen Wohndauer ist genau das unzulässig.
Das NYC Office of Technology and Innovation ließ The Markup wissen, das System sei ein Pilotprojekt, das bereits Tausenden Menschen zeitnahe und zutreffende Antworten geliefert habe. Der Bot blieb nach der Veröffentlichung zunächst online.
Entscheidend ist, wer da gefragt hat. Wer bei seiner Stadtverwaltung nachfragt, ob er Trinkgeld einbehalten darf, kennt die Antwort nicht. Sonst würde er nicht fragen. Diese Nutzergruppe hat keinen Maßstab, an dem sie eine Auskunft messen könnte, und deshalb fällt bei ihr eine falsche Auskunft nicht auf. Sie fällt später jemand anderem auf, in New York den Rechercheuren von The Markup und einer Wohnrechtsjuristin, die den Vergleichsmaßstab schon mitbrachte, als sie den Bot öffnete.
Genau diese Nutzergruppe setzt du an jedem Montag, an dem jemand anfängt, vor deinen internen Assistenten.
Wir haben es im eigenen Use Case falsch herum sortiert
Wir haben den Use Case zur KI-gestützten Einarbeitung ausgearbeitet und beraten Unternehmen dazu. In seinem Zeitplan steht für Woche 3 bis 4 ein Testlauf mit einer Pilotperson, und in der Zeile daneben steht wörtlich: „Nächste neue Mitarbeitende nutzt System aktiv, Feedback sammeln, Lücken nachbessern.” Dazu die Empfehlung, den Assistenten am ersten Tag vorzustellen, bevor Pate und neue Person sich überhaupt zusammensetzen.
Der Use Case bleibt in der Sache richtig. Diesen einen Punkt würde ich heute strenger fassen. Die Person, die das System als Erste auf die Probe stellen soll, ist die einzige im Haus, die dazu strukturell nicht in der Lage ist.
Was so ein System kostet, welche Werkzeuge zu welcher Infrastruktur passen und was die DSGVO dabei von dir verlangt, findest du im Use Case zur KI-gestützten Einarbeitung. Hier geht es um eine einzige Entscheidung: um die Reihenfolge.
Alle anderen im Haus haben einen Prüferreflex
Eine Kollegin mit vier Jahren im Betrieb fragt den Assistenten nach der Frist für Reisekostenbelege. Kommt die Antwort „innerhalb von 14 Tagen”, stockt sie kurz, weil sie 30 Tage im Kopf hat. Sie weiß nicht sicher, was gilt. Sie weiß aber, dass etwas nicht passt. Das ist keine Sorgfalt, das ist Erinnerung, und sie arbeitet unwillkürlich.
Die Forschung zum Automation Bias, also zur Neigung, sich zu stark auf ein automatisiertes System zu verlassen, deckt die eine Hälfte davon ab. Kate Goddard, Abdul Roudsari und Jeremy C. Wyatt sichteten für ihren systematischen Review im Journal of the American Medical Informatics Association (2012) 13.821 Arbeiten, von denen 74 die Einschlusskriterien erfüllten. Als einen der Faktoren, die den Effekt vermitteln, nennen sie ausdrücklich die aufgabenspezifische Erfahrung.
Eine aggregierte Prozentzahl liefert dieser Review nicht, und ich setze hier keine ein. Der Übertragungsschritt, den ich offenlege: Die untersuchten Studien vergleichen mehr Erfahrung mit weniger Erfahrung, überwiegend im klinischen Umfeld. Wie oft eine Berufseinsteigerin eine falsche Antwort übernimmt, lässt sich daraus nicht ausrechnen.
Die Richtung des Arguments braucht die Studie ohnehin nicht. Wer keinen Vergleichsmaßstab hat, kann keine Abweichung bemerken. Das folgt aus der Definition, nicht aus Daten. Die neue Person am ersten Tag hat nicht wenig Erfahrung, sie hat keine.
Falsch beantwortete Fragen landen in keinem Protokoll
Über die Fragen, auf die ein interner Assistent nichts findet, haben wir im ersten Text dieser Serie geschrieben: Sie sind ein Fehlerprotokoll, sortiert nach echter Nachfrage. Die andere Hälfte fehlt dort, und sie ist die unangenehmere.
Unbeantwortete Fragen protokollieren sich selbst. Das System schreibt seinen eigenen Fehler mit, jedes Mal, wenn es sagt, dass es dazu nichts gefunden hat. Eine falsch beantwortete Frage tut das nicht. Damit sie in einem Log landet, muss ein Mensch sie melden. Melden kann sie nur, wer die richtige Antwort kennt. Und wer die richtige Antwort kennt, sitzt nicht vor dem Onboarding-Assistenten, weil er ihn nicht braucht.
Daraus folgt die Reihenfolge. Die Fehlerklasse, die dein System für Neue gefährlich macht, können nur die Erfahrenen sichtbar machen. Also gehören sie an den Anfang des Rollouts und nicht in die Rolle derer, die später mal ein Feedback geben.
Eine Quellenangabe ist eine Behauptung, keine Prüfung
Der naheliegende Einwand: Der Assistent nennt doch seine Quelle. Ein sauber konfiguriertes RAG-System antwortet ausschließlich aus den indexierten Dokumenten und schreibt dazu, woher die Antwort stammt. Damit, so das Argument, kann jeder nachsehen, ob sie stimmt.
Für die erfahrene Kollegin stimmt das. Für die neue Person ist „Mitarbeiterhandbuch_2025.pdf, Abschnitt 4.2” kein Prüfangebot, sondern ein Echtheitssiegel. Die Quellenangabe erhöht ihr Vertrauen in die Antwort, statt es zu relativieren. Sie kennt weder das Laufwerk noch die Geschichte des Dokuments, und ein Dateiname trägt für sie keine Information darüber, ob dieser Stand noch gilt.
Das ist deshalb heikel, weil interne Wissensbasen in unserer Beratungspraxis selten an fehlenden Dokumenten scheitern. Ein häufiger Grund für selbstsichere Falschantworten sind doppelte Dokumente, Beobachtung aus der Praxis, keine Statistik: Neben der gültigen Richtlinie liegt eine „Kopie von Reisekostenrichtlinie (2).docx” im Index, dazu ein alter SharePoint-Stand mit einem „_final_v3” im Namen. Das System findet beide, entscheidet sich für eine und antwortet in sauberen Sätzen. In bezahlten Kundenprojekten sehen wir dieses Muster regelmäßig: Der Bestand enthält seltener zu wenig als zweimal dasselbe in verschiedenen Fassungen.
Die erfahrene Kollegin sieht „Kopie von” im Dateinamen und misstraut der Antwort, bevor sie sie zu Ende gelesen hat. Für die neue Person sind beide Dateinamen gleich glaubwürdig, weil sie beide zum ersten Mal sieht. Solche Altbestände sind ein klassischer Fall von KI-Schulden. Sie kosten nichts, bis jemand auf sie hereinfällt.
Ja, Unerfahrene profitieren stärker. Prüfen können sie deshalb nicht.
Der stärkste Einwand gegen die umgekehrte Reihenfolge kommt aus der Radiologie. Andrey Povyakalo und Kollegen werteten in Medical Decision Making (2013) eine Studie neu aus, in der 50 Befunder jeweils 180 Mammogramme beurteilten, einmal mit und einmal ohne computergestützte Erkennung. Bei den 44 schwächer diskriminierenden Befundern stieg die Sensitivität bei 45 vergleichsweise einfachen, überwiegend vom System selbst markierten Krebsfällen um 0,016 (95-Prozent-Konfidenzintervall 0,003 bis 0,028). Bei den 6 stärksten sank sie bei 15 vergleichsweise schwierigen Krebsfällen um 0,145 (0,034 bis 0,257). Die Unterstützung half also gerade denen, die schlechter abschnitten, und schadete den Besten.
Auf das Onboarding übertragen klingt das nach einem Gegenbeweis: Wer am wenigsten weiß, gewinnt am meisten. Eine Kalibrierungsphase verzögert den Nutzen dann ausgerechnet für die Gruppe, die ihn am dringendsten braucht.
Der Einwand trifft eine andere Größe. Die Mammographie-Studie maß die Trefferquote im Nachhinein gegen die gesicherte Diagnose. Der einzelne Befunder musste die einzelne Fehlempfehlung nicht im Moment erkennen, die spätere Auswertung erledigte das für ihn. Im laufenden Betrieb gibt es diese Instanz nicht. Es gibt nur die neue Person, die eine Antwort liest und danach handelt. Nutzen und Prüfbarkeit sind zwei verschiedene Größen, und aus der einen folgt die andere nicht.
Dazu kommt: Die Kalibrierung kostet die neue Person keinen einzigen Tag Einarbeitung. Sie verschiebt nur, wessen Fragen zuerst die Fehler finden.
Der Pate lag auch falsch, aber er hat es dazugesagt
„Ich glaube, das läuft über Petra, frag sie lieber nochmal.” Dieser Satz ist inhaltlich vielleicht falsch. Er enthält aber eine eingebaute Reparaturanweisung. Die neue Person hört die Unsicherheit, fragt Petra, und wenn Petra nicht zuständig ist, korrigiert sich die Fehlinformation innerhalb von zwei Minuten selbst.
Der Assistent antwortet in vollständigen Sätzen, mit Quellenangabe, ohne Unsicherheitsmarker. Ich behaupte nicht, dass er öfter falsch liegt als der Pate, dazu kenne ich keine belastbare Messung. Er nimmt der Fehlinformation aber den Mechanismus, der sie im Onboarding bisher selbstkorrigierend gemacht hat. Auch das ist eine Beobachtung aus der Beratungspraxis und keine Studie, aber sie ist an jedem Onboarding überprüfbar, das du selbst erlebt hast.
Sobald der Assistent Aufgaben zuteilt, ändert sich die Rechtsfrage
Meine Prognose für die kommenden 12 bis 24 Monate: Aus Assistenten, die antworten, werden Assistenten, die handeln. Sie legen Checklisten an, buchen Schulungen, melden Fortschritte an die Führungskraft. Was daraus folgt: Wer eine Antwort nicht prüfen kann, prüft eine Aktion erst recht nicht, denn er sieht nur noch das Ergebnis und nicht mehr die Begründung.
Rechtlich ist ein Onboarding-Assistent, der Fragen beantwortet, in aller Regel kein Hochrisiko-System. Sobald er Aufgaben zuteilt oder Signale in eine Probezeitbewertung einspeist, rückt er in die Nähe von Anhang III Nummer 4 der KI-Verordnung. Diese Kategorie erfasst Beschäftigung, Aufgabenzuweisung sowie Leistungsüberwachung. Das ist eine Einschätzung, keine Rechtsberatung, und sie hängt an der konkreten Funktion.
Die Fristen dafür haben sich verschoben. Laut der Rechtsanalyse der Kanzlei Gibson Dunn zur Omnibus-Einigung gelten die Pflichten für eigenständige Hochrisiko-Systeme nach Anhang III nicht mehr ab dem 2. August 2026, sondern ab dem 2. Dezember 2027. Für in Produkte eingebettete Systeme nach Anhang I verschiebt sich der Termin auf den 2. August 2028. Artikel 4 zur KI-Kompetenz wurde abgeschwächt: Anbieter und Betreiber sollen den Aufbau von KI-Kompetenz künftig nur noch unterstützen, statt ein bestimmtes Niveau sicherzustellen. Die Kernpflicht aus Artikel 50, dass Menschen erkennen können müssen, wann sie mit einem KI-System sprechen, bleibt beim 2. August 2026. Eine Ausnahme gibt es trotzdem: Für die Wasserzeichenpflicht nach Artikel 50 Absatz 2 gilt bei Systemen, die vor diesem Datum schon im Markt sind, eine Übergangsfrist bis zum 2. Dezember 2026. Die Kommission hatte den Digital Omnibus on AI am 19. November 2025 vorgelegt. Die vorläufige Einigung im Trilog fiel am 6. Mai 2026, die Vertreter der Mitgliedstaaten bestätigten sie am 13. Mai 2026. Die zitierte Analyse fasst diese Einigung zusammen, nicht den finalen Amtsblatt-Text.
Mehr Zeit heißt nicht weniger Risiko. Der regulatorische Druck sinkt kurzfristig, die Funktionsdrift deines Assistenten nicht. Und die naheliegende Gegenmaßnahme, die neue Person eben schnell zu schulen, greift kürzer als sie aussieht: Ein Zertifikat belegt Anwesenheit, nicht Kompetenz, das hat mein Kollege am KI-Führerschein durchgerechnet.
Zwei Wochen Kalibrierung kosten dich keinen Tag Einarbeitung
Das ist kein Projekt, sondern eine geänderte Reihenfolge im Rolloutplan.
Erstens: Sammle die 30 Fragen, die neue Leute in den letzten zwei Jahren wirklich gestellt haben. Nicht die, von denen HR annimmt, dass sie kommen. Paten und Teamleitungen haben diese Liste im Kopf, sie müssen sie nur aufschreiben.
Zweitens: Lass diese Fragen von denen stellen, die die Antworten kennen. Zwei Wochen, ein paar Minuten am Tag. Sie protokollieren nicht nur „keine Information gefunden”, sondern zusätzlich zwei Kategorien: falsch und veraltet. Bei jeder falschen Antwort öffnen sie das genannte Quelldokument und notieren den Dateinamen. Das führt oft direkt zum Duplikat.
Drittens: Erst danach bekommt die neue Person den Zugang. Und in ihren ersten beiden Wochen lautet die Frage im Wochengespräch nicht „War etwas falsch?”, denn das kann sie nicht wissen. Sie lautet: „Welche Antwort hat dich überrascht?” Überraschung kann sie melden, Fehler nicht.
Dein Assistent ist nicht fertig, wenn er auf jede Frage etwas sagt. Er ist so weit, wenn die Leute, die die Antworten kennen, zwei Wochen lang gesucht und nichts Falsches mehr gefunden haben. Der erste Tag der neuen Kollegin ist dann kein Testlauf mehr, sondern das Ergebnis von einem.