94 Prozent aller Airbnb-Unterkünfte hatten eine Durchschnittsbewertung von 4,5 oder 5 Sternen. Georgios Zervas, Davide Proserpio und John W. Byers haben das ausgezählt, für 2015 auf Basis von rund 200.000 auswertbaren Objekten, für 2018 auf rund 1 Million, veröffentlicht 2021 unter dem Titel A First Look at Online Reputation on Airbnb, Where Every Stay is Above Average, erschienen in Marketing Letters, Band 32. Im aktualisierten Datensatz vom März 2018 waren es noch 91 Prozent. Über beide Erhebungen hinweg liegt die durchschnittliche Bewertung einer Airbnb-Unterkunft bei 4,7 Sternen. Zum Vergleich: Bei rund 700.000 erhobenen TripAdvisor-Objekten liegt der Anteil mit 4,5 bis 5 Sternen bei Ferienunterkünften nur bei etwa 85 Prozent, Hotels kommen dort im Schnitt auf 3,8 von 5 Sternen, Bed and Breakfasts auf 4,1.
Die Studie führt diese Häufung nicht auf Zufall zurück. Sie nennt vier Faktoren, die die Literatur dafür verantwortlich macht: Herding-Effekte, den Unterreport negativer Bewertungen, die Selbstselektion zufriedener Rezensenten und strategische Manipulation.
Vier plausible Faktoren, keiner davon Zufall. Genau daran hängt die Frage, was dein Sentiment-Dashboard eigentlich misst. Ein zufälliger Klassifikationsfehler mittelt sich mit mehr Daten heraus. Ein gerichteter tut das nicht. Mehr Bewertungen verengen nur das Intervall um einen Wert, der schief ist.
Wir haben den Use Case zur Sentiment-Analyse für Kundenfeedback ausgearbeitet und beraten Unternehmen dazu. Er bewertet die Skalierbarkeit mit 5 von 5 und begründet das mit einem Satz, den wir selbst geschrieben haben: Mehr Feedback macht das System besser, nicht aufwendiger. Für die Infrastruktur stimmt der Satz. Für den Schätzer dahinter stimmt er nicht. Kostenrahmen und Tool-Vergleich findest du im Use Case zur Sentiment-Analyse, zusammen mit den Datenschutzfragen. Hier geht es um die Richtung des Fehlers.
Der Score steigt am schnellsten, wenn die Kritiker aufhören zu schreiben
Albert O. Hirschman hat den Mechanismus 1970 in „Exit, Voice, and Loyalty” beschrieben, fünf Jahrzehnte bevor jemand ein Sentiment-Dashboard dafür baute. Kern seiner These, hier nur sinngemäß wiedergegeben: Wer unzufrieden ist, kann widersprechen oder gehen, und beide Wege sind Substitute. Die qualitätsbewussten Kunden gehen als erste, und sie gehen leise. Dem Unternehmen fehlen danach genau die Stimmen, die am nützlichsten gewesen wären.
Für einen Sentiment-Score heißt das etwas Unangenehmes. Die lautesten Kritiker des letzten Quartals sind im nächsten Quartal keine Kunden mehr. Sie schreiben nichts, weil sie nichts mehr bestellen. Ihr Ausbleiben hebt den Durchschnitt, ohne dass sich an deinem Produkt eine einzige Sache verbessert hätte. Der Score steigt in dem Moment, in dem es dir schlechter geht.
Wir haben an anderer Stelle darauf hingewiesen, dass dein Bild verzerrt ist, wenn auf Trustpilot vor allem Unzufriedene schreiben, nachzulesen im Text zu KI für Marktforschung. Für öffentliche Plattformen, auf denen jemand aus eigenem Antrieb schreibt, stimmt das auch. Für deinen eigenen Feedback-Kanal, in dem du selbst zur Bewertung einlädst, kippt die Richtung. Das sind zwei verschiedene Stichproben, und wer beide in dasselbe Dashboard kippt, mittelt zwei gegenläufige Verzerrungen zu einer Zahl, deren Vorzeichen niemand mehr kennt.
Die Bewertungsanfrage hängt am Bestellabschluss, der Ärger hängt woanders
Der zweite Mechanismus steckt nicht im Modell, sondern in deinem Shop. Schau nach, an welchem Ereignis deine Feedback-Mail hängt. Ist es der Bestellabschluss, befragst du systematisch die Gruppe, bei der schon alles gut gegangen ist. Storno, Rücksendung, gescheiterte Zustellung und abgebrochener Warenkorb lösen dann keine Einladung aus.
In bezahlten Kundenprojekten ist die erste Frage deshalb selten, welches Modell klassifiziert, sondern welcher Auslöser die Einladung verschickt. Und wer von den Eingeladenen dann tatsächlich antwortet, ist noch einmal eine eigene Auswahl. Welche Gruppe bei dir überwiegt, kannst du nur an deinen eigenen Rückläufen sehen, nicht am Score.
Ein dritter Punkt derselben Art betrifft Support-Tickets. Wenn dein Klassifikator komplette Ticket-Verläufe liest statt nur der Kundennachrichten, bewertet er die freundlichen Antworten deines eigenen Teams mit. Der Ticket-Score steigt, obwohl der Kunde nichts Freundliches gesagt hat. Auch das ist eine Konfigurationsfrage, keine Modellfrage.
Ironie kommt in der Kritik vor, im Lob so gut wie nie
Der dritte Mechanismus sitzt in der Sprache. Unser Use Case nennt zwei Beispiele, die jeder deutsche Klassifikator kennt: „Toller Service, hab nur dreimal angerufen bis jemand abhebt” und „Nicht schlecht”. Das erste ist Kritik in der Form eines Lobes, das zweite ist Lob in der Form einer Einschränkung.
Ironie taucht fast ausschließlich in Kritik auf. Das ist eine Beobachtung über Sprachgebrauch, keine Messung, und sie steht so nicht im Use Case. Niemand lobt ironisch. Wer zufrieden ist, schreibt „schnelle Lieferung”, nicht „grandios, kam ja schon nach zwei Tagen”. Damit ist der Ironie-Fehler kein symmetrisches Rauschen. Er ist ein einseitiger Aufschlag nach oben, und er wächst mit jedem Text, den du zusätzlich einliest.
Wie sehr die Kanalzusammensetzung dabei durchschlägt, zeigt eines der größten Sentiment-Korpora seiner Zeit und das erste dieser Größenordnung für Deutsch. Für das GermEval 2017 Shared Task zu aspektbasiertem Sentiment in Kundenfeedback sammelten Wojatzki und Kollegen rund 28.000 annotierte Dokumente mit Feedback zur Deutschen Bahn. Die Klassenverteilung im Trainingsset für die Dokumentebene: 5.045 negativ, 13.208 neutral, 1.179 positiv. In einem Kanal, in dem niemand zur Äußerung eingeladen wurde, kommen auf jede positive Äußerung mehr als vier negative. Das Korpus stammt aus Social Media, Microblogs, News und Q&A-Seiten, nicht aus einem Feedback-Formular nach dem Kauf. Eine vergleichbar erhobene Zahl aus einem eingeladenen Kanal gibt es hier nicht, aber die Airbnb-Verteilung weiter oben zeigt, wie weit die andere Seite kippen kann. Die Sprache ist dieselbe, das Vorzeichen nicht.
Dieselbe Veröffentlichung zeigt noch etwas, das für die Praxis schwerer wiegt. Für die Dokumentpolarität steht dort nur ein über alle Klassen gemittelter Mikro-F1-Wert, beim besten System 0,749 auf den synchronen und 0,736 auf den diachronen Testdaten. Eine Aufschlüsselung nach Klassen fehlt. Genau das ist das Muster, das dich in deinem eigenen Reporting erwischt.
Eine Verzerrung, die wandert, kontaminiert genau das Delta
Der stärkste Einwand gegen alles bisher Gesagte lautet: Ein Sentiment-Score muss gar nicht stimmen, er muss nur die Richtung zeigen. Bleibt der Verzerrungsmechanismus konstant, kürzt er sich beim Vergleich zweier Zeitpunkte heraus, genau wie der systematische Messfehler in einem Qualitätsregelkreis. Und die Zahlen scheinen das zu stützen: Der Anteil der Airbnb-Unterkünfte mit 4,5 bis 5 Sternen bewegte sich zwischen 2015 und 2018 nur von 94 auf 91 Prozent, obwohl die Plattform in dieser Zeit stark gewachsen ist. Sieht robust aus.
Der Einwand hat eine Prämisse, und die hält in der Praxis selten. Die Abwanderungsquote bewegt sich mit Produktänderungen und Wettbewerbsdruck. Einladungslogiken können umgebaut werden, ohne dass es im Reporting auftaucht. Anbieter tauschen das zugrunde liegende Klassifikationsmodell aus, teils ohne Ankündigung. Das findest du nur im Changelog, und danach ist die Zeitreihe über den Wechseltag hinweg nicht mehr vergleichbar. Keines dieser Ereignisse hinterlässt einen sichtbaren Bruch in der Kurve. Jedes verschiebt die Verzerrung und kontaminiert damit genau das Delta, das du eigentlich lesen wolltest. Selbst die scheinbar stabile Airbnb-Quote hat sich in drei Jahren um drei Prozentpunkte bewegt, und niemand kann sagen, ob das eine Qualitätsänderung war.
Der zweite Teil des Einwands kommt aus unserem eigenen Text: 83 bis 91 Prozent Klassifikationsgenauigkeit für Deutsch. Dort steht allerdings auch, wofür dieser Wert gilt, nämlich für direkte, klare Texte, und dass er für ironische, sehr kurze oder stark mundartliche Texte auf 70 Prozent oder weniger fallen kann. Genau dort sitzt die Kritik, die du finden willst. Wer 83 bis 91 in ein Reporting schreibt, meldet also die Genauigkeit für die Texte, auf die es am wenigsten ankommt. Frag deinen Anbieter deshalb nicht nach Accuracy. Frag nach dem Recall für die negative Klasse.
Airbnb stellt ein zweites Siegel neben den eigenen Durchschnitt, statt ihn zu ersetzen
Wie weit dieser Effekt gehen kann, zeigt der Plattformbetreiber selbst. Am 8. November 2023 führte Airbnb die „Guest Favorites” ein, ein zweites Gütesiegel für eine erste Charge von rund 2 Millionen Unterkünften. Die genauen Aufnahmekriterien hat Airbnb nie offengelegt. Bekannt ist nur, was diese erste Charge auszeichnete: eine Durchschnittsbewertung von 4,9 Sternen, eine Stornoquote unter 1 Prozent und eine Vorfallsquote unter 1 Prozent. Neu berechnet wird das Siegel wöchentlich, der Superhost-Status quartalsweise. Mitgründer und CEO Brian Chesky räumte im selben Bericht ein, dass das Fünf-Sterne-System weit davon entfernt ist, perfekt zu sein. Wie weit, rechnet TechCrunch vor: Eine Unterkunft mit 4,6 Sternen liegt bereits in den unteren 20 Prozent aller Angebote, nachzulesen im Bericht vom 8. November 2023.
Interessanter als die Einführung ist, was nicht passiert ist. Airbnb hat das alte System nicht ersetzt. Chesky begründete das mit der schieren Masse: mehr als 317 Millionen Bewertungen, und zwei Drittel aller Gäste schreiben eine. Das ist der Ernstfall der Ausgangsthese. Eine Datenbasis, um die dich jedes Mittelstandsunternehmen beneiden würde, mit einer Rücklaufquote, von der jede Nachkauf-E-Mail träumt. Der Durchschnitt aus über 317 Millionen Bewertungen unterschied nicht mehr zwischen gut und mittelmäßig. Also stellte Airbnb ein zweites Signal daneben. Mehr Daten haben das Problem nicht gelöst. Sie haben es zementiert.
Dein Modell liest zunehmend Text, den ein anderes Modell geschrieben hat
Zum Schluss ein Faktor, der in den nächsten Monaten dazukommt. Pangram Labs hat im Mai 2026 rund 30.000 Bestseller-Rezensionen auf den Amazon-Produktseiten von 500 meistverkauften Produkten aus zehn Kategorien mit einem eigenen Detektor untersucht, nachzulesen in der Analyse zu KI-generierten Amazon-Rezensionen. 909 Rezensionen, also 3 Prozent, stufte der Detektor mit hoher Konfidenz als KI-generiert ein. Der interessante Teil ist die Verteilung: Von diesen Texten vergaben 74 Prozent fünf Sterne, gegenüber 59 Prozent bei den menschlich verfassten. Nur 10 Prozent vergaben einen Stern, gegenüber 22 Prozent bei den menschlichen. Und 93 Prozent der als KI-generiert erkannten Rezensionen trugen weiterhin das Siegel „Verified Purchase”, das Vertrauenssignal filtert also nichts heraus.
Der Anteil solcher Texte wächst. Originality.AI hat am 9. Januar 2026 ausgewertet, wie sich der Anteil wahrscheinlich KI-generierter Kundenrezensionen über Temu auf Trustpilot entwickelt hat: von 0,75 Prozent im Jahr 2022 auf 3,40 Prozent 2023, 5,17 Prozent 2024 und 10,90 Prozent 2025. Das ist ein Anstieg um rund 1.361 Prozent in drei Jahren, mit dem größten Sprung zuletzt.
Beide Zahlen kommen von Anbietern von KI-Detektoren und messen, was deren Detektor für KI-Text hält, nicht die Wahrheit. Sie beziehen sich außerdem auf einen Händler und eine Plattform, taugen also nicht als allgemeine Quote. Was sie zeigen, ist eine Richtung. Und wenn sich diese Richtung fortsetzt, liest dein Sentiment-Modell in den nächsten 12 bis 24 Monaten einen wachsenden Anteil an Text, den kein Kunde geschrieben hat, formuliert von einem System, das nachweislich freundlicher schreibt als Menschen.
Miss das Vorzeichen, nicht die Quote
Unser Use Case empfiehlt, alle sechs Monate 30 bis 50 Feedbacks manuell gegen die KI-Klassifikation zu prüfen. Das ist richtig, aber es misst das Falsche. „Wie viel Prozent stimmen” ist eine Quote, und eine Quote hat kein Vorzeichen.
Notiere stattdessen für jede Fehlklassifikation, in welche Richtung sie geht. Hat das Modell den Text zu positiv oder zu negativ gelesen? Wenn von 15 Fehlern 12 zu positiv waren, hast du keine Fehlerquote von 30 Prozent, sondern eine Verzerrung mit Richtung und Betrag, und die kannst du von deinem Score abziehen, bevor du ihn jemandem zeigst.
Zweitens: Häng eine Quelle an, die du nicht selbst eingeladen hast. Ruf Kunden an, die nicht wiedergekauft haben, und frag nach dem Grund. Das ist die unbequeme Maßnahme in diesem Text, weil sie Arbeit macht und weil ein Teil der Angerufenen nicht reden will. Sie ist die einzige, die den Selektionseffekt an der Wurzel angeht statt ihn nachträglich zu korrigieren.
Drittens: Schreib die Modellversion in dein Reporting und setz beim Wechsel eine neue Basislinie. Dasselbe gilt für jede Änderung an der Einladungslogik. Beides sind Ereignisse, die deine Zeitreihe unterbrechen, auch wenn die Kurve glatt weiterläuft.
Wenn dein Sentiment-Score im nächsten Quartal steigt, hast du zwei Erklärungen zur Auswahl. Deine Kunden sind zufriedener geworden. Oder die Unzufriedenen schreiben nichts mehr, weil sie keine Kunden mehr sind. Der Score kann diese Frage nicht beantworten, egal wie viele Bewertungen in ihn einfließen. Deine Abwanderungsquote im selben Zeitraum kann es.