OpenAI Moderation API

Kurzfazit

Die OpenAI Moderation API ist die kostenlose, einsteigerfreundlichste Option für automatisierte Inhaltsmoderation, wenn man die Schwächen kennt. Sie klassifiziert Text (und seit dem Modell omni-moderation-latest auch Bilder) in sechs Hauptkategorien plus Unterkategorien, insgesamt 13 Kategorien, und liefert pro Kategorie einen Score zwischen 0 und 1. Stärke: In einer Studie an deutschen Zeitungskommentaren (HOCON34k) lag der Recall bei 0,70, mehr Trefferquote als die Perspective API von Google Jigsaw (dort maximal 0,47). Schwäche: Die Precision lag bei nur 0,38, also rund zwei Drittel Fehlalarme. Praktisch heißt das: Die API kann als Vorfilter dienen, ersetzt aber keine menschliche Nachprüfung. Und sie verarbeitet standardmäßig auf US-Servern, was sie für DSGVO-kritische Use-Cases ohne aktivierte EU-Data-Residency oder Azure-Umweg problematisch macht.

Für wen ist die Moderation API?

Entwicklerteams in Foren, Community-Plattformen, Kommentarsystemen: Schnell integriert, kostenlos, ergibt unmittelbar einen Filter-Effekt. Erste Stufe vor der manuellen Moderation. Wer keine eigene Klassifikation hat, kommt damit am schnellsten zu einer technischen Basisfunktion.

Startups mit OpenAI-Stack: Wer ohnehin GPT-4o, Whisper oder andere OpenAI-Modelle einsetzt, hat die Moderation API gratis dabei, keine Vertragserweiterung, keine Setup-Kosten. Ein Pragmatismus-Argument.

Sicherheitsverantwortliche (Trust & Safety): Als zweite Meinung neben redaktioneller Prüfung wertvoll. Wenn der Score in mehreren Kategorien hoch ist, sollte der Mensch zuerst draufschauen, das spart Zeit gegenüber Volldurchsicht.

Bildungs- und Forschungsprojekte: Wer Datensätze auf problematische Inhalte vorfiltern will (etwa beim Korpusaufbau für ML-Training), bekommt mit der API eine günstige automatische Erstklassifikation.

Weniger geeignet für: Plattformen mit hohem deutschem Nutzeranteil und strenger DSGVO-Pflicht (deutsche Nachrichtenportale, Behördenforen, Gesundheits-Communities), für die eine Precision von 0,38 schlicht nicht ausreichend ist und die standardmäßige US-Verarbeitung zum Problem wird. Diese Anwender müssen einen AVV abschließen und die EU-Data-Residency aktivieren, den Weg über Azure OpenAI gehen oder gleich zu Alternativen wie moderationapi.com greifen.

Preise im Detail

Modell	Preis	Was du bekommst
omni-moderation-latest	0 USD (kostenlos)	Aktuelles, empfohlenes Modell. Multimodal (Text + Bild bis 20 MB), sechs Hauptkategorien mit Unterkategorien (13 gesamt)
text-moderation-latest / -stable / -007	eingestellt	Vorgängermodelle, am 27.10.2025 abgeschaltet. Migration zu omni-moderation nötig

Einordnung: Die offizielle Dokumentation formuliert es klar: „The moderation endpoint is free to use.” Die Moderation API ist also kostenlos, auch für hohe Volumina, es gibt keine separate Abrechnung und kein eigenes Kontingent. Praktisch heißt das: Du brauchst lediglich einen aktiven OpenAI-API-Account (mit hinterlegter Zahlungsmethode für andere API-Aufrufe), die Moderation selbst kostet nichts. Wer eine reproduzierbare Produktionsumgebung braucht, kann statt omni-moderation-latest auf eine datierte, festgepinnte Snapshot-Version des Modells wechseln. Zwei Dinge zur Vorsicht: „kostenlos” ist bei OpenAI kein Vertragsversprechen für die Ewigkeit, und OpenAI schaltet Modelle ab, die text-moderation-Vorgänger wurden im Oktober 2025 nach sechsmonatiger Ankündigungsfrist entfernt. Wer also noch auf einem alten Modellnamen sitzt, sollte migrieren.

Stärken im Detail

Kostenlos und produktionsbereit. Anders als viele kostenpflichtige Moderationsdienste (Perspective hat ein Quotensystem, ModerationAPI kostet pro Monat) ist OpenAIs Angebot kostenfrei, die Doku sagt wörtlich „free to use”. Selbst Volumenanwender mit Millionen Inhalten pro Monat zahlen für die Moderation nichts.

Recall auf Deutsch besser als der direkte Wettbewerber. Eine Studie von Anfang 2025 (arxiv 2501.01256, HM München) hat OpenAIs Modell am deutschen HOCON34k-Testset mit 1.592 Kommentaren gemessen: Recall 0,70 gegenüber maximal 0,47 bei der Google Perspective API (bester getesteter Schwellenwert τ=0,38, bei höheren Schwellen fällt Perspective deutlich ab). Wer also möglichst viele problematische Inhalte erkennen will, fährt mit OpenAI besser, auf Kosten der Precision. Zur Einordnung: Das im selben Test geprüfte GPT-4o schnitt insgesamt am besten ab.

Multimodale Moderation in einem Aufruf. Mit omni-moderation-latest lassen sich Text und Bilder (bis 20 MB) in einem API-Call gemeinsam moderieren. Das ist für Plattformen mit gemischten Inhalten (Forum mit Bild-Upload, Marketplace mit Produktfotos) ein echter Workflow-Vorteil, die abgeschalteten text-moderation-Vorgänger konnten nur Text. Bei Bildern greifen allerdings nicht alle Kategorien, harassment oder sexual/minors etwa gelten laut Doku nur für Text.

Granulare Kategorien. Die sechs Hauptkategorien (Harassment, Hate, Illicit, Self-Harm, Sexual, Violence) haben Unterkategorien wie hate/threatening, self-harm/intent, illicit/violent und sexual/minors, insgesamt 13 Kategorien. Das erlaubt feingranulare Regeln: hoher Score in sexual/minors als sofortiger Block, hoher Score in harassment als Moderationsqueue. (Die Schwellenwerte legst du selbst fest, OpenAI liefert keine Standardgrenzen.)

Niedrige Latenz. Die Moderation ist als einzelner Klassifikations-Endpoint schlank ausgelegt und in der Praxis schnell genug für Echtzeit-Filterung im Submit-Flow eines Kommentarsystems, ohne dass der Nutzer eine merkliche Wartezeit erlebt. (Konkrete Latenzgarantien nennt OpenAI nicht.)

Niedrige Setup-Hürde. Ein HTTP-POST-Request mit dem Text als JSON-Payload reicht. Kein Modelltraining, keine Konfigurationsdatei, kein Hyperparameter-Tuning. Für Teams ohne ML-Expertise ist das ein realer Zeitgewinn.

Schwächen ehrlich betrachtet

Hohe False-Positive-Rate auf Deutsch. Die in der HOCON34k-Studie gemessene Precision von 0,38 bedeutet: Bei zehn als problematisch geflaggten Kommentaren sind realistisch nur drei bis vier tatsächlich problematisch. Eine reine Auto-Block-Strategie würde damit massenhaft legitime Inhalte sperren. Du brauchst zwingend eine Moderationsqueue mit menschlicher Nachprüfung.

Englische Trainingsbias. Das Modell ist primär auf englischen Daten trainiert. Deutscher Humor, regionale Redewendungen, Ironie und Sarkasmus werden oft falsch klassifiziert, was harmlos ist, kann als bedrohlich gelabelt werden (und umgekehrt). Wer mit feinen sprachlichen Nuancen arbeitet (Satire-Plattform, Comedy-Community), wird die API als unbrauchbar empfinden.

US-Verarbeitung als Standard. Standardmäßig laufen Anfragen über OpenAIs US-Infrastruktur. OpenAI bietet inzwischen zwar Data-Residency-Optionen für mehrere Regionen inklusive EU an, doch die muss man aktivieren, sie gilt nicht automatisch für jeden Account und jeden Endpunkt, und für manche Regionen deckt sie nur die Speicherung ab, während die Verarbeitung weiter außerhalb erfolgen kann. Für DSGVO-kritische Anwendungen mit personenbezogenen Inhalten (Nutzerkommentare zu Mandanten, Gesundheitsthemen, Behörden) reicht die Standardkonfiguration daher nicht, du brauchst einen AVV plus aktivierte EU-Residency oder den Umweg über Azure OpenAI.

Keine Erklärbarkeit. Du bekommst einen Score, aber keine Begründung. Bei juristisch heiklen Fällen (Sperrung eines Nutzerkontos, Sanktionsmaßnahme) musst du die Entscheidung selbst dokumentieren, die API liefert keine Audit-Trail-Daten dafür.

Kein Fine-Tuning. Die Kategorien sind fest. Wer branchenspezifische Probleme hat (medizinische Fachsprache wird als “self-harm” geflaggt, juristische Diskussion über Straftaten wird als “violence” markiert), kann das Modell nicht anpassen. Workaround: eigene Schwellenwerte pro Kategorie und Kontext, was den Pflegeaufwand erhöht.

Versionsabhängige Verhaltensänderung. OpenAI aktualisiert die Modelle, hinter omni-moderation-latest kann morgen ein leicht anderes Modell stehen als heute. Wer reproduzierbare Ergebnisse braucht (z. B. für Audits), muss explizit auf eine datierte, festgepinnte Snapshot-Version gehen und nimmt dafür in Kauf, dass spätere Verbesserungen nicht automatisch ankommen. Und wie das Ende von text-moderation zeigt: Auch ganze Modellfamilien werden mit Vorlauf abgeschaltet, ein Migrationsplan gehört dazu.

Stark vereinfachte Antwortstruktur. Es gibt nur flagged: true/false plus Scores. Wer komplexere Strukturen braucht (etwa empfohlene Aktion, Severity-Level, Confidence-Intervall), muss diese selbst auf Basis der Scores ableiten.

Alternativen im Vergleich

Wenn du…	…nimm stattdessen
Wenig Code schreiben und sofort Dashboard willst	moderationapi.com
Google-Stack nutzt und Multi-Language-Moderation brauchst	Perspective API
Bildmoderation als Hauptanwendung hast	Sightengine, Hive Moderation, Amazon Rekognition Content Moderation
Vollständig in der EU hosten musst	moderationapi.com (Setup über EU-Region), eigene Klassifizierer mit DeepL/Aleph Alpha

Erwähnenswert ohne eigene Tool-Seite: Hive Moderation (US-Spezialist mit starker Bild- und Audiomoderation), Sightengine (französische Lösung mit guter EU-Compliance), Microsoft Azure Content Safety (Enterprise-Stack mit Azure-Integration und EU-Hosting), WebPurify (klassisches Pre-LLM-Filter-Tool). OpenAIs API ist die kostenlose Vorstufe, kommerzielle Lösungen kommen ins Spiel, wenn EU-Hosting, höhere Precision oder Fine-Tuning Pflicht werden.

So steigst du ein

Schritt 1: Lege auf platform.openai.com einen API-Account an und erstelle einen API-Key. Die Moderation API ist automatisch verfügbar, keine separate Freischaltung. Hinterlege eine Zahlungsmethode (auch wenn die Moderation API kostenlos ist, ist sie nur für aktive API-Accounts zugänglich).

Schritt 2: Sende einen HTTP-POST-Request an https://api.openai.com/v1/moderations mit dem Text als Input und omni-moderation-latest als Modell. Beispiel-Payload:

{
  "model": "omni-moderation-latest",
  "input": "Der zu prüfende Text"
}

Die Antwort enthält flagged: true/false plus einen Scores-Block für jede Kategorie. Für multimodale Inhalte (Bilder) wird input als Liste von Objekten mit type: "image_url" übergeben.

Schritt 3: Implementiere die Entscheidungslogik. Wichtig: Nicht nur auf flagged verlassen. Sinnvoll ist eine Schwellenwert-Logik pro Kategorie. OpenAI liefert bewusst keine festen Grenzwerte, die folgenden Werte sind daher illustrativ und müssen an deine Plattform kalibriert werden:

• sexual/minors > 0.05 → sofortiger Block, keine Veröffentlichung
• hate > 0.7 oder violence > 0.7 → automatische Ablehnung, Audit-Log
• harassment > 0.4 → Moderationsqueue für manuelle Prüfung
• Sonst: veröffentlichen

Schritt 4: Baue die Moderationsqueue mit menschlicher Nachprüfung. Wegen der hohen False-Positive-Rate auf Deutsch ist sie zwingend. Plane mindestens eine teilzeitliche Moderationsperson ein, die Flag-Entscheidungen prüft und Lerndaten für eigene Schwellen-Anpassungen sammelt.

Ein konkretes Beispiel

Ein illustratives Rechenbeispiel: Ein deutsches Online-Nachrichtenportal mit ca. 1.500 Kommentaren täglich nutzt die OpenAI Moderation API als erste Filterstufe. Workflow: Jeder eingereichte Kommentar geht erst durch die API. Bei flagged: true oder einem Score > 0.4 in einer der Hauptkategorien landet er in einer Moderationsqueue. Eine Online-Redakteurin prüft die Queue zwei Mal täglich (morgens und nachmittags), typisch ca. 400 Kommentare in der Queue, von denen nach manueller Prüfung etwa 100–150 tatsächlich abgelehnt werden (problematisch), der Rest wird freigeschaltet. Redaktionsaufwand sank von 4 Stunden täglich (vollständige Volldurchsicht) auf rund 1,5 Stunden, eine echte Entlastung, obwohl die hohe False-Positive-Rate der API täglich für ärgerliche Wartezeiten bei legitimen Kommentaren sorgt. API-Kosten: 0 €. Voraussetzung war ein bestehender OpenAI-API-Account, der monatlich ca. 80 € für andere KI-Funktionen kostet. Folgeschritt: Aufbau einer Whitelist für vertrauenswürdige Stammkommentatoren, die die Vor-Moderation umgehen.

DSGVO & Datenschutz

• Datenhosting: Standardmäßig USA. OpenAI bietet laut Doku aber Data-Residency-Optionen für mehrere Regionen an, darunter die EU. Diese Residency muss aktiviert werden, gilt nicht automatisch für jedes Konto und jeden Endpunkt, und deckt je nach Region nur die Speicherung ab, während die Verarbeitung außerhalb erfolgen kann.
• Datennutzung: Laut OpenAI-Doku werden an die API gesendete Daten nicht zum Training oder zur Verbesserung von OpenAI-Modellen verwendet, sofern man sich nicht ausdrücklich per Opt-in dafür entscheidet. Missbrauchs-Logs werden standardmäßig bis zu 30 Tage vorgehalten (sofern das Gesetz keine längere Aufbewahrung verlangt), danach gelöscht. Zero Data Retention ist für berechtigte Kunden nach vorheriger Genehmigung verfügbar, dann werden die Inhalte gar nicht erst protokolliert.
• Auftragsverarbeitung (AVV): Für die DSGVO-konforme Verarbeitung personenbezogener Daten brauchst du einen AVV (Data Processing Addendum) und musst die EU-Data-Residency aktivieren. Alternativ deckt der Microsoft Azure OpenAI Service EU-Hosting (u. a. Frankfurt) über den Microsoft-AVV ab, die Moderation ist auch dort verfügbar.
• Schrems-II-Problematik: Wie bei US-Anbietern üblich stützt sich der Datentransfer auf Standardvertragsklauseln, und beim CLOUD Act besteht grundsätzlich ein Zugriffsrisiko durch US-Behörden. Aktivierte EU-Residency mindert dieses Risiko, hebt es bei einem US-Mutterkonzern aber nicht vollständig auf.
• Empfehlung für Unternehmen: Für nicht-personenbezogene Moderation (allgemeine Kommentarfilterung ohne Klarnamen, kein Tracking) ist die Standard-API meist nutzbar. Für personenbezogene Inhalte: AVV abschließen und EU-Residency aktivieren, den Azure-OpenAI-Weg gehen oder auf EU-basierte Alternativen wechseln.

Gut kombiniert mit

• GPT-4o oder GPT-5 (OpenAI), als zweite Prüfstufe für Grenzfälle. Die Moderation API filtert grob vor, GPT-4o bewertet die problematischen Fälle mit Kontextverständnis. Das senkt die False-Positive-Rate erheblich, kostet aber pro Aufruf.
• Perspective API, als parallele zweite Meinung. Wenn beide APIs unabhängig flaggen, ist die Wahrscheinlichkeit problematischen Inhalts höher. Bei nur einer flaggenden API: Moderationsqueue.
• moderationapi.com, als Ergänzung mit Dashboard, Audit-Logs und EU-Hosting-Option. Wer eine Compliance-Brücke braucht, kombiniert OpenAI für die Erstfilterung mit moderationapi.com für die dokumentierte Endprüfung.

Unser Fazit

Die OpenAI Moderation API verdient 3 von 5 Sternen. Sie ist kostenlos, technisch sauber, multimodal und für englische Inhalte überraschend leistungsfähig. Für deutsche Plattformen ist sie aber nur als Vorfilter brauchbar, die gemessene Precision von 0,38 macht eine reine Automatisierung unmöglich, und die standardmäßige US-Verarbeitung erfordert für DSGVO-kritische Use-Cases zusätzliche Schritte (AVV plus EU-Residency oder Azure-Umweg). Wer einen OpenAI-API-Account ohnehin nutzt, sollte die Moderation API als zusätzliches Werkzeug einbinden, aber niemals als alleinige Lösung. Für ernsthafte Trust-&-Safety-Anforderungen führt der Weg zu kommerziellen Spezialisten (moderationapi.com, Hive, Azure Content Safety) oder eigenen Klassifizierern auf EU-Modellen.

Was wir bemerkt haben

• 2024, OpenAI hat das omni-moderation-Modell (omni-moderation-latest) veröffentlicht: erstes multimodales Moderationsmodell der Firma, das Text und Bilder (bis 20 MB) in einem einzelnen API-Aufruf moderiert. Vorher konnten die text-moderation-Modelle nur Text. Mit dem neuen Modell kamen auch die Kategorien illicit und illicit/violent hinzu.
• 2022 (Einführung), Die Moderation API wurde 2022 als kostenfreies Werkzeug veröffentlicht. Bis heute formuliert die Doku unmissverständlich „the moderation endpoint is free to use”, ein für OpenAI ungewöhnlich beständiges Versprechen, das öffentliches Sicherheitsinteresse als Begründung trägt.
• Anfang 2025, Eine Vergleichsstudie (arxiv 2501.01256, HM München) hat OpenAI, GPT-4o und Perspective API am deutschen HOCON34k-Testset (1.592 Kommentare) gemessen. Ergebnis für die Moderation API: Recall 0,70, Precision 0,38, Accuracy 0,70. Die Perspective API kam auf maximal 0,47 Recall (bei τ=0,38), fiel bei höheren Schwellen aber stark ab. GPT-4o schnitt insgesamt am besten ab. Bemerkenswert, weil es die Wahrnehmung „Perspective ist der Standard für mehrsprachige Moderation” relativiert.
• Oktober 2025, OpenAI hat die Vorgängermodelle text-moderation-latest, text-moderation-stable und text-moderation-007 abgeschaltet. Angekündigt am 28.04.2025, entfernt am 27.10.2025 nach sechsmonatiger Frist. Nachfolger ist omni-moderation. Wer noch alte Modellnamen im Code stehen hat, bekommt seither Fehler.
• Korrektur (Juli 2026), Frühere Fassungen dieser Seite (und viele andere Quellen) behaupteten, es gebe keine EU-Option. Das stimmt so nicht mehr: OpenAI bietet laut Doku Data-Residency-Optionen für mehrere Regionen inklusive EU an. Sie ist nicht der Standard und muss aktiviert werden, existiert aber, zusätzlich zum weiterhin möglichen Weg über Azure OpenAI (Frankfurt).