Dein Team nutzt ChatGPT für Kundenanfragen. Jemand aus dem Marketing hat einen KI-Bildgenerator eingeführt. Die Buchhaltung testet ein KI-Tool für Rechnungsverarbeitung. Und du hast keinen Überblick mehr, welche Daten dabei wohin fließen.
Das ist kein ungewöhnliches Szenario — es ist 2026 der Normalzustand in vielen mittelständischen Unternehmen. Das Problem ist nicht die KI. Das Problem ist das fehlende System drumherum.
KI-Governance klingt nach etwas, das große Konzerne mit eigenen Compliance-Abteilungen brauchen. Stimmt nicht. Jedes Unternehmen, das KI einsetzt, braucht zumindest die Basics — sowohl aus eigenem Interesse als auch, weil der EU AI Act seit August 2026 verbindlich gilt.
Was KI-Governance eigentlich bedeutet
Governance ist nichts anderes als: Wer darf was mit welchen Systemen machen — und wer ist dafür verantwortlich?
Für KI heißt das konkret: Du weißt, welche KI-Tools dein Unternehmen einsetzt. Du weißt, wofür sie eingesetzt werden. Du weißt, welche Daten dabei verarbeitet werden. Und du hast geregelt, wer bei Problemen zuständig ist.
Das klingt simpel. Aber in der Praxis fehlen genau diese Informationen in vielen Unternehmen. Tools werden bottom-up eingeführt (Mitarbeiter probieren aus, was funktioniert), ohne dass die Geschäftsführung einen Überblick hat. Das erzeugt rechtliche Risiken — und ganz praktisch das Problem, dass du bei einem Datenschutzvorfall nicht weißt, wo du anfangen sollst zu suchen.
Schritt 1: Bestandsaufnahme — welche KI-Tools nutzt ihr?
Bevor du irgendetwas dokumentierst, musst du wissen, was es zu dokumentieren gibt.
Mach eine ehrliche Inventur. Frag alle Teams: Welche KI-Tools nutzt ihr, auch informell? Das umfasst offensichtliche Tools wie ChatGPT und Microsoft 365 Copilot, aber auch KI-Features in bestehenden Produkten — zum Beispiel KI-Textvorschläge in Intercom, KI-Scoring in deinem CRM oder automatische Transkription in Zoom.
Erstelle eine einfache Liste mit: Name des Tools, Anbieter, eingesetztes Team, wofür es genutzt wird.
Das ist deine Ausgangsbasis. Für die Ablage eignet sich ein geteiltes Dokument in Confluence oder Notion AI — beides lässt sich gut strukturieren und für alle Beteiligten zugänglich machen.
Schritt 2: Dokumentation pro System
Für jedes KI-System, das ihr produktiv einsetzt, solltest du folgende Punkte festhalten:
Zweck: Was soll das System tun? Je präziser, desto besser. Nicht “zur Effizienzsteigerung”, sondern “zur automatischen Klassifizierung eingehender Kundenanfragen nach Themenbereich”.
Datengrundlage: Welche Daten verarbeitet das System? Werden Kundendaten weitergegeben? Werden personenbezogene Daten an externe Server übertragen?
Verantwortliche Person: Wer ist intern zuständig? Wer prüft Outputs? Wer entscheidet, wenn das System falsche Ergebnisse liefert?
Outputs und Entscheidungen: Was macht das System mit seinen Ergebnissen? Werden Ausgaben direkt an Kunden kommuniziert? Fließen sie in Entscheidungen ein, die Menschen betreffen?
Risikoeinstufung: Ist das System in einem sensiblen Bereich tätig? Personalentscheidungen, Kreditvergabe, medizinische Hinweise — das sind Bereiche, bei denen der EU AI Act höhere Anforderungen stellt.
Dieses Dokument muss kein Aufsatz sein. Eine strukturierte Tabelle reicht für die meisten KMUs völlig aus.
Schritt 3: Interne KI-Richtlinie
Eine KI-Richtlinie regelt, wie Mitarbeiter KI-Tools einsetzen dürfen und sollen. Das ist kein bürokratisches Dokument — es ist Klarheit für dein Team.
Was eine gute KI-Richtlinie enthält:
Erlaubte und nicht erlaubte Nutzung. Darf man Kundendaten in ChatGPT eingeben? (Antwort für die meisten Unternehmen: Nein, zumindest nicht ohne geprüfte Enterprise-Version.) Darf man interne Dokumente in externe KI-Tools hochladen? Was passiert mit KI-generierten Texten — müssen sie vor Versand geprüft werden?
Verantwortung für Outputs. KI generiert Vorschläge. Menschen entscheiden. Das klingt selbstverständlich, ist aber nicht überall so gelebte Praxis. Deine Richtlinie sollte klarstellen: Für alles, was unter eurem Namen nach außen geht, ist ein Mensch verantwortlich — egal ob KI daran mitgewirkt hat.
Transparenzregeln. Müsst ihr Kunden mitteilen, wenn KI bei einer Kommunikation beteiligt war? In manchen Bereichen ist das bereits Pflicht. Die Richtlinie sollte das für euren Kontext klären.
Datenschutzvorgaben. Welche Daten dürfen in welche Tools? Einen sauberen Überblick gibt es im Artikel zu KI und Recht.
EU AI Act: Was du als KMU wissen musst
Der EU AI Act unterscheidet Risikokategorien. Das Wichtigste für die meisten KMUs:
Wenn ihr ausschließlich KI-Tools von anderen Anbietern nutzt (also keine eigenen Modelle entwickelt), gelten für euch vor allem die Pflichten als “Deployer” — also als Unternehmen, das KI einsetzt.
Bei Hochrisiko-Systemen (Personalentscheidungen, Kreditbewertung, biometrische Identifikation) gelten strenge Anforderungen: Risikobewertung, Dokumentation, menschliche Aufsicht, Registrierung in der EU-Datenbank.
Bei Niedrigrisiko-Systemen (Chatbots, Content-Generierung, allgemeine Automatisierung) reichen Transparenzpflichten: Nutzer müssen wissen, dass sie mit einer KI interagieren.
Für die meisten KMUs, die Standard-KI-Tools im Büroalltag einsetzen, ist der EU AI Act kein Anlass zur Panik — aber ein Anlass, die Dokumentation in Ordnung zu bringen.
Eine ehrliche Einschätzung zur Bürokratie
Ja, all das kostet Zeit. Nein, du brauchst keine perfekte Lösung von Tag eins.
Fang mit dem an, was heute fehlt und das größte Risiko darstellt. In den meisten Unternehmen ist das die Frage, welche Kundendaten in welche externen KI-Tools fließen — weil das direkt DSGVO-relevant ist.
Ein einfaches Dokument mit den aktuell eingesetzten KI-Tools, ihrer Zweckbestimmung und den Verantwortlichen ist besser als nichts. Perfekte Governance wächst mit der Zeit.
Was du vermeiden solltest: Das Thema so lange aufzuschieben, bis es ein konkretes Problem gibt. Dann dokumentierst du unter Druck — und meistens fehlen genau dann die Informationen, die du bräuchtest.
Eine kurze Checkliste für den Einstieg
Fünf Punkte, die jedes Unternehmen kurzfristig umsetzen kann:
- Inventar aller eingesetzten KI-Tools erstellen (auch informelle Nutzung erfassen)
- Für jedes Tool: Zweck, Datenfluss und interne Verantwortliche dokumentieren
- Prüfen, ob Kundendaten in externe KI-Tools fließen — und ob das zulässig ist
- Einfache interne Richtlinie schreiben: Was ist erlaubt, was nicht, wer entscheidet?
- Hochrisiko-Anwendungen identifizieren und gezielt auf EU-AI-Act-Anforderungen prüfen
Der nächste Schritt
KI-Governance ist kein einmaliges Projekt — es ist ein laufender Prozess. Tools kommen hinzu, Nutzungsmuster ändern sich, Vorschriften entwickeln sich weiter.
Was du heute aufbaust, ist die Grundlage. Nicht die perfekte Lösung, sondern der Anfang. Ein guter erster Schritt ist der Aufbau einer internen Wissensdatenbank — dort lassen sich Governance-Dokumente, Tool-Inventar und interne Richtlinien zentral pflegen.
Wenn du dein Unternehmen beim KI-Einsatz strategisch weiterentwickeln willst und dabei auf dem Laufenden bleiben möchtest, was sich regulatorisch und technologisch tut: Der Newsletter liefert die relevanten Entwicklungen — ohne Fachjargon, mit Fokus auf das, was für Unternehmen in Deutschland praktisch relevant ist.