Interne Wissensdatenbank mit KI aufbauen

Kurzfazit

Eine interne Wissensdatenbank mit KI ist ein Assistent, der eure Dokumente durchsucht und jede Antwort mit Fundstelle belegt. Liegen sie schon in Confluence, Microsoft 365 oder Notion, baust du nichts neu: Rovo ist in bezahlten Confluence-Plänen ohne Aufpreis enthalten, Microsoft 365 Copilot kostet 18,20 Euro je Nutzer und Monat, Notion AI im Business-Tarif 19,50 Euro. Ein eigenes RAG-System lohnt sich bei gemischten Quellen. Der größte Posten sind zwei bis vier Wochen interne Arbeit an den Dokumenten.

Das echte Ausmaß des Problems

Frag zehn Mitarbeitende in einem mittelständischen Unternehmen, wo die aktuelle Preisliste liegt, wie die Urlaubsregelung für Eltern in Teilzeit ist oder was die Stornierungsbedingungen im Standardvertrag mit Lieferanten sind, und du bekommst zehn verschiedene Antworten. Oder zehn Leute, die sich gegenseitig fragen.

Das ist kein Organisationsproblem, das sich mit mehr Disziplin lösen lässt. Es ist ein strukturelles Problem: Wissen wächst schneller, als Menschen es ordnen können. Jedes Unternehmen ab einer gewissen Größe hat Hunderte von Dokumenten, die niemand vollständig kennt, Verfahrensanweisungen, Angebotsvorlagen, alte Projektdokus, E-Mail-Ketten mit wichtigen Entscheidungen, Handbücher, die niemand liest.

Wie viele Stunden das genau kostet, sagen wir hier nicht. Die Zahlen, die im Netz zu diesem Thema kursieren, meist „1,8 Stunden täglich”, gehen alle auf einen Bericht des McKinsey Global Institute von 2012 zurück. Der ist vierzehn Jahre alt und war für diese Prüfung nicht abrufbar. Eine frühere Fassung dieser Seite nannte hier einen Stundenwert und schrieb ihn „internen Befragungen” zu. Beides ist raus.

Was du stattdessen tun kannst, kostet eine Woche und liefert eine Zahl, die für dich gilt: Lass dein Team eine Woche lang Strichliste führen. Jedes Mal, wenn jemand eine Information sucht, die es im Haus schon gibt, ein Strich, mit grober Minutenschätzung daneben. Das ist deine Ausgangslage, und nur gegen die lässt sich später messen, ob ein Assistent etwas gebracht hat.

Besonders sichtbar wird das Problem bei:

• Neuen Mitarbeitenden: Onboarding dauert Monate statt Wochen, weil Wissen in den Köpfen erfahrener Kolleginnen und Kollegen sitzt und nicht strukturiert zugänglich ist
• Urlaubsübergaben: Wer vertritt wen bei was? Was sind die laufenden Besonderheiten? Niemand weiß, wo das dokumentiert ist
• Kundenfragen an falsche Ansprechpartner: „Frag mal Sabine, die kennt sich da aus”, aber Sabine ist krank
• Wiederholte Fehler: Ein Problem wurde schon einmal gelöst, aber niemand findet die damalige Lösung

Interne Wissensdatenbank aufbauen: welcher Weg zu euren Dokumenten passt

Der Aufbau beginnt nicht beim Werkzeug, sondern bei der Frage, wo eure Dokumente heute liegen. Daraus folgt fast alles andere: welches System den Index schon hat, welche Zugriffsrechte übernommen werden und was es im Monat kostet. Die Preise stehen mit Quelle im Abschnitt zu den Kosten weiter unten.

Egal welcher Weg: Dokumente sichten, priorisieren und aufräumen kostet typisch zwei bis vier Wochen interne Arbeit, und bis zum Pilotbetrieb vergehen realistisch vier bis sechs Wochen. Die Reihenfolge, die wir empfehlen, weil jeder Schritt den nächsten billiger macht: eine Woche Strichliste, dann ein Test mit drei bis fünf Dokumenten in Gemini Notebook, dann das Werkzeug passend zum Ablageort, dann ein Pilot mit einer kleinen Gruppe. Wie jeder Schritt aussieht, steht weiter unten.

Mit vs. ohne KI, ein ehrlicher Vergleich

Diese Tabelle nennt bewusst keine Stunden und keine Onboarding-Wochen. Eine frühere Fassung tat das und stützte die Zahlen auf „eigene Erfahrungswerte aus RAG-Projekten”. Solche Projekte gibt es hier nicht, die Zahlen sind deshalb weg. Was bleibt, ist der Unterschied in der Art der Antwort, und der ist der eigentliche Punkt: Eine Quellenangabe ist nachprüfbar, eine Erinnerung nicht.

Die letzte Zeile ist kein Tippfehler. Sie ist der Preis dieses Anwendungsfalls und der Grund, warum weiter unten so viel über Pflege steht.

Einschätzung auf einen Blick

Zeitersparnis, mittel (3/5)
Der Assistent nimmt dem Team das Suchen ab, nicht die Arbeit selbst. Das ist ein realer Hebel, aber nicht der größte in dieser Kategorie. Kundenkorrespondenz und Berichterstellung entlasten die tägliche Arbeitszeit stärker, weil sie Kernaufgaben beschleunigen, nicht nur Suchaufwand reduzieren. Der Effekt der Wissensdatenbank hängt stark davon ab, wie vollständig die Dokumentenbasis ist und wie konsequent das Team das System nutzt. Eine belastbare Stundenzahl gibt es dafür nicht, weder von uns noch aus einer Studie, die wir prüfen konnten.

Kosteneinsparung, niedrig (2/5)
Die Einrichtung kostet fast nichts, wenn ihr ohnehin Notion, Confluence oder Microsoft 365 nutzt, weil der Assistent dann in der bestehenden Lizenz steckt. Für ein eigenes RAG-System lasst euch ein Angebot geben, die Spanne am Markt ist zu groß für eine seriöse Hausnummer. Der Nutzen entsteht indirekt über eingesparte Suchzeit, schwerer zu isolieren als bei der Rechnungsverarbeitung, wo du den Preis je Rechnung direkt messen kannst, oder der Qualitätssicherung, die Reklamationen verhindert.

Schnelle Umsetzung, mittel (3/5)
Bis zum produktiven Pilotbetrieb vergehen realistisch 4–6 Wochen: Dokumente priorisieren, indexieren, testen, Feedback einsammeln, nachbessern. Das ist handhabbar, weder so einfach wie Meeting-Protokolle oder Kundenkorrespondenz (SaaS-Tools, in einem Tag einsatzbereit), noch so komplex wie Predictive Analytics oder Rechnungsverarbeitung mit ERP-Integration. Mittelfeldposition unter den verglichenen Anwendungsfällen.

ROI-Sicherheit, mittel (3/5)
Der Nutzen ist real, aber schwer präzise zuzuordnen: Wie viel Zeit wurde durch das System gespart, wie viel durch bessere Dokumentation oder Teamgröße? Anders als bei der Rechnungsverarbeitung, wo du Rechnungen zählst und Skonto-Gewinne buchst, bleibt der Wissensassistent ein indirekter Effekt. Die Nutzungsrate und die Qualität der Dokumentenbasis entscheiden am Ende darüber, ob der ROI eintritt oder nicht.

Skalierbarkeit, hoch (4/5)
Ein RAG-System trägt mehr Mitarbeitende, mehr Dokumente und mehr Fragen ohne proportional steigenden Betriebsaufwand. Nicht maximal bewertet, weil der Index bei wachsendem Dokumentvolumen gepflegt werden muss, veraltete Versionen, Duplikate und widersprüchliche Inhalte verschlechtern die Antwortqualität, wenn niemand aktiv aufräumt.

Richtwerte, stark abhängig von Unternehmensgröße, vorhandener Infrastruktur und Dokumentenvolumen.

Was ein interner KI-Assistent konkret macht

Der technische Ansatz heißt Retrieval-Augmented Generation (RAG). Klingt komplex, ist im Prinzip folgendes:

Das System indexiert alle internen Dokumente, PDFs, Word-Dateien, Confluence-Seiten, Notion-Datenbanken, SharePoint-Inhalte, E-Mail-Anhänge, und speichert sie semantisch durchsuchbar. Stellt jemand eine Frage, sucht das System nicht nach dem genauen Wortlaut, sondern nach dem Bedeutungsgehalt. Es findet die relevantesten Textabschnitte, reicht sie zusammen mit der Frage an ein Sprachmodell weiter und formuliert eine direkte Antwort, immer mit Quellenangabe, damit du nachprüfen kannst, woher die Information stammt.

Was das in der Praxis bedeutet

Jemand fragt: „Wie viel Vorlauf brauchen wir, wenn wir eine Projektänderung beim Kunden Müller anmelden wollen?”

Das System durchsucht den Rahmenvertrag, das letzte Meeting-Protokoll mit dem Kunden, die interne Prozessdokumentation und die E-Mail, in der das mal besprochen wurde, und antwortet: „Laut Rahmenvertrag §4 Abs. 2 gilt eine Vorlaufzeit von 10 Werktagen. Im letzten Jour fixe (Protokoll vom 12.11.2025) wurde vereinbart, dass bei kleineren Änderungen 5 Werktage ausreichen.” Und zeigt dir die Quelldokumente zum Nachlesen.

Das ist nicht möglich mit einer klassischen Suchfunktion, die nach Stichwörtern sucht. Es funktioniert auch nicht mit einem generischen KI-Chatbot, der dir etwas erfindet, das klingt wie eine Antwort. Es funktioniert nur mit einem System, das dein konkretes Wissen kennt, und nur das zurückgibt, was tatsächlich vorhanden ist.

Der größte technische Stolperstein in der Praxis sind nicht die Texte, sondern ihre Formate. Gescannte PDFs, ältere Excel-Tabellen und PowerPoint-Präsentationen verlieren beim Einlesen strukturelle Information, Tabellen werden zu Fließtext, Bilder sind für das System unsichtbar. Wer einen großen Teil seiner Dokumentation in diesen Formaten hat, sollte das in der Auswahlphase des Tools explizit ansprechen: Nicht alle Plattformen unterstützen alle Formate gleich gut, und bei gescannten Dokumenten ist OCR-Qualität entscheidend für die Antwortqualität.

Zugriffsrechte: Wer sieht was?

Eine häufige Sorge: „Wenn alle Mitarbeitenden alles fragen können, sehen dann auch alle alles?” Die Antwort ist: Nein, sofern das System richtig konfiguriert ist.

Eine gut gebaute interne Wissensplattform respektiert die bestehende Zugriffsstruktur. Wenn ein Dokument in SharePoint nur für die Geschäftsführung zugänglich ist, gibt der Assistent daraus auch keine Informationen an Sachbearbeiter weiter. Die Zugriffsrechte werden aus dem bestehenden System übernommen, keine manuelle Neuvergabe, keine parallele Verwaltung.

Das Prinzip: Der Assistent kann immer nur das wissen, was der jeweilige Nutzer auch direkt lesen dürfte.

Konkrete Werkzeuge, was wann passt

Es gibt sehr unterschiedliche Wege, einen internen Wissensassistenten zu bauen. Die richtige Wahl hängt stark davon ab, wo deine Dokumente heute leben.

Notion AI , Wenn dein Team bereits Notion als zentrales Wiki nutzt, ist Notion AI der naheliegendste Einstieg. Notion AI beantwortet Fragen auf Basis der vorhandenen Notion-Seiten. Keine separate Infrastruktur, keine Migration. Einschränkung: Funktioniert nur mit Inhalten in Notion, nicht mit externen PDFs oder E-Mails. Seit 2025 ist Notion AI kein Add-on mehr, sondern im Abo enthalten: Plus (9,50 Euro/Person/Monat) nur als begrenztes Trial, die volle KI-Suite inklusive Enterprise Search erst ab Business (19,50 Euro/Person/Monat).

Confluence mit Atlassian Rovo, Ähnlich wie Notion AI, aber für Confluence-Ökosysteme. Sinnvoll für Teams, die Confluence bereits intensiv nutzen. Rovo ist kein separates Add-on, sondern in den bezahlten Cloud-Plänen Standard, Premium und Enterprise enthalten, ausgerollt bis Ende 2025. Wichtig ist das Kleingedruckte: Enthalten ist ein monatliches Credit-Kontingent je Nutzer, 25 Credits im Standard-, 70 im Premium-, 150 im Enterprise-Plan. Wer darüber hinaus fragt, zahlt 0,01 US-Dollar je Credit nach. Confluence selbst liegt bei ca. 5,42 US-Dollar (Standard) bzw. 10,44 US-Dollar (Premium) je Nutzer und Monat bei jährlicher Abrechnung.

Microsoft Copilot for SharePoint / Microsoft 365 Copilot , Für Unternehmen, die Microsoft 365 (SharePoint, Teams, Outlook, Word) nutzen. Microsoft 365 Copilot durchsucht alle M365-Inhalte, zu denen der jeweilige Nutzer Zugriff hat. Sehr mächtig, direkt integriert in die bestehende Toollandschaft. Kosten: 18,20 Euro je Nutzer und Monat im Jahresabo für das Add-on Copilot Business, 21,84 Euro bei monatlicher Zahlung, 26,00 Euro für die Enterprise-Variante Microsoft 365 Copilot, jeweils zusätzlich zur bestehenden M365-Lizenz. Lohnt sich besonders ab 20+ Personen.

Custom RAG mit OpenAI + Vektordatenbank, Maximale Flexibilität und Kontrolle. Dokumente werden in eine Vektordatenbank ( Pinecone , Weaviate oder Chroma ) geladen, Anfragen werden über OpenAI-Embeddings semantisch gesucht, ein aktuelles Sprachmodell formuliert die Antwort. Quellenangaben sind präzise steuerbar, Zugriffsrechte vollständig anpassbar. Pinecone ist vollständig gemanagt und schnell einsatzbereit, aber US-gehostet. Weaviate und Chroma lassen sich selbst hosten, in der eigenen Cloud oder on-premise, und sind damit die DSGVO-konforme Wahl für sensible Dokumente. Erfordert Entwicklerunterstützung, aber das Ergebnis ist eine Lösung, die exakt auf deine Anforderungen zugeschnitten ist. Die laufenden Kosten setzen sich aus Infrastruktur und Token-Verbrauch zusammen und hängen so stark an Dokumentenmenge und Anfragevolumen, dass eine Hausnummer hier nur Scheingenauigkeit wäre. Lass dir das rechnen, bevor du startest.

Guru , Dedizierte Knowledge-Management-Plattform. Jede Wissenskarte hat einen festen Besitzer und ein Ablaufdatum, das System markiert veraltete Inhalte automatisch als “nicht verifiziert”. Besonders geeignet, wenn Aktualität und klare Verantwortlichkeit wichtiger sind als tiefe Integration in bestehende Dokumentensysteme. Guru veröffentlicht keine Listenpreise, die Kalkulation läuft über den Vertrieb. Sinnvoll, wenn ihr primär Governance braucht, nicht nur Suche.

Für Unternehmen mit 50+ Mitarbeitenden und einer komplexen Multi-Tool-Landschaft (Slack, Confluence, Salesforce, Jira gleichzeitig) ist auch Glean eine Überlegung wert, eine KI-Unternehmenssuche, die alle Quellen gleichzeitig durchsucht und dabei individuelle Zugriffsrechte respektiert.

Zusammenfassung: Wann welcher Ansatz

• Alles in Notion → Notion AI
• Alles in Confluence → Atlassian Rovo
• Alles in Microsoft 365 → M365 Copilot
• Gemischte Quellen, individuelle Anforderungen → Custom RAG
• Governance und klare Inhaltsverantwortung im Vordergrund → Guru
• 50+ Mitarbeitende, komplexe Multi-Tool-Umgebung → Glean

Datenschutz und Datenhaltung

Interne Dokumente enthalten oft personenbezogene Daten: Mitarbeiterdaten in HR-Dokumenten, Kundendaten in Angeboten und Verträgen, personenbezogene Informationen in E-Mail-Anhängen. Das bedeutet: Sobald ein KI-System diese Dokumente verarbeitet, gilt die DSGVO, für das System selbst, die Infrastruktur dahinter und alle Drittanbieter, die Zugriff auf die Daten haben.

Für die gängigen Werkzeuge gibt es EU-konforme Optionen, die du aktiv einfordern musst: Microsoft 365 Copilot lässt sich über das EU Data Boundary-Programm so konfigurieren, dass Daten ausschließlich in europäischen Rechenzentren verarbeitet werden. Notion AI verarbeitet Daten standardmäßig in den USA, ein AVV ist erhältlich, eine echte EU-Datenresidenz (vergleichbar mit Microsofts EU Data Boundary) bietet Notion jedoch nicht. Die vertragliche Absicherung ist vorhanden, aber die physische Verarbeitung bleibt US-seitig. Für sensible personenbezogene Daten solltest du das mit eurem Datenschutzbeauftragten klären. Ein selbst gehostetes Custom-RAG-System auf Azure-Infrastruktur in der EU-Region oder auf einem deutschen Anbieter wie Hetzner bietet die vollständige Kontrolle über Datenhaltung und Verarbeitung.

Wer personenbezogene Daten an einen Cloud-Anbieter übergibt, muss mit ihm einen Auftragsverarbeitungsvertrag (AVV) abschließen, das schreibt Art. 28 DSGVO vor. Alle genannten Anbieter stellen AVV-Vorlagen bereit, aber du musst sie aktiv anfordern und unterzeichnen. Das ist kein bürokratisches Detail, sondern ein wesentlicher Schritt vor dem Produktivbetrieb. In der Praxis läuft das so: Du als Geschäftsführung oder IT-Verantwortliche:r forderst den AVV beim Anbieter an, bei Microsoft, Notion und Atlassian gibt es dafür Self-Service-Portale, und leitet ihn zur Prüfung an euren Datenschutzbeauftragten oder Anwalt weiter. Kein externer Aufwand, aber ein Schritt, der nicht vergessen werden darf.

Was es kostet, realistisch gerechnet

Einmalige Einrichtungskosten

• Dokumente sichten, priorisieren, indexieren: typisch 2–4 Wochen Aufwand intern, der größte und am häufigsten unterschätzte Posten
• Externe Einrichtung eines eigenen RAG-Systems: Angebot einholen. Wir nennen hier bewusst keine Spanne, weil sie so stark an Quellenvielfalt, Zugriffskonzept und Dokumentenzustand hängt, dass jede Zahl mehr verspricht, als sie halten kann
• Bei Plattform-Tools (Notion AI, M365 Copilot, Confluence mit Rovo): deutlich günstiger, oft nur 1–3 Tage Einrichtung, weil Index und Rechtemodell schon stehen

Laufende Kosten (monatlich)

• Notion AI: 9,50 Euro/Person/Monat (Plus, nur begrenztes KI-Trial), 19,50 Euro (Business, volle KI-Suite)
• Confluence mit Atlassian Rovo: Rovo ohne Aufpreis in Standard, Premium und Enterprise, mit 25/70/150 Credits je Nutzer und Monat, Mehrverbrauch 0,01 US-Dollar je Credit. Confluence selbst ab ca. 5,42 US-Dollar (Standard) bzw. 10,44 US-Dollar (Premium) je Nutzer und Monat
• M365 Copilot: 18,20 Euro/Nutzer/Monat (Copilot Business, Jahresabo), 26,00 Euro (Microsoft 365 Copilot, Enterprise)
• Guru: keine öffentlichen Listenpreise, Angebot über den Vertrieb
• Custom RAG: Infrastruktur plus LLM-Tokenkosten, volumenabhängig, vorab kalkulieren lassen

Wie du den Nutzen tatsächlich misst
Der ehrlichste Beweis dafür, dass das System funktioniert, ist nicht die Stundenkalkulation, es ist die tägliche Nutzungsrate. Wie viele Fragen stellt das Team pro Tag? Welche davon werden erfolgreich beantwortet, bei welchen gibt das System nach oder liefert unsichere Antworten? Miss das gegen deine eigene Ausgangszahl aus der Strichlisten-Woche, nicht gegen einen Branchen-Benchmark. Eine frühere Fassung dieser Seite nannte hier eine DAU/MAU-Quote als Vergleichsmaßstab, für die wir keine belastbare Quelle gefunden haben. Die Fragen, auf die das System keine gute Antwort hat, sind gleichzeitig der Hinweis, was als nächstes dokumentiert werden muss.

Was du dagegenrechnen kannst
Rechne nicht mit einer Stunde, rechne mit deinem Strichlisten-Ergebnis. Der Rahmen dafür: Der durchschnittliche Bruttostundenverdienst in Deutschland lag im April 2025 laut Statistischem Bundesamt bei 28,19 Euro, in Fachfunktionen deutlich darüber. Wenn 20 Personen täglich je eine halbe Stunde weniger suchen, sind das 10 Stunden am Tag, also rund 280 Euro täglich und etwa 5.600 Euro im Monat bei 20 Arbeitstagen.

Zwei Einschränkungen, die diese Rechnung sofort relativieren. Erstens setzt sie voraus, dass alle das System auch nutzen, was in den ersten Monaten selten der Fall ist. Zweitens wird gesparte Suchzeit nicht automatisch zu Wertschöpfung, sie verteilt sich zunächst über den Tag. Die Rechnung taugt als Obergrenze, nicht als Zusage.

Typische Einstiegsfehler

1. Mit allen Dokumenten auf einmal starten.
Der Reflex: Alles einlesen, dann ist das System so gut wie möglich. In der Praxis führt das zu einem Assistenten, der auf viele Fragen diffuse Antworten gibt, weil veraltete Dokumente, Duplikate und widersprüchliche Versionen im Index landen. Lösung: Mit den drei bis fünf häufigsten internen Fragekategorien starten. Welche Dokumente beantworten sie? Die werden zuerst indexiert, sauber vorbereitet und validiert. Erst dann skalieren.

2. Keine Zugriffsrechte definieren.
Viele implementieren einen Wissensassistenten ohne Überlegung, welche Inhalte wer sehen darf. Das Ergebnis: Mitarbeitende bekommen Antworten aus Dokumenten, die für sie nicht bestimmt sind, Gehaltsdaten, M&A-Dokumente, vertrauliche Kundendaten. Das erzeugt zu Recht Misstrauen. Lösung: Vor dem Launch klare Kategorien definieren: was ist intern zugänglich für alle, was nur für bestimmte Rollen, was bleibt außen vor.

3. Erwarten, dass das System alle Wissenslücken auffüllt.
Ein RAG-Assistent kann nur das zurückgeben, was dokumentiert ist. Wenn das Wissen hauptsächlich in Köpfen steckt, im Außendienstmitarbeitenden, der seit 15 Jahren weiß, was bei Kunde X funktioniert, hilft das System nicht. Lösung: Den Rollout nutzen, um explizit zu erfassen, was fehlt. Jede unbeantwortete Frage ist ein Signal: Hier fehlt ein Dokument.

4. Das System wird eingeführt, aber nicht gepflegt.
Das ist der gefährlichste Fehler, weil er still passiert.

Im Gegensatz zu einer Suchmaschine, die einfach nicht findet was nicht da ist, antwortet ein RAG-System immer mit Zuversicht, auch wenn die Quelle zwei Jahre alt und längst überholt ist. Das ist gefährlicher als eine leere Antwort. Wer dieses Problem ignoriert, hat nach 18 Monaten ein System, das selbstbewusst falsche Auskunft gibt.

Das Verfallsdatumproblem braucht eine organisatorische Lösung, keine technische. Jede Dokumentenkategorie braucht einen Besitzer, nicht die IT, nicht “alle”, sondern eine namentliche Person, die entscheidet: Ist dieser Inhalt noch korrekt? Muss er aktualisiert werden? Guru löst das technisch über erzwungene Review-Zyklen, aber das Prinzip gilt unabhängig vom Tool.

Was löst einen Review aus? Entweder Zeit (z.B. alle 6 Monate), oder ein Ereignis (neue Produktversion, Gesetzesänderung, Personalwechsel). Beides gehört in die Rollout-Planung, nicht in die “irgendwann”-Liste. Wenn zwei Dokumente sich widersprechen, kann das System nicht entscheiden, welches stimmt. Es wird eine der beiden Versionen als Antwort liefern, oder beide, ohne Hinweis auf den Widerspruch. Die Lösung ist kein technisches Feature: Wer darf das Wissen kanonisieren? Diese Frage muss vor dem Launch beantwortet sein.

Realistischer Zeitplan mit Risikohinweisen

Wichtig: Das System wird nicht sofort alles perfekt beantworten. Es gibt Fragen, auf die es keine gute Antwort findet, weil die Information gar nicht dokumentiert ist. Das ist wertvolles Feedback: Es zeigt, was dokumentiert werden sollte.

Häufige Einwände, und was dahintersteckt

„Wir haben schon eine interne Suche.”
Interne Suchen arbeiten mit Schlüsselwörtern. Wenn jemand „Urlaubsregelung Elternzeit” sucht, findet man vielleicht das Dokument, sofern man das richtige Wort eingibt. KI-Assistenten verstehen die Frage, nicht nur die Wörter. Der Unterschied in der Trefferquote ist erheblich.

„Unsere Dokumente sind ein Chaos.”
Dafür wurde RAG entwickelt. Das System kann mit unstrukturierten, inkonsistenten Dokumenten arbeiten. Es muss nicht schön sein, es muss zugänglich sein. Der Aufwand für die initiale Indexierung ist deutlich geringer als eine vollständige Dokumentationsreform.

„Das können wir uns nicht leisten.”
Stimmt, für Custom RAG. Für die Plattform-Tools nicht, wenn dein Team bereits eines davon nutzt. Rovo ist in bezahlten Confluence-Plänen ohne Aufpreis enthalten. Microsoft 365 Copilot kostet 18,20 Euro je Nutzer und Monat im Jahresabo. Notion AI kostet im Business-Tarif 19,50 Euro je Person und Monat. Der entscheidende Vergleich ist nicht der Softwarepreis, sondern was dich das Suchen heute kostet. Genau dafür gibt es die Strichlisten-Woche weiter oben. Wer sagt, das sei zu teuer, ohne diese Zahl erhoben zu haben, argumentiert gegen eine Schätzung, nicht gegen seine eigene Lage.

„Was, wenn das System etwas Falsches sagt?”
Ein gut konfiguriertes RAG-System erfindet keine Antworten, es gibt immer an, woher die Information kommt, oder es sagt: „Dazu habe ich keine Informationen in den verfügbaren Dokumenten gefunden.” Das ist fundamental anders als ein generischer Chatbot, der rät. Wichtig: RAG reduziert Halluzinationen erheblich, eliminiert sie aber nicht vollständig. Deshalb ist die Quellenangabe kein Nice-to-have, sondern Pflicht, sie ermöglicht dir, jede Antwort nachzuprüfen.

„Was, wenn das meiste Wissen bei uns gar nicht dokumentiert ist?”
RAG kann nur abrufen, was aufgeschrieben wurde, es erfindet kein Wissen. Wie groß der undokumentierte Anteil in eurem Betrieb ist, weiß niemand von außen, und eine frühere Fassung dieser Seite nannte hier eine Prozentzahl, die sich auf keine auffindbare Erhebung stützt. Sie ist raus. Die Antwort bekommst du aus dem Pilotbetrieb: Jede Frage, auf die das System nichts findet, obwohl es eine Antwort geben müsste, ist eine Lücke in eurer Dokumentation. Zähl sie in den ersten vier Wochen mit, dann hast du deine eigene Quote.

Die Einführung eines KI-Assistenten kann der Anlass sein, dieses Wissen endlich zu dokumentieren: strukturierte Interviews mit Schlüsselpersonen, aufgezeichnete Walkthrough-Videos, die dann transkribiert und als Wissensartikel strukturiert werden. Tools wie Otter.ai oder das Transkript-Feature in Microsoft Teams können Meeting-Recordings automatisch in Rohtext verwandeln, ein guter Ausgangspunkt für strukturierte Einträge.

Ehrliche Einschätzung: Wenn ihr von Null startet, plant 4–8 Wochen zusätzliche Dokumentationsarbeit vor dem KI-Rollout ein. Das ist Aufwand, aber Aufwand, der sich lohnt, auch unabhängig vom KI-Einsatz. Wer diese Phase überspringt, bekommt ein System, das auf die meisten internen Fragen mit “Dazu habe ich keine Informationen” antwortet, was die Akzeptanz im Team schnell zerstört.

Was mit der Einführung wirklich passiert, und was nicht

Die Technik ist das Einfachste an dieser Einführung. Das Schwierigere ist der Mensch.

Mit drei Widerstands-Mustern solltest du rechnen, bevor der erste Rollout-Tag geplant ist:

Die Wissenshüter. Jedes Unternehmen hat sie, die zwei, drei Personen, die ständig gefragt werden, weil sie wissen, wo was steht. Diese Menschen haben oft Jahrzehnte investiert, um zur Anlaufstelle zu werden. Ein System, das ihre Rolle teilweise übernimmt, fühlt sich bedrohlich an, auch wenn das niemand so kommuniziert. Wichtig: Ein Wissensassistent ersetzt diese Menschen nicht, er entlastet sie. Konkret hilft es, sie aktiv in die Dokumentenkuration einzubinden, lass sie entscheiden, welche Dokumente zuerst indexiert werden und welche noch nicht reif sind. Wer das System mitgebaut hat, verteidigt es statt es zu umgehen. Diese Einbindung muss vor dem ersten Rollout-Tag passieren, nicht danach.

Die „Einmal-reingefallen-nie-wieder”-Gruppe. Wer das System in der ersten Woche zweimal benutzt und zweimal eine schlechte Antwort bekommt, weil noch nicht alle Dokumente drin sind, oder weil eine veraltete Version indexiert wurde, der kommt nicht zurück. Dieser Effekt ist vermeidbar: mit einem kontrollierten Pilotstart für eine kleine Gruppe, die das System unter realen Bedingungen testet und Feedback gibt, bevor es für alle geöffnet wird.

Die grundsätzlichen KI-Skeptiker. Sie werden das System nicht von alleine ausprobieren. Was funktioniert: nicht überzeugen, sondern zeigen. Eine kurze Session, in der jemand live eine Frage stellt, die alle schon einmal stellen mussten, und das System antwortet mit Quellenangabe in zehn Sekunden, ist überzeugender als jede Erklärung.

Was konkret hilft:

• Vor dem Rollout eine Team-Session durchführen, in der alle je drei häufige Fragen einreichen, das wird der erste Testdatensatz
• Eine Person pro Team als Wissensassistent-Champion benennen, die erste Anlaufstelle für Fragen und Feedback ist
• Einen 90-Tage-Evaluationszeitraum kommunizieren, bevor irgendwelche Urteile gefällt werden
• Jede unbeantwortete Frage als Aufgabe behandeln: Was fehlt noch im System?

Woran du merkst, dass das zu dir passt

• Du hast zwei oder drei Kolleginnen oder Kollegen, die ständig gefragt werden, weil sie einfach wissen, wo was steht, und die das zunehmend aufhält
• Dein Onboarding dauert Monate, nicht weil neue Personen langsam sind, sondern weil das Wissen nicht zugänglich ist und mündlich weitergegeben werden muss
• Deine Dokumente liegen über mehrere Systeme verteilt, SharePoint, E-Mail-Anhänge, lokale Laufwerke, vielleicht noch ein Wiki, und niemand hat den vollständigen Überblick
• Du merkst, dass wichtiges Wissen in einzelnen Personen steckt: Wenn jemand zwei Wochen in Urlaub ist, stockt es bei bestimmten Themen spürbar
• Dein Team wiederholt denselben Rechercheaufwand immer wieder, weil niemand weiß, dass ein Problem schon einmal gelöst wurde und die Lösung irgendwo existiert
• Du hast das Gefühl, ihr könntet viel mehr leisten, wenn die Zeit fürs Suchen wegfiele, aber eine vollständige Dokumentationsreform erscheint unrealistisch

Wann es sich (noch) nicht lohnt, drei harte Ausschlusskriterien:

1. Unter ca. 10 Mitarbeitenden oder weniger als 20–30 häufig genutzten Dokumenten. Der Einrichtungsaufwand ist nicht gerechtfertigt. Ein freigegebener Ordner in Google Drive oder SharePoint mit klarer Benennung reicht dann völlig, investiere die Zeit lieber in die Dokumentenstruktur selbst.

2. Dokumente liegen hauptsächlich als E-Mail-Anhänge oder auf lokalen Laufwerken ohne klare Struktur. Dann ist der sinnvollste erste Schritt kein KI-System, sondern ein gemeinsamer, strukturierter Speicherort (SharePoint, Google Drive, ein Notion-Workspace) mit konsistenter Benennung und Ordnerstruktur. Der KI-Assistent kommt danach, nicht davor. Ein System, das unstrukturiertes Chaos indexiert, gibt unstrukturiertes Chaos zurück.

3. Keine Person verfügbar, die die Wissensbasis dauerhaft pflegt. Ein RAG-System, das eingerichtet und dann sich selbst überlassen wird, gibt nach 12–18 Monaten selbstbewusst veraltete Antworten, weil Dokumente veraltet, widersprüchlich oder nie aktualisiert wurden. Ohne eine namentlich benannte Person mit Zeit und Zuständigkeit für die Wissensbasis ist das Ergebnis schlimmer als keine KI: das System klingt zuverlässig und irrt sich.

Das kannst du heute noch tun

Öffne Gemini Notebook , das Produkt, das bis Juli 2026 NotebookLM hieß. Kostenlos, kein technisches Setup, ein Google-Konto reicht, im Gratis-Tarif bis zu 50 Quellen je Notebook. Lade drei bis fünf eurer am häufigsten gefragten internen Dokumente hoch: eine Prozessbeschreibung, einen Kundenvertrag, ein Handbuch. Stelle dann die Frage, die neue Mitarbeitende in der ersten Woche am häufigsten stellen. Für echte Vertragsdaten gilt dabei dasselbe wie für jedes US-gehostete Werkzeug: erst klären, dann hochladen.

Das dauert 15 Minuten. Was du danach weißt: ob das Konzept für euer Unternehmen funktioniert, bevor du einen Cent ausgibst.

Für den produktiven Einsatz mit mehreren Mitarbeitenden brauchst du einen konfigurierten System-Prompt. Hier ist einer, den du direkt verwenden kannst:

Häufige Fragen zur internen Wissensdatenbank mit KI

Was ist eine interne Wissensdatenbank mit KI? Ein Assistent, der eure internen Dokumente nach Bedeutung statt nach Stichwort durchsucht (RAG) und Fragen direkt beantwortet, mit Quellenangabe. Findet er nichts, sagt er das, statt zu raten. Die Pflege ersetzt er nicht: Eine veraltete Fassung zitiert er genauso überzeugt wie die aktuelle.

Was kostet eine interne Wissensdatenbank mit KI? Mit vorhandener Plattform wenig: Rovo ist in bezahlten Confluence-Plänen ohne Aufpreis enthalten. Microsoft 365 Copilot kostet 18,20 Euro je Nutzer und Monat im Jahresabo. Notion AI kostet im Business-Tarif 19,50 Euro je Person und Monat. Für ein eigenes RAG-System gibt es keine seriöse Pauschale, lass es dir rechnen. Der größte Posten ist intern: zwei bis vier Wochen, um die Dokumente zu sichten und aufzuräumen.

Wie lange dauert der Aufbau einer internen Wissensdatenbank? Plattform-Tools sind in ein bis drei Tagen eingerichtet, weil Index und Rechtemodell schon stehen. Bis zum Pilotbetrieb mit einer sauberen Dokumentenbasis vergehen realistisch vier bis sechs Wochen. Wer von null dokumentiert, plant vier bis acht Wochen zusätzliche Dokumentationsarbeit davor ein.

Ist eine KI-Wissensdatenbank DSGVO-konform? Nur mit Auftragsverarbeitungsvertrag nach Art. 28 DSGVO und geklärtem Verarbeitungsort. Microsoft 365 Copilot lässt sich über die EU Data Boundary auf europäische Rechenzentren beschränken, Notion AI verarbeitet Daten standardmäßig in den USA. Volle Kontrolle über Datenhaltung und Verarbeitung gibt ein selbst gehostetes RAG-System.

Gilt das auch für Behörden und Beratungen? Das Prinzip ja, die Schwerpunkte nicht. Behörden müssen vor allem Erfahrungswissen sichern, bevor langjährige Fachkräfte in den Ruhestand gehen, das steht unter Wissenstransfer in Behörden. Beratungen wollen frühere Projekte wiederfinden, das steht unter Projektwissen in der Beratung.

Quellen & Methodik

• Atlassian Rovo, Umfang und Credit-Kontingente: Rovo ist in den bezahlten Cloud-Plänen Standard, Premium und Enterprise von Jira und Confluence enthalten, mit 25 / 70 / 150 Credits je Nutzer und Monat und 0,01 US-Dollar je Credit darüber hinaus; Ausrollung bis Ende 2025 (atlassian.com/software/rovo/pricing, abgerufen am 18.09.2026).
• Bruttostundenverdienst: Statistisches Bundesamt, durchschnittlicher Bruttostundenverdienst in Deutschland 28,19 Euro im April 2025 (destatis.de, abgerufen am 18.09.2026).
• Preisangaben Notion AI, Microsoft 365 Copilot, Confluence, Guru, Gemini Notebook: Stand unserer eigenen, im September 2026 geprüften Toolseiten, siehe Notion AI , Microsoft 365 Copilot , Confluence , Guru und Gemini Notebook . Guru veröffentlicht keine Listenpreise.
• Art. 28 DSGVO (AVV): Datenschutz-Grundverordnung in der aktuell gültigen Fassung.
• Nicht belegbar und deshalb nicht mehr auf dieser Seite: ein Stundenwert für die tägliche Informationssuche, eine Onboarding-Dauer mit und ohne Assistent, eine Rückfragen-Frequenz, ein Prozentsatz nicht dokumentierten Wissens in KMU, eine DAU/MAU-Benchmark und eine Spanne für externe Einrichtungskosten. Frühere Fassungen dieser Seite schrieben diese Zahlen „eigenen Erfahrungswerten aus RAG-Projekten” und „internen Befragungen” zu. Solche Projekte und Befragungen gibt es hier nicht.

Du willst wissen, welche eurer Dokumentenquellen sich als erstes eignen und wie groß der tatsächliche Nutzen in eurem Kontext wäre? Meld dich, das klären wir gemeinsam in einem kurzen Gespräch.