KI-Assistent für interne Wissensdatenbank
Ein KI-Assistent durchsucht alle internen Dokumente quellengenau und beantwortet Fragen direkt — für schnellere Informationsfindung und besseres Onboarding.
- Problem
- Mitarbeitende verlieren Zeit beim Suchen in verteilten Dokumenten, Wikis und E-Mail-Archiven.
- KI-Lösung
- Ein RAG-Assistent indexiert alle internen Dokumente semantisch und beantwortet Fragen direkt mit Quellenangabe — ohne manuelle Suche.
- Typischer Nutzen
- 1–2,5 Stunden Suchaufwand täglich je Person entfallen; Onboarding-Zeit sinkt von 3–6 Monaten auf 6–10 Wochen.
- Setup-Zeit
- 4–6 Wochen bis Pilotbetrieb
- Kosteneinschätzung
- 0–8.000 € Einrichtung, 20–400 €/Monat laufend
Es ist Dienstag, 9:23 Uhr.
Kai ist seit drei Wochen im Unternehmen. Er braucht die aktuellen Konditionen für einen Großkunden — das Angebot soll heute raus. Er fragt Jonas. Jonas sagt: „Das müsste irgendwo im SharePoint sein, frag mal Lena.” Lena ist im Homeoffice und antwortet erst um 11. Um 11:04 schreibt sie zurück: „Ich glaube, das hat Michael letztes Jahr verhandelt, schau mal in seine alten E-Mails.”
Kai schaut. Findet nichts.
Das Angebot geht um 14 Uhr raus — mit Zahlen, die er aus dem Gedächtnis zusammengestellt hat. Wahrscheinlich stimmen sie. Wahrscheinlich.
Das ist kein Einzelfall. Das ist jeden Tag, bei jedem zweiten Team, in jedem mittelständischen Unternehmen.
Das echte Ausmaß des Problems
Frag zehn Mitarbeitende in einem mittelständischen Unternehmen, wo die aktuelle Preisliste liegt, wie die Urlaubsregelung für Eltern in Teilzeit ist oder was die Stornierungsbedingungen im Standardvertrag mit Lieferanten sind — und du bekommst zehn verschiedene Antworten. Oder zehn Leute, die sich gegenseitig fragen.
Das ist kein Organisationsproblem, das sich mit mehr Disziplin lösen lässt. Es ist ein strukturelles Problem: Wissen wächst schneller, als Menschen es ordnen können. Jedes Unternehmen ab einer gewissen Größe hat Hunderte von Dokumenten, die niemand vollständig kennt — Verfahrensanweisungen, Angebotsvorlagen, alte Projektdokus, E-Mail-Ketten mit wichtigen Entscheidungen, Handbücher, die niemand liest.
Interne Befragungen zeigen: Mitarbeitende verbringen im Schnitt 1,5 bis 2,5 Stunden täglich mit dem Suchen nach Informationen. Das sind 20 bis 30 Prozent der Arbeitszeit — verlorene Zeit, die das Unternehmen direkt bezahlt. Für ein Team mit 20 Personen bedeutet das: Täglich gehen bis zu vier Personentage verloren — nicht für produktive Arbeit, sondern nur für die Suche nach bereits vorhandenen Informationen.
Besonders sichtbar wird das Problem bei:
- Neuen Mitarbeitenden: Onboarding dauert Monate statt Wochen, weil Wissen in den Köpfen erfahrener Kolleginnen und Kollegen sitzt und nicht strukturiert zugänglich ist
- Urlaubsübergaben: Wer vertritt wen bei was? Was sind die laufenden Besonderheiten? Niemand weiß, wo das dokumentiert ist
- Kundenfragen an falsche Ansprechpartner: „Frag mal Sabine, die kennt sich da aus” — aber Sabine ist krank
- Wiederholte Fehler: Ein Problem wurde schon einmal gelöst, aber niemand findet die damalige Lösung
Mit vs. ohne KI — ein ehrlicher Vergleich
| Kennzahl | Ohne KI | Mit internem KI-Assistenten |
|---|---|---|
| Zeit für Informationssuche täglich/Person | 1,5–2,5 Stunden | 20–40 Minuten |
| Onboarding-Dauer bis volle Produktivität | 3–6 Monate | 6–10 Wochen ¹ |
| Rückfragen an erfahrene Kolleginnen/Kollegen | 5–15 täglich je Person ¹ | 1–3 täglich ¹ |
| Antwortgenauigkeit bei Richtlinien-Fragen | Hoch variabel (von wem gefragt) | Konsistent mit Quellennachweis |
Die Suchzeit-Vergleichswerte stammen aus dem McKinsey Global Institute (2012) und IDC (2023). ¹ Onboarding-Dauer, Rückfragen-Frequenz und Implementierungseffekte: eigene Erfahrungswerte aus RAG-Projekten bei KMU mit 15–80 Mitarbeitenden — keine repräsentative Studie, aber konsistente Beobachtungen über mehrere Implementierungen.
Der Onboarding-Effekt ist oft der überzeugendste: Neue Mitarbeitende, die eigenständig Antworten finden können, entlasten das Team sofort — statt in den ersten drei Monaten als Fragemaschine aufzutreten.
Einschätzung auf einen Blick
Zeitersparnis — mittel (3/5)
Ein gut eingerichteter Wissensassistent spart 1–2 Stunden täglich je Person — real, aber nicht der größte Hebel in dieser Kategorie. Kundenkorrespondenz und Berichterstellung entlasten die tägliche Arbeitszeit stärker, weil sie Kernaufgaben beschleunigen, nicht nur Suchaufwand reduzieren. Der Effekt der Wissensdatenbank hängt stark davon ab, wie vollständig die Dokumentenbasis ist und wie konsequent das Team das System nutzt.
Kosteneinsparung — niedrig (2/5)
Die Einrichtungskosten reichen von fast null (Notion AI, M365 Copilot — in bestehende Lizenzen integrierbar) bis zu 2.000–8.000 Euro für Custom RAG; laufend 20–400 Euro/Monat je nach Ansatz. Der Nutzen entsteht indirekt über eingesparte Suchzeit — schwerer zu isolieren als bei der Rechnungsverarbeitung, wo du den Preis je Rechnung direkt messen kannst, oder der Qualitätssicherung, die Reklamationen verhindert. In der Praxis liegt die tatsächliche Einsparung in den ersten Monaten oft bei 30–50 Prozent der theoretischen Rechnung (Schätzwert aus Praxisberichten).
Schnelle Umsetzung — mittel (3/5)
Bis zum produktiven Pilotbetrieb vergehen realistisch 4–6 Wochen: Dokumente priorisieren, indexieren, testen, Feedback einsammeln, nachbessern. Das ist handhabbar — weder so einfach wie Meeting-Protokolle oder Kundenkorrespondenz (SaaS-Tools, in einem Tag einsatzbereit), noch so komplex wie Predictive Analytics oder Rechnungsverarbeitung mit ERP-Integration. Mittelfeldposition unter den verglichenen Anwendungsfällen.
ROI-Sicherheit — mittel (3/5)
Der Nutzen ist real, aber schwer präzise zuzuordnen: Wie viel Zeit wurde durch das System gespart, wie viel durch bessere Dokumentation oder Teamgröße? Anders als bei der Rechnungsverarbeitung, wo du Rechnungen zählst und Skonto-Gewinne buchst, bleibt der Wissensassistent ein indirekter Effekt. Die Nutzungsrate und die Qualität der Dokumentenbasis entscheiden am Ende darüber, ob der ROI eintritt oder nicht.
Skalierbarkeit — hoch (4/5)
Ein RAG-System trägt mehr Mitarbeitende, mehr Dokumente und mehr Fragen ohne proportional steigenden Betriebsaufwand. Nicht maximal bewertet, weil der Index bei wachsendem Dokumentvolumen gepflegt werden muss — veraltete Versionen, Duplikate und widersprüchliche Inhalte verschlechtern die Antwortqualität, wenn niemand aktiv aufräumt.
Richtwerte — stark abhängig von Unternehmensgröße, vorhandener Infrastruktur und Dokumentenvolumen.
Was ein interner KI-Assistent konkret macht
Der technische Ansatz heißt Retrieval-Augmented Generation (RAG). Klingt komplex, ist im Prinzip folgendes:
Das System indexiert alle internen Dokumente — PDFs, Word-Dateien, Confluence-Seiten, Notion-Datenbanken, SharePoint-Inhalte, E-Mail-Anhänge — und speichert sie semantisch durchsuchbar. Stellt jemand eine Frage, sucht das System nicht nach dem genauen Wortlaut, sondern nach dem Bedeutungsgehalt. Es findet die relevantesten Textabschnitte, reicht sie zusammen mit der Frage an ein Sprachmodell weiter und formuliert eine direkte Antwort — immer mit Quellenangabe, damit du nachprüfen kannst, woher die Information stammt.
Was das in der Praxis bedeutet
Jemand fragt: „Wie viel Vorlauf brauchen wir, wenn wir eine Projektänderung beim Kunden Müller anmelden wollen?”
Das System durchsucht den Rahmenvertrag, das letzte Meeting-Protokoll mit dem Kunden, die interne Prozessdokumentation und die E-Mail, in der das mal besprochen wurde — und antwortet: „Laut Rahmenvertrag §4 Abs. 2 gilt eine Vorlaufzeit von 10 Werktagen. Im letzten Jour fixe (Protokoll vom 12.11.2025) wurde vereinbart, dass bei kleineren Änderungen 5 Werktage ausreichen.” Und zeigt dir die Quelldokumente zum Nachlesen.
Das ist nicht möglich mit einer klassischen Suchfunktion, die nach Stichwörtern sucht. Es funktioniert auch nicht mit einem generischen KI-Chatbot, der dir etwas erfindet, das klingt wie eine Antwort. Es funktioniert nur mit einem System, das dein konkretes Wissen kennt — und nur das zurückgibt, was tatsächlich vorhanden ist.
Der größte technische Stolperstein in der Praxis sind nicht die Texte, sondern ihre Formate. Gescannte PDFs, ältere Excel-Tabellen und PowerPoint-Präsentationen verlieren beim Einlesen strukturelle Information — Tabellen werden zu Fließtext, Bilder sind für das System unsichtbar. Wer einen großen Teil seiner Dokumentation in diesen Formaten hat, sollte das in der Auswahlphase des Tools explizit ansprechen: Nicht alle Plattformen unterstützen alle Formate gleich gut, und bei gescannten Dokumenten ist OCR-Qualität entscheidend für die Antwortqualität.
Zugriffsrechte: Wer sieht was?
Eine häufige Sorge: „Wenn alle Mitarbeitenden alles fragen können, sehen dann auch alle alles?” Die Antwort ist: Nein — sofern das System richtig konfiguriert ist.
Eine gut gebaute interne Wissensplattform respektiert die bestehende Zugriffsstruktur. Wenn ein Dokument in SharePoint nur für die Geschäftsführung zugänglich ist, gibt der Assistent daraus auch keine Informationen an Sachbearbeiter weiter. Die Zugriffsrechte werden aus dem bestehenden System übernommen — keine manuelle Neuvergabe, keine parallele Verwaltung.
Das Prinzip: Der Assistent kann immer nur das wissen, was der jeweilige Nutzer auch direkt lesen dürfte.
Konkrete Werkzeuge — was wann passt
Es gibt sehr unterschiedliche Wege, einen internen Wissensassistenten zu bauen. Die richtige Wahl hängt stark davon ab, wo deine Dokumente heute leben.
Notion AI — Wenn dein Team bereits Notion als zentrales Wiki nutzt, ist Notion AI der naheliegendste Einstieg. Notion AI beantwortet Fragen auf Basis der vorhandenen Notion-Seiten. Keine separate Infrastruktur, keine Migration. Einschränkung: Funktioniert nur mit Inhalten in Notion, nicht mit externen PDFs oder E-Mails. Notion AI ist seit Mai 2025 ausschließlich im Business-Tarif verfügbar — ca. 20 Euro/Person/Monat.
Confluence mit Atlassian Rovo — Ähnlich wie Notion AI, aber für Confluence-Ökosysteme. Sinnvoll für Teams, die Confluence bereits intensiv nutzen. Atlassian hat die bisherige Atlassian Intelligence Ende 2024 als Rovo neu positioniert und in alle bezahlten Confluence-Pläne integriert — kein separates Add-on mehr. Rovo ist in allen bezahlten Confluence-Plänen enthalten, ab ca. 8–15 Euro/Person/Monat je nach Plan.
Microsoft Copilot for SharePoint / Microsoft 365 Copilot — Für Unternehmen, die Microsoft 365 (SharePoint, Teams, Outlook, Word) nutzen. Microsoft 365 Copilot durchsucht alle M365-Inhalte, zu denen der jeweilige Nutzer Zugriff hat. Sehr mächtig, direkt integriert in die bestehende Toollandschaft. Kosten: ca. 30 Euro/Person/Monat zusätzlich zur bestehenden M365-Lizenz. Lohnt sich besonders ab 20+ Personen.
Custom RAG mit OpenAI + Vektordatenbank — Maximale Flexibilität und Kontrolle. Dokumente werden in eine Vektordatenbank (Pinecone, Weaviate oder Chroma) geladen, Anfragen werden über OpenAI-Embeddings semantisch gesucht, GPT-4 formuliert die Antwort. Quellenangaben sind präzise steuerbar, Zugriffsrechte vollständig anpassbar. Pinecone ist vollständig gemanagt und schnell einsatzbereit, aber US-gehostet. Weaviate und Chroma lassen sich selbst hosten — in der eigenen Cloud oder on-premise — und sind damit die DSGVO-konforme Wahl für sensible Dokumente. Erfordert Entwicklerunterstützung, aber das Ergebnis ist eine Lösung, die exakt auf deine Anforderungen zugeschnitten ist. Laufende Kosten: 100–400 Euro/Monat je nach Volumen und Nutzeranzahl.
Guru — Dedizierte Knowledge-Management-Plattform. Jede Wissenskarte hat einen festen Besitzer und ein Ablaufdatum — das System markiert veraltete Inhalte automatisch als “nicht verifiziert”. Besonders geeignet, wenn Aktualität und klare Verantwortlichkeit wichtiger sind als tiefe Integration in bestehende Dokumentensysteme. Preis: ca. 15 Euro/Nutzer/Monat. Sinnvoll, wenn ihr primär Governance braucht, nicht nur Suche.
Für Unternehmen mit 50+ Mitarbeitenden und einer komplexen Multi-Tool-Landschaft (Slack, Confluence, Salesforce, Jira gleichzeitig) ist auch Glean eine Überlegung wert — eine KI-Unternehmenssuche, die alle Quellen gleichzeitig durchsucht und dabei individuelle Zugriffsrechte respektiert.
Zusammenfassung: Wann welcher Ansatz
- Alles in Notion → Notion AI
- Alles in Confluence → Atlassian Rovo
- Alles in Microsoft 365 → M365 Copilot
- Gemischte Quellen, individuelle Anforderungen → Custom RAG
- Governance und klare Inhaltsverantwortung im Vordergrund → Guru
- 50+ Mitarbeitende, komplexe Multi-Tool-Umgebung → Glean
Datenschutz und Datenhaltung
Interne Dokumente enthalten oft personenbezogene Daten: Mitarbeiterdaten in HR-Dokumenten, Kundendaten in Angeboten und Verträgen, personenbezogene Informationen in E-Mail-Anhängen. Das bedeutet: Sobald ein KI-System diese Dokumente verarbeitet, gilt die DSGVO — für das System selbst, die Infrastruktur dahinter und alle Drittanbieter, die Zugriff auf die Daten haben.
Für die gängigen Werkzeuge gibt es EU-konforme Optionen, die du aktiv einfordern musst: Microsoft 365 Copilot lässt sich über das EU Data Boundary-Programm so konfigurieren, dass Daten ausschließlich in europäischen Rechenzentren verarbeitet werden. Notion AI verarbeitet Daten standardmäßig in den USA — ein AVV ist erhältlich, eine echte EU-Datenresidenz (vergleichbar mit Microsofts EU Data Boundary) bietet Notion jedoch nicht. Die vertragliche Absicherung ist vorhanden, aber die physische Verarbeitung bleibt US-seitig. Für sensible personenbezogene Daten solltest du das mit eurem Datenschutzbeauftragten klären. Ein selbst gehostetes Custom-RAG-System auf Azure-Infrastruktur in der EU-Region oder auf einem deutschen Anbieter wie Hetzner bietet die vollständige Kontrolle über Datenhaltung und Verarbeitung.
Wer personenbezogene Daten an einen Cloud-Anbieter übergibt, muss mit ihm einen Auftragsverarbeitungsvertrag (AVV) abschließen — das schreibt Art. 28 DSGVO vor. Alle genannten Anbieter stellen AVV-Vorlagen bereit, aber du musst sie aktiv anfordern und unterzeichnen. Das ist kein bürokratisches Detail, sondern ein wesentlicher Schritt vor dem Produktivbetrieb. In der Praxis läuft das so: Du als Geschäftsführung oder IT-Verantwortliche:r forderst den AVV beim Anbieter an — bei Microsoft, Notion und Atlassian gibt es dafür Self-Service-Portale — und leitet ihn zur Prüfung an euren Datenschutzbeauftragten oder Anwalt weiter. Kein externer Aufwand, aber ein Schritt, der nicht vergessen werden darf.
Was es kostet — realistisch gerechnet
Einmalige Einrichtungskosten
- Dokumente sichten, priorisieren, indexieren: typisch 2–4 Wochen Aufwand intern, unterstützt durch externe Einrichtung
- Externe Einrichtungskosten: 2.000–8.000 Euro, abhängig von Quellenvielfalt und technischem Ansatz
- Bei Plattform-Tools (Notion AI, M365 Copilot): deutlich günstiger — oft nur 1–3 Tage Einrichtung
Laufende Kosten (monatlich)
- Notion AI: ~20 Euro/Person/Monat (Business-Tarif, ab Mai 2025)
- Confluence mit Atlassian Rovo: 8–15 Euro/Person/Monat (inklusive in bezahlten Plänen seit Ende 2024)
- M365 Copilot: ~30 Euro/Person/Monat
- Guru: ~15 Euro/Person/Monat
- Custom RAG: 100–400 Euro/Monat Infrastruktur + LLM-API-Kosten
Wie du den Nutzen tatsächlich misst
Der ehrlichste Beweis dafür, dass das System funktioniert, ist nicht die Stundenkalkulation — es ist die tägliche Nutzungsrate. Wie viele Fragen stellt das Team pro Tag? Welche davon werden erfolgreich beantwortet, bei welchen gibt das System nach oder liefert unsichere Antworten? Moderne Plattformen wie Glean berichten DAU/MAU-Verhältnisse von rund 40 Prozent als Benchmark für echte Alltagsintegration. Die Fragen, auf die das System keine gute Antwort hat, sind gleichzeitig der Hinweis, was als nächstes dokumentiert werden muss.
Was du dagegenrechnen kannst
20 Mitarbeitende, die täglich je 1 Stunde weniger mit Suchen verbringen: 20 Stunden täglich. Bei einem durchschnittlichen Bruttostundensatz von 25–45 Euro macht das: 500 bis 900 Euro täglich. (Orientierungswert angelehnt an Destatis-Verdienstdaten 2024; stark abhängig von Branche, Region und Qualifikationsniveau.) Das sind 10.000 bis 18.000 Euro im Monat. Diese Rechnung setzt voraus, dass alle Mitarbeitenden das System aktiv nutzen und die volle Stunde einsparen — in der Praxis liegt der Effekt in den ersten Monaten oft bei 30–50 Prozent davon. Auch im konservativen Szenario (30 Prozent der Einsparung) amortisiert sich ein Custom-RAG-System innerhalb weniger Monate.
Typische Einstiegsfehler
1. Mit allen Dokumenten auf einmal starten.
Der Reflex: Alles einlesen, dann ist das System so gut wie möglich. In der Praxis führt das zu einem Assistenten, der auf viele Fragen diffuse Antworten gibt — weil veraltete Dokumente, Duplikate und widersprüchliche Versionen im Index landen. Lösung: Mit den drei bis fünf häufigsten internen Fragekategorien starten. Welche Dokumente beantworten sie? Die werden zuerst indexiert, sauber vorbereitet und validiert. Erst dann skalieren.
2. Keine Zugriffsrechte definieren.
Viele implementieren einen Wissensassistenten ohne Überlegung, welche Inhalte wer sehen darf. Das Ergebnis: Mitarbeitende bekommen Antworten aus Dokumenten, die für sie nicht bestimmt sind — Gehaltsdaten, M&A-Dokumente, vertrauliche Kundendaten. Das erzeugt zu Recht Misstrauen. Lösung: Vor dem Launch klare Kategorien definieren: was ist intern zugänglich für alle, was nur für bestimmte Rollen, was bleibt außen vor.
3. Erwarten, dass das System alle Wissenslücken auffüllt.
Ein RAG-Assistent kann nur das zurückgeben, was dokumentiert ist. Wenn das Wissen hauptsächlich in Köpfen steckt — im Außendienstmitarbeitenden, der seit 15 Jahren weiß, was bei Kunde X funktioniert — hilft das System nicht. Lösung: Den Rollout nutzen, um explizit zu erfassen, was fehlt. Jede unbeantwortete Frage ist ein Signal: Hier fehlt ein Dokument.
4. Das System wird eingeführt, aber nicht gepflegt.
Das ist der gefährlichste Fehler — weil er still passiert.
Im Gegensatz zu einer Suchmaschine, die einfach nicht findet was nicht da ist, antwortet ein RAG-System immer mit Zuversicht — auch wenn die Quelle zwei Jahre alt und längst überholt ist. Das ist gefährlicher als eine leere Antwort. Wer dieses Problem ignoriert, hat nach 18 Monaten ein System, das selbstbewusst falsche Auskunft gibt.
Das Verfallsdatumproblem braucht eine organisatorische Lösung, keine technische. Jede Dokumentenkategorie braucht einen Besitzer — nicht die IT, nicht “alle”, sondern eine namentliche Person, die entscheidet: Ist dieser Inhalt noch korrekt? Muss er aktualisiert werden? Guru löst das technisch über erzwungene Review-Zyklen — aber das Prinzip gilt unabhängig vom Tool.
Was löst einen Review aus? Entweder Zeit (z.B. alle 6 Monate), oder ein Ereignis (neue Produktversion, Gesetzesänderung, Personalwechsel). Beides gehört in die Rollout-Planung — nicht in die “irgendwann”-Liste. Wenn zwei Dokumente sich widersprechen, kann das System nicht entscheiden, welches stimmt. Es wird eine der beiden Versionen als Antwort liefern — oder beide, ohne Hinweis auf den Widerspruch. Die Lösung ist kein technisches Feature: Wer darf das Wissen kanonisieren? Diese Frage muss vor dem Launch beantwortet sein.
Realistischer Zeitplan mit Risikohinweisen
| Phase | Dauer | Was passiert | Typisches Risiko |
|---|---|---|---|
| Inventur & Priorisierung | Woche 1 | Quellen sichten, Kategorien priorisieren, Zugriffsstruktur klären | Mehr Quellen als erwartet — Priorisierung nicht möglich ohne klares Kriterium |
| Indexierung & Konfiguration | Woche 2–3 | Dokumente einlesen, Wissensbasis aufbauen, Zugriffsrechte einrichten | Veraltete Dokumente im System — zuerst aufräumen oder bewusst ausschließen |
| Pilottest mit internem Team | Woche 3–4 (Überlappung bewusst — erste Tests laufen noch während finaler Indexierung) | Reale Fragen testen, Lücken und Schwächen identifizieren | System antwortet auf zu viele Fragen mit „keine Information” — mehr Dokumente nachlegen |
| Rollout & Feedback | Woche 4–6 | Schrittweise Einführung, Feedback einsammeln, nachbessern | Nutzungsrate bleibt niedrig — Mitarbeitende wissen nicht, was sie fragen können |
Wichtig: Das System wird nicht sofort alles perfekt beantworten. Es gibt Fragen, auf die es keine gute Antwort findet — weil die Information gar nicht dokumentiert ist. Das ist wertvolles Feedback: Es zeigt, was dokumentiert werden sollte.
Häufige Einwände — und was dahintersteckt
„Wir haben schon eine interne Suche.”
Interne Suchen arbeiten mit Schlüsselwörtern. Wenn jemand „Urlaubsregelung Elternzeit” sucht, findet man vielleicht das Dokument — sofern man das richtige Wort eingibt. KI-Assistenten verstehen die Frage, nicht nur die Wörter. Der Unterschied in der Trefferquote ist erheblich.
„Unsere Dokumente sind ein Chaos.”
Dafür wurde RAG entwickelt. Das System kann mit unstrukturierten, inkonsistenten Dokumenten arbeiten. Es muss nicht schön sein — es muss zugänglich sein. Der Aufwand für die initiale Indexierung ist deutlich geringer als eine vollständige Dokumentationsreform.
„Das können wir uns nicht leisten.”
Stimmt — für Custom RAG. Für Notion AI oder M365 Copilot nicht: Wenn dein Team bereits eines der Tools nutzt, sind es 5–30 Euro/Person/Monat zusätzlich. Der entscheidende Vergleich ist nicht der Softwarepreis, sondern was du für das eingesparte Suchvolumen bezahlst. Bei 20 Personen und einer halben Stunde Einsparung täglich kommst du über Monate schnell auf mehr als das Zehnfache dieser Kosten in eingespartem Arbeitsaufwand — konservativ gerechnet. Wer sagt, das sei zu teuer, ohne diese Rechnung gemacht zu haben, hat die falsche Rechnung vor Augen.
„Was, wenn das System etwas Falsches sagt?”
Ein gut konfiguriertes RAG-System erfindet keine Antworten — es gibt immer an, woher die Information kommt, oder es sagt: „Dazu habe ich keine Informationen in den verfügbaren Dokumenten gefunden.” Das ist fundamental anders als ein generischer Chatbot, der rät. Wichtig: RAG reduziert Halluzinationen erheblich, eliminiert sie aber nicht vollständig. Deshalb ist die Quellenangabe kein Nice-to-have, sondern Pflicht — sie ermöglicht dir, jede Antwort nachzuprüfen.
„Was, wenn das meiste Wissen bei uns gar nicht dokumentiert ist?”
RAG kann nur abrufen, was aufgeschrieben wurde — es erfindet kein Wissen. Etwa 70 Prozent des operativen Wissens in KMU ist nie formalisiert worden (Schätzwert aus Praxisberichten). Das ist normal und kein Ausschlusskriterium — aber es bedeutet, dass du nicht einfach ein System einschalten und loslegen kannst.
Die Einführung eines KI-Assistenten kann der Anlass sein, dieses Wissen endlich zu dokumentieren: strukturierte Interviews mit Schlüsselpersonen, aufgezeichnete Walkthrough-Videos, die dann transkribiert und als Wissensartikel strukturiert werden. Tools wie Otter.ai oder das Transkript-Feature in Microsoft Teams können Meeting-Recordings automatisch in Rohtext verwandeln — ein guter Ausgangspunkt für strukturierte Einträge.
Ehrliche Einschätzung: Wenn ihr von Null startet, plant 4–8 Wochen zusätzliche Dokumentationsarbeit vor dem KI-Rollout ein. Das ist Aufwand — aber Aufwand, der sich lohnt, auch unabhängig vom KI-Einsatz. Wer diese Phase überspringt, bekommt ein System, das auf die meisten internen Fragen mit “Dazu habe ich keine Informationen” antwortet — was die Akzeptanz im Team schnell zerstört.
Was mit der Einführung wirklich passiert — und was nicht
Die Technik ist das Einfachste an dieser Einführung. Das Schwierigere ist der Mensch.
Erfahrungsgemäß gibt es drei Widerstands-Muster, die in fast jeder Implementierung auftauchen:
Die Wissenshüter. Jedes Unternehmen hat sie — die zwei, drei Personen, die ständig gefragt werden, weil sie wissen, wo was steht. Diese Menschen haben oft Jahrzehnte investiert, um zur Anlaufstelle zu werden. Ein System, das ihre Rolle teilweise übernimmt, fühlt sich bedrohlich an — auch wenn das niemand so kommuniziert. Wichtig: Ein Wissensassistent ersetzt diese Menschen nicht, er entlastet sie. Konkret hilft es, sie aktiv in die Dokumentenkuration einzubinden — lass sie entscheiden, welche Dokumente zuerst indexiert werden und welche noch nicht reif sind. Wer das System mitgebaut hat, verteidigt es statt es zu umgehen. Diese Einbindung muss vor dem ersten Rollout-Tag passieren, nicht danach.
Die „Einmal-reingefallen-nie-wieder”-Gruppe. Wer das System in der ersten Woche zweimal benutzt und zweimal eine schlechte Antwort bekommt — weil noch nicht alle Dokumente drin sind, oder weil eine veraltete Version indexiert wurde — der kommt nicht zurück. Dieser Effekt ist vermeidbar: mit einem kontrollierten Pilotstart für eine kleine Gruppe, die das System unter realen Bedingungen testet und Feedback gibt, bevor es für alle geöffnet wird.
Die grundsätzlichen KI-Skeptiker. Sie werden das System nicht von alleine ausprobieren. Was funktioniert: nicht überzeugen, sondern zeigen. Eine kurze Session, in der jemand live eine Frage stellt, die alle schon einmal stellen mussten — und das System antwortet mit Quellenangabe in zehn Sekunden — ist überzeugender als jede Erklärung.
Was konkret hilft:
- Vor dem Rollout eine Team-Session durchführen, in der alle je drei häufige Fragen einreichen — das wird der erste Testdatensatz
- Eine Person pro Team als Wissensassistent-Champion benennen, die erste Anlaufstelle für Fragen und Feedback ist
- Einen 90-Tage-Evaluationszeitraum kommunizieren, bevor irgendwelche Urteile gefällt werden
- Jede unbeantwortete Frage als Aufgabe behandeln: Was fehlt noch im System?
Woran du merkst, dass das zu dir passt
- Du hast zwei oder drei Kolleginnen oder Kollegen, die ständig gefragt werden, weil sie einfach wissen, wo was steht — und die das zunehmend aufhält
- Dein Onboarding dauert Monate, nicht weil neue Personen langsam sind, sondern weil das Wissen nicht zugänglich ist und mündlich weitergegeben werden muss
- Deine Dokumente liegen über mehrere Systeme verteilt — SharePoint, E-Mail-Anhänge, lokale Laufwerke, vielleicht noch ein Wiki — und niemand hat den vollständigen Überblick
- Du merkst, dass wichtiges Wissen in einzelnen Personen steckt: Wenn jemand zwei Wochen in Urlaub ist, stockt es bei bestimmten Themen spürbar
- Dein Team wiederholt denselben Rechercheaufwand immer wieder — weil niemand weiß, dass ein Problem schon einmal gelöst wurde und die Lösung irgendwo existiert
- Du hast das Gefühl, ihr könntet viel mehr leisten, wenn die Zeit fürs Suchen wegfiele — aber eine vollständige Dokumentationsreform erscheint unrealistisch
Wann es sich (noch) nicht lohnt — drei harte Ausschlusskriterien:
-
Unter ca. 10 Mitarbeitenden oder weniger als 20–30 häufig genutzten Dokumenten. Der Einrichtungsaufwand ist nicht gerechtfertigt. Ein freigegebener Ordner in Google Drive oder SharePoint mit klarer Benennung reicht dann völlig — investiere die Zeit lieber in die Dokumentenstruktur selbst.
-
Dokumente liegen hauptsächlich als E-Mail-Anhänge oder auf lokalen Laufwerken ohne klare Struktur. Dann ist der sinnvollste erste Schritt kein KI-System, sondern ein gemeinsamer, strukturierter Speicherort (SharePoint, Google Drive, ein Notion-Workspace) mit konsistenter Benennung und Ordnerstruktur. Der KI-Assistent kommt danach — nicht davor. Ein System, das unstrukturiertes Chaos indexiert, gibt unstrukturiertes Chaos zurück.
-
Keine Person verfügbar, die die Wissensbasis dauerhaft pflegt. Ein RAG-System, das eingerichtet und dann sich selbst überlassen wird, gibt nach 12–18 Monaten selbstbewusst veraltete Antworten — weil Dokumente veraltet, widersprüchlich oder nie aktualisiert wurden. Ohne eine namentlich benannte Person mit Zeit und Zuständigkeit für die Wissensbasis ist das Ergebnis schlimmer als keine KI: das System klingt zuverlässig und irrt sich.
Was kostet euch das Suchen — und wann lohnt sich ein KI-Assistent?
Trag deine Zahlen ein und erhalte eine Einschätzung für euren konkreten Kontext.
Orientierung: 25–35 € für kaufmännische Berufe, 40–60 € für Fachkräfte/Führungskräfte (Brutto-Vollkosten)
Durchschnitt laut McKinsey/IDC: 1,5–2,5 Stunden täglich
Alle Werte bleiben in deinem Browser — keine Datenübertragung.
Das kannst du heute noch tun
Öffne NotebookLM — kostenlos, kein technisches Setup, ein Google-Konto reicht. Lade drei bis fünf eurer am häufigsten gefragten internen Dokumente hoch: eine Prozessbeschreibung, einen Kundenvertrag, ein Handbuch. Stelle dann die Frage, die neue Mitarbeitende in der ersten Woche am häufigsten stellen.
Das dauert 15 Minuten. Was du danach weißt: ob das Konzept für euer Unternehmen funktioniert — bevor du einen Cent ausgibst.
Für den produktiven Einsatz mit mehreren Mitarbeitenden brauchst du einen konfigurierten System-Prompt. Hier ist einer, den du direkt verwenden kannst:
Mitarbeiter:in
KI-Assistent
Quellen & Methodik
- Suchaufwand 1,8 Stunden täglich: McKinsey Global Institute, „The social economy: Unlocking value and productivity through social technologies” (2012) (ältere Studie; IDC 2023 bestätigt ähnliche Größenordnung); bestätigt durch IDC, „The Business Value of Generative AI” (2023). Eigene Erhebungen in KMU bestätigen die Größenordnung.
- Implementierungskosten & Laufzeitkosten: Erfahrungswerte aus RAG-Projekten bei Unternehmen mit 15–80 Mitarbeitenden (Stand April 2026).
- Preisangaben Notion AI, Atlassian Rovo, Microsoft 365 Copilot, Guru: Veröffentlichte Tarife der jeweiligen Anbieter (Stand April 2026). Notion AI seit Mai 2025 nur im Business-Tarif. Atlassian Intelligence wurde Ende 2024 als Rovo in alle bezahlten Confluence-Pläne integriert.
- Pinecone, Weaviate, Chroma: Open-Source- bzw. SaaS-Anbieter-Dokumentation (Stand April 2026).
- Art. 28 DSGVO (AVV): Datenschutz-Grundverordnung in der aktuell gültigen Fassung.
Du willst wissen, welche eurer Dokumentenquellen sich als erstes eignen und wie groß der tatsächliche Nutzen in eurem Kontext wäre? Meld dich — das klären wir gemeinsam in einem kurzen Gespräch.
Diesen Inhalt teilen:
Interesse an diesem Use Case?
Schreib uns, wenn du mehr erfahren oder diesen Use Case für dein Unternehmen umsetzen möchtest. Wir melden uns zeitnah bei dir.
Weitere Use Cases
Automatisierte Meeting-Protokolle und Aufgaben
KI transkribiert Meetings, fasst Ergebnisse zusammen und extrahiert Aufgaben mit Verantwortlichkeiten — für lückenlose Dokumentation und weniger vergessene Maßnahmen.
Mehr erfahrenAutomatisierte Rechnungsverarbeitung
KI erkennt Rechnungsfelder automatisch, prüft auf Plausibilität und leitet zur Freigabe weiter — für schnellere Durchlaufzeiten und weniger manuelle Fehler.
Mehr erfahrenKI-gestützte Kundenkorrespondenz
KI erstellt Antwortentwürfe basierend auf Kundenanfrage, CRM-Daten und Unternehmensrichtlinien — für schnellere Reaktionszeiten und konsistentere Kommunikation.
Mehr erfahren