KI-Assistent für interne Wissensdatenbank

Das echte Ausmaß des Problems

Frag zehn Mitarbeitende in einem mittelständischen Unternehmen, wo die aktuelle Preisliste liegt, wie die Urlaubsregelung für Eltern in Teilzeit ist oder was die Stornierungsbedingungen im Standardvertrag mit Lieferanten sind — und du wirst zehn verschiedene Antworten bekommen. Oder zehn Leute, die sich gegenseitig fragen.

Das ist kein Organisationsproblem, das sich mit mehr Disziplin lösen lässt. Es ist ein strukturelles Problem: Wissen wächst schneller, als Menschen es ordnen können. Jedes Unternehmen ab einer gewissen Größe hat Hunderte von Dokumenten, die niemand vollständig kennt — Verfahrensanweisungen, Angebotsvorlagen, alte Projektdokus, E-Mail-Ketten mit wichtigen Entscheidungen, Handbücher, die niemand liest.

Interne Befragungen zeigen: Mitarbeitende verbringen im Schnitt 1,5 bis 2,5 Stunden täglich mit dem Suchen nach Informationen. Das sind 20 bis 30 Prozent der Arbeitszeit — verlorene Zeit, die direkt auf die Uhr des Unternehmens geht. Für ein Team mit 20 Personen bedeutet das: Täglich gehen bis zu vier Personentage verloren — nicht für produktive Arbeit, sondern nur für die Suche nach bereits vorhandenen Informationen.

Besonders sichtbar wird das Problem bei:

• Neuen Mitarbeitenden: Onboarding dauert Monate statt Wochen, weil Wissen in den Köpfen erfahrener Kolleginnen und Kollegen sitzt und nicht strukturiert zugänglich ist
• Urlaubsübergaben: Wer vertritt wen bei was? Was sind die laufenden Besonderheiten? Niemand weiß, wo das dokumentiert ist
• Kundenfragen an falsche Ansprechpartner: „Frag mal Sabine, die kennt sich da aus” — aber Sabine ist krank
• Wiederholte Fehler: Ein Problem wurde schon einmal gelöst, aber niemand findet die damalige Lösung

Mit vs. ohne KI — ein ehrlicher Vergleich

Kennzahl	Ohne KI	Mit internem KI-Assistenten
Zeit für Informationssuche täglich/Person	1,5–2,5 Stunden	20–40 Minuten
Onboarding-Dauer bis volle Produktivität	3–6 Monate	6–10 Wochen
Rückfragen an erfahrene Kolleginnen/Kollegen	5–15 täglich je Person	1–3 täglich
Antwortgenauigkeit bei Richtlinien-Fragen	Hoch variabel (von wem gefragt)	Konsistent mit Quellennachweis

Die Vergleichswerte stammen aus Implementierungsprojekten bei KMU mit 15–80 Mitarbeitenden sowie einer Studie des McKinsey Global Institute (McKinsey Global Institute, 2012), die den durchschnittlichen Suchaufwand auf 1,8 Stunden täglich beziffert.

Der Onboarding-Effekt ist oft der überzeugendste: Neue Mitarbeitende, die eigenständig Antworten finden können, entlasten das Team sofort — statt erste drei Monate als Fragemaschine aufzutreten.

Was ein interner KI-Assistent konkret macht

Der technische Ansatz heißt Retrieval-Augmented Generation (RAG). Klingt komplex, ist im Prinzip folgendes:

Das System indexiert alle internen Dokumente — PDFs, Word-Dateien, Confluence-Seiten, Notion-Datenbanken, SharePoint-Inhalte, E-Mail-Anhänge — und speichert sie in einer semantisch durchsuchbaren Form. Wenn jemand eine Frage stellt, sucht das System nicht nach dem genauen Wortlaut, sondern nach dem Bedeutungsgehalt. Es findet die relevantesten Textabschnitte, reicht diese zusammen mit der Frage an ein Sprachmodell weiter und generiert eine direkte Antwort — immer mit Quellenangabe, damit du nachprüfen kannst, woher die Information kommt.

Was das in der Praxis bedeutet

Jemand fragt: „Wie viel Vorlauf brauchen wir, wenn wir eine Projektänderung beim Kunden Müller anmelden wollen?”

Das System durchsucht den Rahmenvertrag, das letzte Meeting-Protokoll mit dem Kunden, die interne Prozessdokumentation und die E-Mail, in der das mal besprochen wurde — und antwortet: „Laut Rahmenvertrag §4 Abs. 2 gilt eine Vorlaufzeit von 10 Werktagen. Im letzten Jour fixe (Protokoll vom 12.11.2025) wurde vereinbart, dass bei kleineren Änderungen 5 Werktage ausreichen.” Und zeigt dir die Quelldokumente zum Nachlesen.

Das ist nicht möglich mit einer klassischen Suchfunktion, die nach Stichwörtern sucht. Es funktioniert auch nicht mit einem generischen KI-Chatbot, der dir etwas erfindet, das klingt wie eine Antwort. Es funktioniert nur mit einem System, das dein konkretes Wissen kennt — und nur das zurückgibt, was tatsächlich vorhanden ist.

Zugriffsrechte: Wer sieht was?

Eine häufige Sorge: „Wenn alle Mitarbeitenden alles fragen können, sehen dann auch alle alles?” Die Antwort ist: Nein — sofern das System richtig konfiguriert ist.

Eine gut gebaute Internal Knowledge Platform respektiert die bestehende Zugriffsstruktur. Wenn ein Dokument in SharePoint nur für die Geschäftsführung zugänglich ist, gibt der Assistent daraus auch keine Informationen an Sachbearbeiter weiter. Die Zugriffsrechte werden aus dem bestehenden System übernommen — keine manuelle Neuvergabe, keine parallele Verwaltung.

Das Prinzip: Der Assistent kann immer nur das wissen, was der jeweilige Nutzer auch direkt lesen dürfte.

Konkrete Werkzeuge — was wann passt

Es gibt sehr unterschiedliche Wege, einen internen Wissensassistenten zu bauen. Die richtige Wahl hängt stark davon ab, wo deine Dokumente heute leben.

Notion AI — Wenn dein Team bereits Notion als zentrales Wiki nutzt, ist Notion AI der naheliegendste Einstieg. Notion AI beantwortet Fragen auf Basis der vorhandenen Notion-Seiten. Keine separate Infrastruktur, keine Migration. Einschränkung: Funktioniert nur mit Inhalten in Notion, nicht mit externen PDFs oder E-Mails. Ab ca. 10 Euro/Person/Monat (Add-on).

Confluence mit Atlassian Intelligence — Ähnlich wie Notion AI, aber für Confluence-Ökosysteme. Sinnvoll für Teams, die Confluence bereits intensiv nutzen. Atlassian Intelligence ist Teil der Atlassian-Lizenz, ab ca. 8–15 Euro/Person/Monat je nach Plan.

Microsoft Copilot for SharePoint / Microsoft 365 Copilot — Für Unternehmen, die Microsoft 365 (SharePoint, Teams, Outlook, Word) nutzen. Microsoft 365 Copilot durchsucht alle M365-Inhalte, zu denen der jeweilige Nutzer Zugriff hat. Sehr mächtig, direkt integriert in die bestehende Toollandschaft. Kosten: ca. 30 Euro/Person/Monat zusätzlich zur bestehenden M365-Lizenz. Lohnt sich besonders ab 20+ Personen.

Custom RAG mit OpenAI + Vektordatenbank — Maximale Flexibilität und Kontrolle. Dokumente werden in eine Vektordatenbank (Pinecone, Weaviate oder Chroma) geladen, Anfragen werden über OpenAI-Embeddings semantisch gesucht, GPT-4 formuliert die Antwort. Quellenangaben sind präzise steuerbar, Zugriffsrechte vollständig anpassbar. Pinecone ist vollständig gemanagt und schnell einsatzbereit, aber US-gehostet. Weaviate und Chroma lassen sich selbst hosten — in der eigenen Cloud oder on-premise — und sind damit die DSGVO-konforme Wahl für sensible Dokumente. Erfordert Entwicklerunterstützung, aber das Ergebnis ist eine Lösung, die exakt auf deine Struktur passt. Laufende Kosten: 100–400 Euro/Monat je nach Volumen und Nutzeranzahl.

Zusammenfassung: Wann welcher Ansatz

• Alles in Notion → Notion AI
• Alles in Confluence → Atlassian Intelligence
• Alles in Microsoft 365 → M365 Copilot
• Gemischte Quellen, individuelle Anforderungen → Custom RAG

Datenschutz und Datenhaltung

Interne Dokumente enthalten oft personenbezogene Daten: Mitarbeiterdaten in HR-Dokumenten, Kundendaten in Angeboten und Verträgen, personenbezogene Informationen in E-Mail-Anhängen. Das bedeutet: Sobald ein KI-System diese Dokumente verarbeitet, gilt die DSGVO — für das System selbst, die Infrastruktur dahinter und alle Drittanbieter, die Zugriff auf die Daten haben.

Für die gängigen Werkzeuge gibt es EU-konforme Optionen, die du aktiv einfordern musst: Microsoft 365 Copilot lässt sich über das EU Data Boundary-Programm so konfigurieren, dass Daten ausschließlich in europäischen Rechenzentren verarbeitet werden. Notion AI verarbeitet Daten standardmäßig in den USA — prüfe die Datenschutzvereinbarung (Data Processing Agreement) und aktiviere gegebenenfalls die EU-Verarbeitungsoption. Ein selbst gehostetes Custom-RAG-System auf Azure-Infrastruktur in der EU-Region oder auf einem deutschen Anbieter wie Hetzner bietet die vollständige Kontrolle über Datenhaltung und Verarbeitung.

Mit jedem Cloud-Anbieter, der personenbezogene Daten im Auftrag verarbeitet, ist ein Auftragsverarbeitungsvertrag (AVV) abzuschließen — das ist eine gesetzliche Pflicht nach Art. 28 DSGVO. Alle genannten Anbieter stellen AVV-Vorlagen bereit, aber du musst sie aktiv anfordern und unterzeichnen. Das ist kein bürokratisches Detail, sondern ein wesentlicher Schritt vor dem Produktivbetrieb.

Was es kostet — realistisch gerechnet

Einmalige Einrichtungskosten

• Dokumente sichten, priorisieren, indexieren: typisch 2–4 Wochen Aufwand intern, unterstützt durch externe Einrichtung
• Externe Einrichtungskosten: 2.000–8.000 Euro, abhängig von Quellenvielfalt und technischem Ansatz
• Bei Plattform-Tools (Notion AI, M365 Copilot): deutlich günstiger — oft nur 1–3 Tage Einrichtung

Laufende Kosten (monatlich)

• Notion AI / Confluence AI: 5–15 Euro/Person/Monat (Add-on zur bestehenden Lizenz)
• M365 Copilot: ~30 Euro/Person/Monat
• Custom RAG: 100–400 Euro/Monat Infrastruktur + LLM-API-Kosten

Was du dagegenrechnen kannst
20 Mitarbeitende, die täglich je 1 Stunde weniger mit Suchen verbringen: 20 Stunden täglich. Bei einem durchschnittlichen Bruttostundensatz von 25–45 Euro (je nach Rolle und Unternehmen): 500 bis 900 Euro täglich — das sind 10.000 bis 18.000 Euro im Monat. Diese Rechnung setzt voraus, dass alle Mitarbeitenden das System aktiv nutzen und die volle Stunde einsparen — in der Praxis liegt der Effekt in den ersten Monaten oft bei 30–50 Prozent davon. Auch im konservativen Szenario (30 Prozent der Einsparung) amortisiert sich ein Custom-RAG-System innerhalb weniger Monate.

Drei typische Einstiegsfehler

1. Mit allen Dokumenten auf einmal starten.
Der Reflex: Alles einlesen, dann ist das System so gut wie möglich. In der Praxis führt das zu einem Assistenten, der auf viele Fragen diffuse Antworten gibt — weil veraltete Dokumente, Duplikate und widersprüchliche Versionen im Index landen. Lösung: Mit den drei bis fünf häufigsten internen Fragekategorien starten. Welche Dokumente beantworten sie? Die werden zuerst indexiert, sauber vorbereitet und validiert. Erst dann skalieren.

2. Keine Zugriffsrechte definieren.
Viele implementieren einen Wissensassistenten ohne Überlegung, welche Inhalte wer sehen darf. Das Ergebnis: Mitarbeitende bekommen Antworten aus Dokumenten, die für sie nicht bestimmt sind — Gehaltsdaten, M&A-Dokumente, vertrauliche Kundendaten. Das erzeugt zu Recht Misstrauen. Lösung: Vor dem Launch klare Kategorien definieren: was ist intern zugänglich für alle, was nur für bestimmte Rollen, was bleibt außen vor.

3. Erwarten, dass das System alle Wissenslücken auffüllt.
Ein RAG-Assistent kann nur das zurückgeben, was dokumentiert ist. Wenn das Wissen hauptsächlich in Köpfen steckt — im Außendienstmitarbeitenden, der seit 15 Jahren weiß, was bei Kunde X funktioniert — hilft das System nicht. Lösung: Den Rollout nutzen, um explizit zu erfassen, was fehlt. Jede unbeantwortete Frage ist ein Signal: Hier fehlt ein Dokument.

Realistischer Zeitplan mit Risikohinweisen

Phase	Dauer	Was passiert	Typisches Risiko
Inventur & Priorisierung	Woche 1	Quellen sichten, Kategorien priorisieren, Zugriffsstruktur klären	Mehr Quellen als erwartet — Priorisierung nicht möglich ohne klares Kriterium
Indexierung & Konfiguration	Woche 2–3	Dokumente einlesen, Wissensbasis aufbauen, Zugriffsrechte einrichten	Veraltete Dokumente im System — zuerst aufräumen oder bewusst ausschließen
Pilottest mit internem Team	Woche 3–4	Reale Fragen testen, Lücken und Schwächen identifizieren	System antwortet auf zu viele Fragen mit „keine Information” — mehr Dokumente nachlegen
Rollout & Feedback	Woche 4–6	Schrittweise Einführung, Feedback einsammeln, nachbessern	Nutzungsrate bleibt niedrig — Mitarbeitende wissen nicht, was sie fragen können

Wichtig: Das System wird nicht sofort alles perfekt beantworten. Es gibt Fragen, auf die es keine gute Antwort findet — weil die Information gar nicht dokumentiert ist. Das ist wertvolles Feedback: Es zeigt, was dokumentiert werden sollte.

Häufige Einwände — und was dahintersteckt

„Wir haben schon eine interne Suche.”
Interne Suchen arbeiten mit Schlüsselwörtern. Wenn jemand „Urlaubsregelung Elternzeit” sucht, findet er vielleicht das Dokument — sofern er das richtige Wort eingibt. KI-Assistenten verstehen die Frage, nicht nur die Wörter. Der Unterschied in der Trefferquote ist erheblich.

„Unsere Dokumente sind ein Chaos.”
Dafür wurde RAG entwickelt. Das System kann mit unstrukturierten, inkonsistenten Dokumenten arbeiten. Es muss nicht schön sein — es muss zugänglich sein. Der Aufwand für die initiale Indexierung ist deutlich geringer als eine vollständige Dokumentationsreform.

„Was, wenn das System etwas Falsches sagt?”
Ein gut konfiguriertes RAG-System erfindet keine Antworten — es gibt immer an, woher die Information kommt, oder es sagt: „Dazu habe ich keine Informationen in den verfügbaren Dokumenten gefunden.” Das ist fundamental anders als ein generischer Chatbot, der rät. Wichtig: RAG reduziert Halluzinationen erheblich, eliminiert sie aber nicht vollständig. Deshalb ist die Quellenangabe kein Nice-to-have, sondern Pflicht — sie ermöglicht dir, jede Antwort nachzuprüfen.

Typisches Szenario

Ein typisches Szenario aus der Beratungspraxis: Ein Dienstleistungsunternehmen mit rund 25 Personen hat seine Dokumente über drei Orte verteilt — SharePoint für offizielle Richtlinien, ein E-Mail-Archiv mit Jahren von Projektentscheidungen und lokale Laufwerke, auf denen Vorlagen und Handbücher liegen, die niemand mehr genau kennt. Neue Mitarbeitende stellen dieselben Fragen immer wieder — an dieselben zwei, drei erfahrenen Kolleginnen und Kollegen, weil die schlicht wissen, wo was steht.

Nach der Einführung eines internen Wissensassistenten auf RAG-Basis ändert sich der Alltag spürbar: Die Einarbeitungszeit neuer Personen verkürzt sich von durchschnittlich vier auf etwa sechs Wochen. Die Anzahl der Rückfragen an erfahrene Kolleginnen und Kollegen sinkt von acht bis zwölf pro Person und Tag auf zwei bis drei. Die Zeit für das Suchen nach internen Informationen — vorher rund 90 Minuten täglich — geht auf unter 25 Minuten zurück.

Das System erfindet dabei nichts. Es gibt nur zurück, was tatsächlich dokumentiert ist — und zeigt jeweils an, aus welchem Dokument die Antwort stammt.

Woran du merkst, dass das zu dir passt

• Du hast zwei oder drei Kolleginnen oder Kollegen, die ständig gefragt werden, weil sie einfach wissen, wo was steht — und die das zunehmend aufhält
• Dein Onboarding dauert Monate, nicht weil neue Personen langsam sind, sondern weil das Wissen nicht zugänglich ist und mündlich weitergegeben werden muss
• Deine Dokumente liegen über mehrere Systeme verteilt — SharePoint, E-Mail-Anhänge, lokale Laufwerke, vielleicht noch ein Wiki — und niemand hat den vollständigen Überblick
• Du merkst, dass wichtiges Wissen in einzelnen Personen steckt: Wenn jemand zwei Wochen in Urlaub ist, stockt es bei bestimmten Themen spürbar
• Dein Team wiederholt denselben Rechercheaufwand immer wieder — weil niemand weiß, dass ein Problem schon einmal gelöst wurde und die Lösung irgendwo existiert
• Du hast das Gefühl, ihr könntet viel mehr leisten, wenn die Zeit fürs Suchen wegfiele — aber eine vollständige Dokumentationsreform erscheint unrealistisch

Quellen & Methodik

Suchaufwand von 1,8 Stunden täglich: McKinsey Global Institute, „The social economy: Unlocking value and productivity through social technologies” (2012). Eigene Erhebungen in KMU bestätigen die Größenordnung. Implementierungskosten und Laufzeitkosten: Erfahrungswerte aus RAG-Projekten bei Unternehmen mit 15–80 Mitarbeitenden (Stand April 2026). Preisangaben für Notion AI, Confluence AI und Microsoft 365 Copilot: veröffentlichte Tarife der Anbieter. Pinecone, Weaviate, Chroma: Open-Source- bzw. SaaS-Anbieter-Dokumentation (Stand April 2026). Art. 28 DSGVO (AVV): Datenschutz-Grundverordnung in der aktuell gültigen Fassung.

---

Du willst wissen, welche eurer Dokumentenquellen sich als erstes eignen und wie groß der tatsächliche Nutzen in eurem Kontext wäre? Meld dich — das klären wir gemeinsam in einem kurzen Gespräch.