Eine Anwaltskanzlei in Frankfurt nutzt ChatGPT, um Vertragsentwürfe zu analysieren. Die Mitarbeiterin kopiert den Vertrag, fügt ihn ins Chatfenster ein, stellt ihre Fragen. Schnell, praktisch, hilfreich.
Was dabei passiert, ist nicht ganz so praktisch: Der Vertragstext landet auf einem Server von OpenAI in den USA. Wer ihn dort sieht, wie lange er gespeichert wird, ob er für Modell-Training genutzt wird — das liegt außerhalb der Kontrolle der Kanzlei. Für Mandantendaten ist das rechtlich und ethisch ein Problem, das viele unterschätzen.
Für bestimmte Branchen ist das kein theoretisches Datenschutz-Bedenken. Es ist ein konkretes Compliance-Risiko.
Was passiert eigentlich mit deinen Daten?
Wenn du ChatGPT, Claude oder Gemini im Browser nutzt, gelten die Datenschutzbestimmungen des jeweiligen Anbieters. OpenAI erklärt, dass Daten aus der kostenlosen Version für Training genutzt werden können — es sei denn, du deaktivierst das aktiv. Die Enterprise-Versionen bieten stärkere Garantien, aber die Daten verlassen trotzdem das eigene Unternehmen und liegen bei einem US-Anbieter.
Für viele Einsatzzwecke ist das kein Problem. Wenn du eine E-Mail formulieren lässt oder eine allgemeine Frage stellst, ist das Risiko gering.
Aber sobald du mit internen Dokumenten arbeitest — Patientendaten in einer Arztpraxis, Mandantenunterlagen einer Kanzlei, Forschungsdaten eines Pharmaunternehmens, Finanzdaten einer Bank — verändert sich die Situation grundlegend. Der EU AI Act und die DSGVO setzen hier klare Grenzen, die viele Unternehmen noch nicht vollständig verstanden haben.
Und dann gibt es noch einen weiteren Grund für lokale KI, der nichts mit Regulierung zu tun hat: Wettbewerbssensitivität. Wenn dein strategisches Planungsdokument oder deine Preiskalkulationen in eine Cloud-KI wandern, sind das Informationen, die du aus guten Gründen nicht weitergeben möchtest — unabhängig davon, ob der Anbieter sie missbraucht oder nicht.
Was Ollama ist und wie es funktioniert
Ollama ist ein Open-Source-Tool, das es ermöglicht, große Sprachmodelle vollständig lokal auf einem eigenen Rechner oder Server zu betreiben. Kein Cloud-Abo, keine Datenweitergabe, keine Abhängigkeit von einem externen Anbieter.
Die Installation ist überraschend einfach. Du lädst Ollama herunter, öffnest das Terminal, und tippst ollama run llama3. Das Modell wird heruntergeladen, und du kannst sofort damit chatten — vollständig offline. Was danach an Daten verarbeitet wird, verlässt deinen Rechner nicht.
Welche Modelle stehen zur Verfügung? Hauptsächlich Open-Source-Modelle:
Llama 3 (von Meta) ist aktuell eines der leistungsfähigsten frei verfügbaren Modelle. In der 8B-Parameter-Variante läuft es auf einem modernen MacBook Pro oder einem mittelklassigen Bürorechner. Die 70B-Variante braucht schon deutlich mehr Rechenleistung.
Mistral und Mixtral aus Frankreich sind ebenfalls stark im mehrsprachigen Bereich — relevant für deutschsprachige Anwendungen.
Phi-3 von Microsoft ist ein kleineres, sehr effizientes Modell, das auf schwächerer Hardware gut läuft.
Für Unternehmen gibt es auch eine Web-Oberfläche namens Open WebUI, die Ollama mit einem Chat-Interface verbindet — optisch ähnlich wie ChatGPT, aber lokal.
Was du an Hardware brauchst
Die Frage, die alle zuerst stellen: Kann mein Rechner das?
Kleine Modelle (3–8 Milliarden Parameter) laufen auf einem modernen MacBook mit M-Chip oder einem Windows-Laptop mit aktueller NVIDIA-Grafikkarte problemlos. Ein MacBook Pro M3 verarbeitet Llama 3 8B flüssig.
Für mittlere Modelle (14–30B Parameter) brauchst du entweder einen Mac mit viel Unified Memory (32 GB+) oder eine dedizierte NVIDIA-Grafikkarte mit mindestens 16 GB VRAM.
Die großen Modelle (70B Parameter und aufwärts) brauchen Server-Hardware oder High-End-Workstations. Hier reden wir über Investitionen im vier- bis fünfstelligen Bereich für die Hardware allein.
Für den Unternehmenseinsatz denken viele über einen dedizierten lokalen Server nach, auf dem Ollama läuft und der im internen Netzwerk erreichbar ist. Das Team nutzt dann die Web-Oberfläche vom eigenen Rechner — die Daten bleiben aber auf dem internen Server.
Ehrliches Bild: Lokale Modelle sind noch schwächer
Das musst du wissen, wenn du lokale KI ernsthaft in Betracht ziehst: Die lokal laufenden Open-Source-Modelle sind aktuell noch nicht so stark wie GPT-4o, Claude Opus oder Gemini Ultra.
Der Unterschied zeigt sich besonders bei komplexen Reasoning-Aufgaben, bei kreativen Texten mit hohem Qualitätsanspruch und beim Verständnis von verschachtelten Anweisungen. Für einfache Aufgaben — Texte zusammenfassen, Fragen zu einem Dokument beantworten, Code kommentieren — ist der Unterschied kleiner als du vielleicht erwartest.
Die gute Nachricht: Der Abstand schrumpft. Llama 3 70B war vor einem Jahr noch deutlich schwächer gegenüber GPT-4. Die Fortschritte im Open-Source-Bereich sind erheblich, und in ein bis zwei Jahren wird die Lücke für viele Anwendungsfälle nicht mehr relevant sein.
Für manche Use Cases ist das heute schon kein Thema: Wenn du ein Modell nimmst und es auf deinen eigenen Daten fine-tunest — also auf spezifische Aufgaben in deinem Unternehmen spezialisierst — kann ein kleineres lokales Modell ein allgemeineres Cloud-Modell für genau diese Aufgabe übertreffen. Eine Kanzlei, die ihr Modell mit Hunderten von Vertragsanalysen trainiert, bekommt für Vertragsanalysen oft bessere Ergebnisse als mit einem Generalisten-Modell in der Cloud. Mehr dazu im Artikel zu Fine-Tuning.
Wer sollte lokale KI ernsthaft in Betracht ziehen?
Nicht jedes Unternehmen braucht das. Die meisten tun es nicht.
Aber es gibt klare Kategorien, für die der Aufwand sich lohnt:
Branchen mit sensiblen Daten: Anwaltskanzleien, Arztpraxen, Steuerberater, Finanzdienstleister, Pharmaunternehmen. Überall dort, wo Berufsgeheimnisse, Patientendaten oder regulierte Finanzdaten im Spiel sind — für Kanzleien bietet sich etwa eine KI-gestützte Vertragsanalyse an, sobald die Datensouveränität gesichert ist.
Unternehmen mit starkem IP-Schutz: Wenn Geschäftsgeheimnisse, Produktentwicklungsdaten oder Forschungsergebnisse in die KI fließen sollen, ist Datensouveränität ein echtes Argument.
Unternehmen in Bereichen mit eingeschränkter Cloud-Nutzung: Manche Behörden, Rüstungsunternehmen und kritische Infrastrukturbetreiber haben bereits Einschränkungen für Cloud-Dienste.
Wer keins davon ist und mit allgemeinen Texten, Marketing und allgemeiner Produktivität arbeitet, ist mit Cloud-KI oft besser bedient — weil sie leistungsstärker ist und keine Infrastruktur-Investition braucht.
Der pragmatische Einstieg: Lade Ollama heute herunter und probiere es aus. Es ist kostenlos, und du siehst in einer Stunde, was auf deiner Hardware möglich ist. Das ist die beste Grundlage für eine informierte Entscheidung.
Wenn du mehr über Datenschutz und KI wissen möchtest oder KI-Einführung für dein Unternehmen planst, findest du im KI-Syndikat Newsletter regelmäßig konkrete Praxistipps ohne Marketingsprech.