Lokale KI bedeutet, dass ein KI-Modell auf Ihrer eigenen Hardware läuft, im Büro oder im eigenen Rechenzentrum, statt beim Anbieter in der Cloud. Der große Vorteil: Ihre Daten verlassen das Haus nicht. Der Preis dafür sind Anschaffung, Wartung und meist schwächere Modelle als die großen Cloud-Modelle. Für viele Praxen, Kanzleien und Büros ist eine private EU-Cloud mit Zero Data Retention und vertraglichem Ausschluss jeder Weiterverwendung die einfachere Lösung. Für manche ist lokale KI genau richtig.
Ein Beispiel aus dem Alltag
Zwei erfundene Betriebe, dieselbe Frage.
- Kanzlei Vogt in Freiburg, sechs Anwälte, möchte Schriftsätze entwerfen und Verträge durchsuchen. Niemand im Haus kümmert sich hauptberuflich um IT.
- Ein Forschungslabor eines Mittelständlers, mit eigener IT-Abteilung und einer internen Vorgabe, dass bestimmte Konstruktionsdaten das Firmennetz nie verlassen dürfen.
Für das Labor kann lokale KI die richtige Wahl sein: Die Vorgabe ist absolut, und es gibt Leute, die einen Server betreiben. Für die Kanzlei wäre ein eigener KI-Server eine Daueraufgabe ohne Zuständigen. Sie fährt mit einem vertraglich abgesicherten EU-Dienst meist besser.
Lokale KI einfach erklärt: die Details
Wie lokale KI funktioniert. Es gibt frei verfügbare sogenannte Open-Weight-Modelle, deren Gewichte jeder herunterladen darf. Auch OpenAI hat mit gpt-oss solche Modelle veröffentlicht. Mit kostenlosen Programmen lassen sich diese Modelle auf einem leistungsfähigen Rechner starten und wie einen Chat bedienen, ganz ohne Internetverbindung.
Was Sie brauchen.
- Grafikspeicher (VRAM). Die Modellgröße entscheidet. Kleine Modelle laufen auf einem guten Laptop. Größere Modelle mit rund 70 Milliarden Parametern brauchen je nach Komprimierung grob 40 bis über 100 GB Grafikspeicher, also eine oder mehrere teure Grafikkarten.
- Ein Rechner oder Server, der rund um die Uhr läuft, wenn mehrere Personen zugreifen sollen, samt Strom, Kühlung und Datensicherung.
- Jemanden, der es betreut: Updates, neue Modelle, Zugriffsrechte, Sicherheitslücken.
Was es kostet. Für Einzelversuche reicht oft ein vorhandener Rechner. Ein Arbeitsplatzrechner mit großer Grafikkarte kostet schnell mehrere tausend Euro, ein Server für größere Modelle und mehrere Nutzer deutlich mehr. Dazu kommen laufende Kosten: Strom, Wartung und vor allem Arbeitszeit. Die Software selbst ist häufig kostenlos.
Die Stärken.
- Daten verlassen Ihr Netz nicht. Es gibt keinen Dritten, dem Sie vertrauen müssen.
- Funktioniert ohne Internet.
- Keine laufenden Gebühren pro Nutzer, wenn die Hardware einmal steht.
- Volle Kontrolle über Modell, Version und Protokolle.
Die Grenzen.
- Modellqualität. Die Modelle, die auf bezahlbarer Hardware laufen, sind meist kleiner als die großen Cloud-Modelle. Bei langen Dokumenten, komplexem Schlussfolgern und Fachsprache merkt man das oft.
- Aufwand. Dokumentensuche, Benutzerverwaltung, Spracherkennung: Alles, was über den reinen Chat hinausgeht, müssen Sie selbst aufbauen.
- Sicherheit liegt bei Ihnen. Ein schlecht gewarteter Server im Büro ist nicht automatisch sicherer als ein professionell betriebener Dienst.
Worauf Sie bei vertraulichen Daten achten sollten
Der eigentliche Grund für lokale KI ist Vertrauen: Was passiert mit meinen Daten beim Anbieter? Das ist eine berechtigte Frage. Die DSGVO schützt nur Informationen über bestimmbare Personen. Erlauben die Bedingungen eines Cloud-Anbieters, Ihre Inhalte weiterzuverwenden oder zu anonymisieren, dürfen die anonymisierten Reste legal gebündelt und verkauft werden. Wie das aussieht, zeigt die Datenspur.
Die Antwort darauf muss aber nicht zwingend eigene Hardware sein. Sie kann auch ein Vertrag sein, der genau diese Weiterverwendung ausschließt.
Was das für Ihre KI-Nutzung bedeutet
Eine faire Entscheidungshilfe:
| Lokale KI passt, wenn … | Eine private EU-Cloud passt, wenn … |
|---|---|
| Daten das Netz aus internen oder vertraglichen Gründen nie verlassen dürfen | ein AVV und vertragliche Zusagen Ihre Anforderungen erfüllen |
| Sie eigene IT-Leute für Betrieb und Updates haben | niemand im Haus einen KI-Server betreuen soll |
| kleinere Modelle für Ihre Aufgaben genügen | Sie die großen Cloud-Modelle nutzen wollen |
| Sie offline arbeiten müssen | Sie sofort starten und pro Nutzer zahlen wollen |
Prüfen Sie bei jeder Cloud-Lösung diese Punkte:
- Gibt es einen AVV nach Art. 28 DSGVO?
- Wo werden die Daten gehostet?
- Speichern die angebundenen Modellanbieter Ihre Eingaben?
- Schließen die Bedingungen Training und Weiterverwendung aus, auch anonymisiert?
Wo Wysor ansetzt. Wysor ist eine private EU-Cloud für genau diesen Fall: mehrere Modelle (GPT, Claude, Gemini und weitere) in einem Arbeitsbereich, gehostet in der EU, verschlüsselt bei der Übertragung und im Ruhezustand. Jeder angebundene KI-Anbieter arbeitet mit Zero Data Retention: verarbeitet, dann gelöscht. Wysor handelt als Auftragsverarbeiter nach Art. 28 DSGVO, nimmt sich keine Lizenz zur Weiterverwendung Ihrer Inhalte, trainiert nie damit und verkauft sie nie, auch nicht anonymisiert. Diese Zusagen stehen im Vertrag und binden auch jeden, dem Wysor einmal gehören könnte. Wer dagegen eine absolute Vorgabe hat, dass Daten das eigene Netz nie verlassen, ist mit lokaler KI richtig beraten.
Häufige Fragen
Was ist lokale KI? Lokale KI ist ein KI-Modell, das auf eigener Hardware läuft statt in der Cloud eines Anbieters. Eingaben und Ergebnisse bleiben auf Ihrem Rechner oder Server.
Was kostet eine lokale KI? Die Software ist oft kostenlos. Die Kosten stecken in der Hardware, vor allem in Grafikkarten mit viel Speicher, und in der laufenden Betreuung. Für mehrere Nutzer und größere Modelle sind schnell mehrere tausend Euro und mehr nötig.
Ist lokale KI DSGVO-konform? Lokale KI erleichtert die DSGVO-Konformität, weil kein externer Dienstleister die Daten verarbeitet. Die übrigen Pflichten bleiben: Rechtsgrundlage, Zugriffsrechte, Löschung und technische Sicherheit liegen dann vollständig bei Ihnen.
Ist lokale KI so gut wie ChatGPT? Kleine lokale Modelle reichen für einfache Texte und Zusammenfassungen. Bei komplexen Aufgaben und langen Dokumenten sind die großen Cloud-Modelle meist stärker, es sei denn, Sie investieren in entsprechend große Hardware.
Brauche ich als Arzt oder Anwalt lokale KI? Nicht zwingend. Entscheidend sind AVV, Speicherort, Ausschluss von Training und Weiterverwendung und bei Berufsgeheimnissen die Einwilligung oder eine andere gesetzliche Erlaubnis. Das kann auch eine vertraglich abgesicherte EU-Cloud leisten.
Weiterlesen
- Europäische KI. Was eine europäische KI-Lösung ausmacht.
- Sichere KI für Unternehmen. Die Kriterien im Überblick.
- AVV mit KI-Anbietern. Worauf es im Auftragsverarbeitungsvertrag ankommt.
- Die Datenspur. Was mit einer Datei passiert, sobald jemand sie weiterverwenden darf.
- Was ist ein LLM? Large Language Models einfach erklärt
Fragen zu lokaler KI oder zur EU-Cloud? Schreiben Sie an [email protected] oder nutzen Sie das Kontaktformular in der App.
