Lokale KI: Ihr eigenes Sprachmodell im Haus
Von der Hardware-Empfehlung über die Modellauswahl bis zur Chat-Oberfläche für Ihr Team. Ihre Dokumente bleiben dabei im Haus.
Mit KI erzeugtKünstliche Intelligenz ist im Arbeitsalltag angekommen – aber für viele Betriebe nicht in der öffentlichen Variante. Steuerberatung, Kanzlei, Arztpraxis, Finanzdienstleister: Wer mit fremden Geheimnissen arbeitet, kann Mandantenakten nicht in einen amerikanischen Chatdienst kopieren.
Die Alternative ist ein Sprachmodell, das ausschließlich auf Ihrer Hardware läuft. Kein Datenabfluss, keine laufenden Kosten je Anfrage, keine Abhängigkeit von den Preisen eines Anbieters.
Der praktische Nutzen liegt selten im freien Texten, sondern in der Arbeit mit dem eigenen Bestand: Verträge zusammenfassen, in Tausenden Dokumenten die eine Klausel finden, Fragen aus dem internen Wissen beantworten. Genau dafür sind offene Modelle in Verbindung mit einer angebundenen Wissensbasis heute gut genug.
Wir bauen das auf und übergeben es dokumentiert – Sie können es selbst betreiben oder uns damit beauftragen. Ein Anbieter-Lock-in entsteht nicht.
Was dazugehört
Bedarf und Machbarkeit
Zuerst die unbequeme Frage: Lohnt sich das für Ihre Anwendungsfälle überhaupt? Wir prüfen Datentypen, Menge und regulatorische Auflagen, bevor Hardware beschafft wird.
Hardware
Von der einzelnen Workstation mit starker Grafikkarte bis zum Multi-GPU-Server. Wir empfehlen nach Nutzerzahl und Antwortzeit – und beschaffen auf Wunsch.
Modellauswahl
Llama, Mistral oder Phi – die Wahl hängt von Sprache, Aufgabe und verfügbarem Speicher ab. Wir testen mit Ihren echten Dokumenten statt mit Marketing-Beispielen.
Wissensbasis (RAG)
Ihre Dokumente werden durchsuchbar gemacht und dem Modell zur Seite gestellt. Antworten stützen sich damit auf Ihren Bestand statt auf allgemeines Weltwissen – mit Quellenangabe.
Oberfläche für das Team
Ein Chat im Browser, der sich kaum von den bekannten Diensten unterscheidet. Für die tägliche Nutzung braucht es keine IT-Kenntnisse.
Betrieb & Schulung
Einweisung Ihrer Mitarbeiter, Aktualisierung der Modelle, Erweiterung der Wissensbasis. Übernehmen wir – oder Ihre eigene IT nach sauberer Übergabe.
KI-Compliance nach EU AI Act
Seit dem 2. August 2026 sind die Transparenzpflichten des AI Act bußgeldbewehrt: Chatbots müssen sich zu erkennen geben, erzeugte Bilder gekennzeichnet sein – und die KI-Kompetenz Ihrer Mitarbeitenden gilt schon seit Februar 2025 als Pflicht. Wir setzen die technische Seite um und sagen Ihnen offen, wo eine Anwältin oder ein Anwalt dazugehört. Eine Rechtsberatung ist das ausdrücklich nicht.
Was Sie davon haben
- Daten bleiben im Haus: Kein Transfer zu Dritten, kein Training mit Ihren Inhalten.
- Für regulierte Branchen: Geeignet dort, wo Verschwiegenheit rechtlich vorgegeben ist.
- Keine Kosten je Anfrage: Die Investition steckt in der Hardware, nicht in einem laufenden Zähler.
- Auf Ihren Bestand zugeschnitten: Antworten aus Ihren Dokumenten, mit Quellenangabe.
- Keine Anbieterbindung: Offene Modelle, dokumentierte Umgebung, jederzeit übertragbar.
- Klein anfangen möglich: Eine Workstation reicht für den Einstieg.
So gehen wir vor
- 1Anwendungsfälle klären: Welche Aufgabe soll die KI konkret abnehmen?
- 2Machbarkeit prüfen: Datenlage, Menge und rechtlicher Rahmen – ehrlich auch dann, wenn die Antwort "noch nicht" lautet.
- 3Hardware-Konzept: Empfehlung passend zu Nutzerzahl und gewünschter Antwortzeit.
- 4Aufbau: Modell installieren, absichern, Wissensbasis anbinden.
- 5Test mit echten Dokumenten: Gemeinsame Bewertung der Antwortqualität, bevor es in die Fläche geht.
- 6Rollout & Schulung: Oberfläche freigeben, Team einweisen, Betrieb klären.
Offene Sprachmodelle (Llama, Mistral, Phi), Ollama und vLLM, NVIDIA CUDA, RAG-Pipelines mit LangChain oder LlamaIndex, Vektordatenbanken wie Qdrant und ChromaDB, Docker – vollständig im eigenen Haus betreibbar.
Was Kunden vorher wissen wollen
Betrifft der EU AI Act auch kleine Unternehmen?
In aller Regel ja, wenn KI-Werkzeuge eingesetzt werden – und sei es nur als Bestandteil eingekaufter Software. Die am häufigsten übersehene Pflicht ist Art. 4: Wer KI nutzt, muss dafür sorgen, dass die damit befassten Mitarbeitenden sie verstehen. Diese Pflicht gilt seit dem 2. Februar 2025 und kennt keine Größengrenze. Unsere kostenlose Orientierungshilfe unter /ai-act-check zeigt in wenigen Minuten, welche Pflichten nach Ihren Angaben in Betracht kommen. Sie ersetzt keine Rechtsberatung.
Müssen wir KI-generierte Texte und Bilder kennzeichnen?
Bei Bildern, Audio und Video lautet die Antwort im Zweifel ja – seit dem 2. August 2026 ist diese Transparenzpflicht bußgeldbewehrt. Bei Texten greift die Pflicht dann nicht, wenn sie vor der Veröffentlichung redaktionell geprüft werden und jemand die inhaltliche Verantwortung trägt; dann brauchen Sie statt eines Hinweises einen nachvollziehbaren Redaktionsprozess. Wie wir das für unsere eigene Website gelöst haben, steht offen auf unserer Seite zur KI-Transparenz.
Was kostet eine eigene KI-Lösung im Unternehmen?
Der Einstieg über eine einzelne Workstation mit leistungsfähiger GPU liegt im niedrigen fünfstelligen Bereich inklusive Einrichtung. Ein Multi-GPU-Server für viele parallele Nutzer liegt deutlich darüber. Laufende Kosten pro Anfrage entfallen dafür vollständig – die Investition amortisiert sich über die Nutzungsdauer.
Wie gut ist ein lokales Modell im Vergleich zu ChatGPT?
Für allgemeine Kreativaufgaben liegen die großen Cloud-Modelle weiterhin vorn. Bei Aufgaben auf Ihren eigenen Dokumenten – zusammenfassen, suchen, Fragen aus dem eigenen Bestand beantworten – erreichen aktuelle offene Modelle in Kombination mit einer Wissensbasis sehr praxistaugliche Ergebnisse, ohne dass Ihre Daten das Haus verlassen.
Für welche Branchen lohnt sich das besonders?
Überall dort, wo Vertraulichkeit rechtlich vorgegeben ist: Steuerberatung, Anwaltskanzleien, Arztpraxen und Kliniken, Finanzdienstleister sowie Unternehmen mit schützenswertem Know-how in Entwicklung und Konstruktion.
Brauchen wir dafür eigene IT-Fachleute?
Für den täglichen Gebrauch nicht. Ihre Mitarbeiter arbeiten über eine Chat-Oberfläche im Browser, die sich kaum von bekannten Diensten unterscheidet. Aufsetzen, Absichern und Aktualisieren übernehmen wir.
Wer betreut die Lösung im laufenden Betrieb?
Auf Wunsch wir – inklusive Aktualisierung der Modelle, Monitoring und Erweiterung der Wissensbasis. Sie können den Betrieb aber ebenso an Ihre eigene IT übergeben; die Umgebung ist dokumentiert und an keinen Anbieter gebunden.
Weitere Leistungen
Beratung · Cloud · Infrastruktur
Azure, IONOS Cloud und reproduzierbare Infrastruktur – dazu Sicherheit, NIS2 und die Digitalisierung von Abläufen.
AnsehenMicrosoft 365
Umzug ohne Ausfall, saubere Einrichtung nach DSGVO, ehrliche Lizenzberatung und Schulungen, die im Alltag ankommen.
AnsehenWebsites & Anwendungen
Schnelle, auffindbare Websites – und individuell entwickelte Funktionen, die tägliche Handarbeit ersetzen.
AnsehenPasst das zu Ihrer Situation?
30 Minuten, ehrlich und ohne Verkaufsdruck. Wir schauen uns Ihre Lage an und sagen Ihnen, was wir an Ihrer Stelle tun würden — auch dann, wenn das heißt, dass Sie uns gar nicht brauchen.
02173 1627748