Eigene Sprachmodelle — im eigenen Haus
Wir liefern nicht nur Dokumenten-KI. Wir wählen, passen an und betreiben vollwertige Sprachmodelle auf Ihrer Infrastruktur — über eine OpenAI-kompatible Schnittstelle, mit Anbindung an Ihre Daten und Fachsysteme, ohne dass Eingaben an einen Modellhersteller gehen.
Mehr als Dokumenten-KI: ein vollwertiges Sprachmodell
German-OCR ist aus der Arbeit an Vision- und OCR-Modellen entstanden. Die gleiche Kompetenz liegt der zweiten Leistung zugrunde: Auswahl, Anpassung und Betrieb allgemeiner Sprachmodelle auf eigener Hardware.
Auswahl & Bereitstellung offener Modelle
Wir wählen aus dem Feld offener Sprachmodelle das aus, das zu Ihrer Aufgabe, Ihrer Sprache und Ihrer Hardware passt — und stellen es einsatzfertig bereit. Kein Modell-Abo, keine Bindung an einen einzelnen Anbieter.
Betrieb auf Ihrer Hardware
Das Modell läuft auf Ihren Servern, in Ihrem Rechenzentrum — oder auf dedizierter Hardware, die wir für Sie betreiben. Sie entscheiden, wo die Gewichte liegen und wer Zugriff auf die Instanz hat.
OpenAI-kompatible API
Die Instanz spricht das gängige OpenAI-Protokoll. Bestehende Anwendungen, SDKs und Werkzeuge lassen sich meist ohne Codeänderung anbinden — es genügt, Endpunkt und Schlüssel zu tauschen.
Vision- und Textmodelle
Reine Textmodelle für Analyse, Zusammenfassung und Dialog sowie Vision-Modelle, die Seiten, Tabellen und Abbildungen im Zusammenhang erfassen — im selben Betriebsmodell und über dieselbe Schnittstelle.
Sprachein- und -ausgabe
Auf Wunsch ergänzen wir Transkription (Sprache zu Text) und Sprachsynthese (Text zu Sprache). Damit lassen sich Diktat, Protokollierung und sprachgeführte Anwendungen ebenfalls im eigenen Haus abbilden.
Einrichtung, Updates & Betrieb
Dimensionierung, Installation, Monitoring und Modellwechsel übernehmen wir. Ihre IT bekommt eine betriebsfähige Instanz statt eines Forschungsaufbaus, den niemand warten kann.
Große Modelle auf einer einzelnen GPU
Der teuerste Teil eines eigenen Sprachmodells ist selten die Lizenz, sondern der Speicher. Über Modellkompression und Quantisierung bringen wir Modelle auf Hardware, die sonst als zu klein gilt — ohne dass die Antwortqualität für den Anwendungsfall zusammenbricht. Bewertet wird das an Ihren eigenen Testfällen, vor der Beschaffung.
- Modellkompression und Quantisierung für vorhandene Hardware
- Mixture-of-Experts-Modelle auf einer einzelnen professionellen GPU
- Messung von Durchsatz und Antwortzeit an Ihrer eigenen Last
- Dimensionierung nach Nutzerzahl und Kontextlänge, nicht nach Datenblatt
Was das konkret bedeutet
Wir betreiben ein Sprachmodell mit 35 Milliarden Parametern in Mixture-of-Experts-Architektur in rund 18 GB Speicher auf einer 20-GB-Karte. Das ist eine Aussage darüber, was technisch machbar ist — keine Erfolgsstatistik und keine Zusage für jedes Modell. Was auf Ihrer Hardware sinnvoll läuft, klären wir für Ihren Fall.
Quantisierung
Reduzierte Zahlendarstellung senkt den Speicherbedarf deutlich. Wie weit sich das treiben lässt, entscheidet die Messung, nicht das Prinzip.
Mixture of Experts
Pro Anfrage ist nur ein Teil des Modells aktiv. Das erlaubt große Modelle bei moderatem Rechenaufwand je Antwort.
Gemessen, nicht geschätzt
Durchsatz, Antwortzeit und parallele Nutzer werden auf der vorgesehenen Hardware gemessen, bevor Sie investieren.
Passend dimensioniert
Statt der größten verfügbaren Karte empfehlen wir die, die Ihren Anwendungsfall zuverlässig trägt.
Ein Modell, das Ihre Fachsprache beherrscht
Allgemeine Modelle kennen die allgemeine Sprache. Ihre Abläufe, Ihre Dokumententypen und Ihre Begriffe kennen sie nicht. Genau dafür passen wir Modelle an — auf Ihren Daten, in Ihrer Umgebung, überprüfbar an Ihren eigenen Testfällen.
Finetuning auf Ihre Daten
Das Modell wird auf Ihrem eigenen Bestand nachtrainiert — auf Ihren Dokumenten, Ihren Formulierungen und Ihren Aufgabenstellungen. Das Training findet in Ihrer Umgebung statt.
Domänenadaption & Fachsprache
Fachbegriffe, Abkürzungen, Normbezüge und hausinterne Bezeichnungen sind der Grund, warum allgemeine Modelle in Fachabteilungen unscharf bleiben. Genau hier setzt die Adaption an.
Adapter- und LoRA-Ansätze
Statt jedes Mal ein vollständiges Modell zu trainieren, arbeiten wir mit Adaptern. Mehrere Fachdomänen lassen sich so auf derselben Basis abbilden — sparsam im Speicher und schnell austauschbar.
Evaluierung gegen Ihre Testfälle
Bewertet wird an Aufgaben aus Ihrem Haus, mit einem von Ihnen bestätigten Erwartungswert — nicht an öffentlichen Benchmarks, die mit Ihrem Anwendungsfall nichts zu tun haben.
Trainingsdaten bleiben im Haus
Für die Anpassung verlassen weder Dokumente noch abgeleitete Trainingsdaten Ihr Netzwerk. Das Ergebnis ist ein Modellstand, der Ihnen gehört.
Versionierte Modellstände
Jeder Trainings- und Anpassungsschritt wird als eigener Stand geführt. Sie können zwischen Versionen wechseln, vergleichen und jederzeit auf einen früheren Stand zurückgehen.
Vom Sprachmodell zur nutzbaren Anwendung
Ein Modell allein beantwortet keine Frage zu Ihrem Vertragsbestand und legt kein Ticket an. Erst die Anbindung an Ihre Dokumente und Fachsysteme macht daraus eine Anwendung, mit der gearbeitet wird.
Anbindung eigener Dokumentenbestände
Fachablagen, Handbücher, Verträge und Wissenssammlungen werden erschlossen und dem Modell als Wissensquelle zur Verfügung gestellt.
Vektorsuche
Die Suche arbeitet über Bedeutung statt über exakte Zeichenketten — auch dann, wenn im Dokument andere Worte stehen als in der Frage.
Quellenangaben in den Antworten
Antworten verweisen auf die zugrunde liegenden Stellen. Aussagen bleiben überprüfbar, statt als unbelegter Fließtext zu erscheinen.
Function Calling
Das Modell ruft definierte Funktionen auf, statt Handlungen nur zu beschreiben — Grundlage für Agenten, die tatsächlich etwas auslösen.
Strukturierte Ausgaben
Ergebnisse werden gegen ein JSON-Schema erzwungen. Nachgelagerte Systeme bekommen verlässliche Datensätze statt Text, den erst ein Parser retten muss.
Anbindung an Fachsysteme
ERP, DMS, Ticketsysteme oder eigene Fachanwendungen werden als Werkzeuge angebunden — kontrolliert und auf definierte Aktionen begrenzt.
Datenhoheit, planbare Kosten, eigene Verfügbarkeit
Der Betrieb im eigenen Haus ist kein Selbstzweck. Er löst drei Probleme, die bei externen Modell-APIs strukturell bestehen bleiben: Datenabfluss, unvorhersehbare Kosten und Abhängigkeit von fremder Kapazität.
Keine Übermittlung an Modellhersteller
Prompts, Dokumente und Antworten verlassen Ihre Infrastruktur nicht. Es gibt keinen externen Dienst, der Ihre Eingaben sieht, speichert oder für eigene Zwecke auswertet.
Kein Drittstaatentransfer
Wo keine Daten übertragen werden, entfällt die Frage nach Rechtsgrundlagen für den Transfer in Drittstaaten. Das vereinfacht die datenschutzrechtliche Bewertung erheblich.
Planbare Kosten ohne Token-Abrechnung
Die Kosten hängen an der Hardware, nicht am Nutzungsvolumen. Intensive Nutzung verteuert den Betrieb nicht — und niemand muss aus Kostengründen sparsam formulieren.
Unabhängig von Rate-Limits
Die Verfügbarkeit bestimmt Ihre eigene Kapazität, nicht die Kontingentsteuerung eines Anbieters. Lastspitzen werden dimensioniert, nicht abgewartet.
Stabiler Modellstand
Externe Modelle ändern sich, ohne dass Sie es steuern. Ein Modell im eigenen Haus bleibt so, wie Sie es geprüft und freigegeben haben — Aktualisierung erfolgt bewusst.
Vollständige Zugriffskontrolle
Wer die Instanz nutzen darf, welche Anwendung welche Rechte hat und was protokolliert wird, legen Sie fest — innerhalb Ihrer bestehenden Sicherheitsarchitektur.
Vom Erstgespräch zur produktiven Instanz
Wir beginnen bei Ihren Anwendungsfällen und Ihrer Hardware, nicht bei einem Modellnamen. Umfang, Dimensionierung und Integration legen wir gemeinsam mit Ihrer IT fest.
Erstgespräch & Anforderungen
Wir klären Anwendungsfälle, erwartete Nutzerzahl, Kontextlängen, Zielsysteme und die Vorgaben Ihrer IT an Netz, Betrieb und Zugriff.
Modellauswahl & Pilot
Wir stellen eine Instanz bereit und bewerten Kandidatenmodelle an Ihren eigenen Testfällen — inklusive Durchsatz und Antwortzeit auf der vorgesehenen Hardware.
Integration & Betrieb
Anbindung Ihrer Anwendungen über die OpenAI-kompatible API, optionale Anpassung auf Ihren Bestand, dazu Einrichtung, Updates und Betrieb nach vereinbarten Reaktionszeiten.
Leistungsumfang der Instanz
Modellwahl, Dimensionierung, Integrationen und Betrieb individuell nach Ihrem Bedarf.
- Dedizierte Instanz — Ihre Hardware oder unsere
- Offene Sprachmodelle, ausgewählt nach Ihrem Anwendungsfall
- OpenAI-kompatible API für bestehende Anwendungen
- Vision- und Textmodelle in derselben Instanz
- Optional Transkription und Sprachsynthese
- Finetuning und Adapter auf Ihre Fachsprache
- RAG-Anbindung mit Vektorsuche und Quellenangaben
- Function Calling und Ausgaben nach JSON-Schema
- Quantisierung und Dimensionierung für Ihre GPU
- Einrichtung, Updates und Betrieb durch uns
Sprechen wir über Ihr eigenes Sprachmodell
Wir sehen uns Ihre Anwendungsfälle an, prüfen Kandidatenmodelle an Ihren Testfällen und planen Dimensionierung, Anbindung und Betrieb gemeinsam mit Ihrer IT.