Tier 3
ISO 27001
Bunker
Managed Ollama
Modelle auf deinem eigenen Server im Essener Rechenzentrum.
Wir betreiben den Modellsserver, sichern die Modelle und halten ihn aktuell.
- Essener Rechenzentrum
- Modelle ohne Datenabfluss
- OpenAI- und Anthropic-kompatible API
- Embeddings für die Vektorsuche
- Anbindung an Coding-Agents
- Backup mit geprüfter Wiederherstellung
Der Modellserver im Essener Rechenzentrum
Ein Server für deine Modelle
Du lädst die Modelle auf deinen Server und startest sie dort. Die Daten deiner Anfragen bleiben im Rechenzentrum in Essen.
Eine Schnittstelle, zwei Welten
Der Server spricht seine eigene API und zusätzlich die OpenAI- und die Anthropic-Schnittstelle. Deine Anwendung spricht damit die Schnittstelle, die sie schon kennt.
Modelle für Text und Einbettungen
Neben den Sprachmodellen liefert der Server Einbettungen für die Vektorsuche. In der Plattform POTTCloudAI rechnet das Modell bge-m3 die Vektoren für die Dokumentensuche.
Betrieb mit Updates
Wir spielen die Aktualisierung des Modellservers ein und prüfen danach, ob die Modelle starten und antworten. Die Modelldateien gehören zur Sicherung.
Dokument, Einbettung und Anfrage
Der Modellserver hält die Modelle auf einem eigenen Datenträger. Beim Start lädt er das gewünschte Modell, beim Embedding rechnet er Texte in Vektoren um. Für die Dokumentensuche der Plattform POTTCloudAI nutzen wir das Modell bge-m3.
Für Anfragen spricht der Server seine eigene API mit einem Chat-Endpunkt. Zusätzlich stellt er die OpenAI-kompatiblen Endpunkte für Chat Completions und Responses sowie den Anthropic-kompatiblen Endpunkt bereit. Ein Wechsel der Schnittstelle ändert deshalb nur die Adresse.
Der Server bindet sich an Werkzeuge an, die ein Modell ansteuern: Claude Code, Codex und opencode starten ihn über die vorhandene Anbindung, eine Anmeldung ist dafür nicht nötig.
So betreiben wir den Modellserver
Standort Essen
Server und Modelle stehen im Rechenzentrum in Essen, unter der Erde in einer Bunkeranlage. Deine Daten unterliegen deutschem Recht.
Betrieb und Updates
Wir spielen die Aktualisierung des Modellservers ein und prüfen danach, ob die Modelle starten und antworten. Die Anbindung an die Werkzeuge deiner Agenten testen wir mit.
Sicherung und Wiederherstellung
Die Modelldateien und die Konfiguration gehören zur Sicherung. Wir spielen sie quartalsweise testweise zurück, damit ein Modell nach einem Neustart wieder bereitsteht.
Verträge und Standort
Im AV-Vertrag steht schriftlich, wer welche Daten verarbeitet und wo der Server läuft. Die Aufbewahrung der Backups legen wir darin fest.
Grundlagen zu Ollama
Was ist Ollama?
Ollama ist ein Laufzeitumgebung für Sprachmodelle. Du lädst ein Modell auf deinen Rechner, startest es mit einem Befehl und sprichst es über eine Schnittstelle an. Für die Nutzung in Anwendungen und Werkzeugen bringt Ollama Bindings für Python und JavaScript mit.
Welche Schnittstellen bietet der Server?
Die eigene API mit einem Chat-Endpunkt, die OpenAI-kompatiblen Endpunkte für Chat Completions und Responses und der Anthropic-kompatible Endpunkt. Jede Anwendung, die eine dieser Schnittstellen spricht, arbeitet mit dem lokalen Modell. Der Responses-Endpunkt arbeitet zustandslos, die Unterhaltung gehört in jeden Aufruf.
Wie kommen Modelle auf den Server?
Über einen Download auf den Server. Wir richten den Speicher ein und laden die Modelle, die du brauchst, auf deinem Wunsch. Danach prüfen wir Start und Antwort mit einem Test, bevor deine Anwendung darauf zugreift.
In vier Schritten zum laufenden Modellserver
- 01
Modelle auswählen
Wir sprechen mit dir durch, welche Modelle deine Aufgaben brauchen, wie groß der Speicherbedarf ist und welche Rechenleistung zur Verfügung steht.
- 02
Server einrichten
Wir stellen den Server bereit, richten Speicher und Zugriffsrechte ein und laden die Modelle.
- 03
Anbindung testen
Wir prüfen die eigene API, die OpenAI- und die Anthropic-Schnittstelle mit einem Test und binden die Werkzeuge an, die deine Agenten nutzen.
- 04
Betrieb und Kontrolle
Wir halten den Server aktuell, überwachen den Zustand und sichern Modelle und Konfiguration mit geprüfter Wiederherstellung. Für deine Fragen hast du eine feste Ansprechperson.
Häufige Fragen zu Managed Ollama
Bleiben meine Daten im Rechenzentrum?
Bei lokalen Modellen ja. Der Server steht in Essen, die Anfrage und der Text verlassen das Haus nicht. Mit einem Cloud-Modell von Ollama arbeitet der Server dagegen gegen den Anbieter, und dann gelten dessen Bedingungen. Wir sprechen im Erstgespräch durch, welches Modell für welche Aufgabe im Haus bleiben soll.
Kann meine Anwendung die vorhandene Schnittstelle nutzen?
Ja, wenn sie OpenAI oder Anthropic spricht. Der Server bietet beide Endpunkte zusätzlich zu seiner eigenen API an. Ein Wechsel bedeutet dann nur die neue Adresse, am Code ändert sich nichts. Für alles Übrige gibt es Bindings für Python und JavaScript.
Wie viel Speicher braucht ein Modell?
Das hängt vom Modell ab. Kleine Modelle mit wenigen Milliarden Parametern liegen im Bereich einiger Gigabyte, große Modelle brauchen ein Vielfaches davon und Rechenleistung, die auf einer Grafikkarte läuft. Wir messen den Bedarf mit deinen Aufgaben und stellen die Maschine danach ein.
Was passiert nach einem Neustart?
Der Server startet die Modelle nicht von selbst, ein Modell lädt er beim ersten Zugriff. Die Modelldateien liegen auf einem eigenen Datenträger und gehören zur Sicherung. Nach einem Update prüfen wir, ob die Modelle starten und antworten.
Welche Werkzeuge nutzen den Server?
Claude Code, Codex und opencode starten den Modellserver über die vorhandene Anbindung. In der Plattform POTTCloudAI rechnet das Modell bge-m3 die Einbettungen für die Dokumentensuche, dafür braucht es keinen Schlüssel eines externen Anbieters.
Was kostet der Betrieb?
Den Preis bekommst du auf Anfrage. Er richtet sich nach den Modellen, dem Speicherbedarf und der Rechenleistung der Maschine. Nach der Bestandsaufnahme bekommst du ein schriftliches Angebot, in dem jede Leistung einzeln steht.
Servicegebiet
- Essener Rechenzentrum, Rüttenscheiderstr. 12
- Von hier betreiben wir Modellserver für Kunden im Ruhrgebiet, in NRW und bundesweit.
- Für Kunden aus dem Ruhrgebiet kommen wir zur Probe der Wiederherstellung vorbei.
Kostenloses Erstgespräch über deinen Modellsserver
Wir schauen uns an, welche Modelle deine Aufgaben brauchen, wie viel Speicher und Rechenleistung sie kosten und welche Werkzeuge daran hängen sollen. Aus dem Erstgespräch machen wir dir ein schriftliches Angebot.
Quellen: Ollama – Dokumentation (Schnellstart, API, Schnittstellen, Einbettungen) · POTTCloud AI – Coolify-Templates des Agent-Stacks · Komplex IT GmbH – Managed Private Cloud, Managed Backup · Essener Rechenzentrum – Daten und Fakten