Einleitung
Sprachmodelle lokal auszuführen ist keine Laborübung mehr. Mit Ollama, LM Studio oder vLLM läuft auf jedem Rechner in weniger als einer Stunde ein Modell im eigenen Netz. In der Praxis bleibt kaum jemand rein lokal: Das lokale Modell übernimmt die Routinearbeit, eine Cloud-API die schwierigen Aufgaben.
Diese Kombination nennt man hybride KI. Genau hier entsteht das Problem: Der Router des Providers kann einen legitimen API-Aufruf nicht von einer Datenabfluss-Anfrage unterscheiden. Dieser Artikel erklärt, welche Bedrohungen es gibt und welche Netzwerkhardware das Problem ohne Jahresabos löst.
Was sind selbst gehostete KI und hybride KI?
Ein lokales Modell ist schnell, pro Anfrage günstig und hält die Daten im Haus – hat aber weniger Leistung. Eine Cloud-API ist deutlich leistungsfähiger – aber jedes Token kostet Geld und verlässt Ihr Netz. Vier Muster prägen die hybriden Architekturen, die wir in der Praxis sehen:
Router Pattern
Ein Klassifikator bewertet die Komplexität der Anfrage und leitet sie weiter: einfache Fragen an das lokale Modell, komplexes Schlussfolgern in die Cloud. Das Muster mit dem besten Kosten-Qualitäts-Verhältnis.
Cascade Pattern
Das lokale Modell antwortet zuerst. Ist die Konfidenz niedrig, wird die Anfrage automatisch an die externe API eskaliert. Senkt die Kosten, ohne bei schwierigen Antworten an Qualität zu verlieren.
Privacy Filter
Das lokale Modell anonymisiert Namen, Steuernummern, Adressen und Vertragsnummern, bevor der Text in die Cloud geht. Entscheidend für alle, die personenbezogene Daten nach der DSGVO verarbeiten.
Specialized Split
Verschiedene Werkzeuge für verschiedene Aufgaben: Embeddings und OCR lokal, Generierung langer Texte und Bildverarbeitung in der Cloud. Das häufigste Muster in RAG-Pipelines.
Sieben konkrete Bedrohungen für eine KI-Infrastruktur
Das sind keine theoretischen Szenarien. Es sind Standardkonfigurationen, die jeder Netzwerkscan findet:
Offene LLM-Ports ohne Authentifizierung
Ollama lauscht auf Port 11434 und verlangt standardmäßig keine Zugangsdaten. Ist der Dienst im lokalen Netz (oder schlimmer, nach außen) erreichbar, kann jedes Gerät Ihr Modell nutzen und den Anfrageverlauf lesen.
Prompt Injection bei Agenten
Ein Agent, der E-Mails, Webseiten oder PDFs liest, kann versteckte Anweisungen im Inhalt erhalten. Ohne Ausgangsfilterung führt der Agent diese Anweisungen mit den Rechten aus, die Sie ihm gegeben haben.
Datenabfluss über einen kompromittierten Agenten
Ein Agent mit Zugriff auf Dateien und Internet ist ein perfekter Ausgangskanal. Ohne Egress-Filterung fließen die Daten per HTTPS an einen beliebigen Endpunkt, und nichts in den Router-Logs verrät es.
Vergiftete Plugins und Erweiterungen
MCP-Server, Plugins von Drittanbietern und hastig installierte npm-/pip-Pakete laufen mit Ihren Umgebungsvariablen – einschließlich der API-Schlüssel.
Laterale Bewegung im Netz
In einem flachen Netz sieht der Inferenzrechner das NAS, die Drucker, die Kameras und den Buchhaltungsarbeitsplatz. Eine einzige Kompromittierung erreicht alles.
API-Schlüssel in .env-Dateien
Schlüssel von OpenAI, Anthropic oder Google im Klartext in einem Repository oder einem geteilten Container. Die Kosten eines Lecks zeigen sich in Verbrauchsrechnungen.
Shadow AI
Mitarbeitende senden interne Dokumente an nicht freigegebene KI-Dienste. Ohne DNS-Filterung lässt sich nicht einmal feststellen, dass es passiert.
Was eine Firewall für KI leisten muss
Eine klassische Firewall kümmert sich darum, was hereinkommt. In einer KI-Infrastruktur liegt das größte Risiko in dem, was hinausgeht. Vier Funktionen sind Pflicht:
Egress filtering
Die KI-Zone darf nur mit den API-Endpunkten sprechen, die Sie ausdrücklich freigegeben haben. Alles andere wird blockiert und protokolliert.
DNS-Filterung
Blockiert Command-and-Control-Domains und macht shadow AI sichtbar, bevor daraus ein Vorfall wird.
VLAN-Segmentierung
Modelle, IoT und Arbeitsplätze in getrennten Zonen, mit expliziten Regeln dazwischen. Eine Kompromittierung bleibt auf eine Zone begrenzt.
Deep Packet Inspection (DPI)
Erkennung von Anwendungen und Blockieren von Malware, Botnetzen und Phishing auf Flussebene – nicht nur nach Port.
In der Praxis: OPNsense deckt die ersten drei Funktionen ab, und das Plugin Zenarmor ergänzt DPI mit threat intelligence. Beide laufen auf gewöhnlicher x86-Hardware – es fehlt nur die passende Hardware.
Welche Appliance wählen?
Die Regel ist einfach: ein physischer Port pro Zone. Je mehr Zonen Sie isolieren wollen, desto mehr Ports brauchen Sie – und Sie vermeiden die Komplexität eines Managed Switch.
| Modell | Prozessor | LAN | Geeignet für |
|---|---|---|---|
| Nano-N1121 | Intel Celeron J6412 | 3x 2.5G | Zuhause oder Büro mit 1 KI-Rechner |
| Nano-N1241 | Intel Alder Lake N200 | 4x 2.5G | 4 isolierte Zonen ohne Managed Switch |
| Nano-N3281 | Intel Core Ultra 5 / Ultra 7 | 8x 2.5G (7 mit PoE-Option) | Unternehmen mit mehreren Abteilungen und aktivem DPI |
Alle drei sind lüfterlos, haben ein Aluminiumchassis und einen geringen Verbrauch – der N1241 bleibt unter 15 W. Bei einer Firewall im 24/7-Betrieb entscheidet das Fehlen beweglicher Teile zwischen fünf Jahren Betrieb und einem Austausch nach zwei.
Kommerzielle Appliance vs. Open Source
Fortinet / Palo Alto
- ×Jährliche Pflichtlizenz für IPS/IDS und Inhaltsfilterung
- ×Ohne Verlängerung erhält das Gerät keine Signaturen mehr
- ×KI-spezifische Regeln hängen von der Roadmap des Herstellers ab
- ×Unvorhersehbare Gesamtkosten über 5 Jahre
N1241 + OPNsense + Zenarmor
- ✓Betriebssystem ohne Lizenzkosten
- ✓Wöchentliche Sicherheitsupdates aus der Community
- ✓Aliase und eigene Regeln für jeden API-Endpunkt
- ✓Kosten ab dem ersten Tag bekannt – nur die Hardware
So wird es umgesetzt – in fünf Schritten
- 1Die Appliance zwischen den Router des Providers und das interne Netz setzen.
- 2OPNsense von einem USB-Stick installieren (etwa 15 Minuten).
- 3VLANs pro Zone anlegen – vertrauenswürdiges LAN, KI-Labor, IoT – mit expliziten Regeln.
- 4Das Plugin Zenarmor installieren und das Blockieren von Malware, Botnetzen und Phishing aktivieren.
- 5Den ausgehenden Verkehr überwachen und die Liste der freigegebenen Endpunkte anpassen.
Fazit
Eine hybride KI-Architektur bewegt Daten dutzende Male pro Minute zwischen Ihrem Netz und externen Diensten. Ohne egress filtering, DNS-Filterung und VLAN-Isolierung können Sie nicht wissen, was hinausgegangen ist – und wohin.
Eine lüfterlose Appliance mit OPNsense löst alle drei Punkte ohne Jahresabo, zu Hause wie im Mittelstand. Wenn bei Ihnen bereits Modelle lokal laufen, ist dies das fehlende Teil. Lesen Sie auch unseren Leitfaden dazu, warum der Router Ihres Providers Sie nicht schützt.
Appliances zum Schutz Ihrer KI-Infrastruktur
Lüfterlose Hardware, kompatibel mit pfSense, OPNsense und Zenarmor.
