Wenn Leute fragen, was ich da eigentlich baue, sage ich meistens: “Einen eigenen KI-Server.”

Das ist wahr. Aber es ist nur die Spitze.

In Wirklichkeit ist es ein ganzes Ökosystem. Eine FritzBox am Kabel. Ein Proxmox-Server im Schrank. Eine Firewall als VM. Ein Dutzend Docker-Dienste. Ein KI-Server mit Blackwell-GPU. Und ein VPN, das alles weltweit verbindet.

Irgendwo darin leben dann die Agenten, die mir nachts um 11 die Arbeit abnehmen.

Dieser Post ist die Übersicht. Das Grobbild. Spater gibt es zu jedem Baustein einen eigenen Deep-Dive.

Die Topologie auf einen Blick

So sieht das Ganze von oben aus:

Topologie meiner KI-Infrastruktur

NetBird Mesh 100.123.0.0/16 – 28 Peers, 21 verbunden

Der wichtigste Punkt: OPNsense ist der Mittelpunkt. Die Netze 10.20.0.0/24 (Docker) und 10.30.0.0/24 (KI) sind getrennte Subnetze mit je eigenem OPNsense-Bein. Traffic zwischen LXC 250 und dem GX10 wird von OPNsense geroutet, nicht geswitcht. Das ist die saubere Variante: ich kann zwischen Docker-Netz und KI-Netz tatsächlich filtern.

Die Hardware

Bevor wir ins Netzwerk eintauchen, hier das, was physisch bei mir läuft:

  • Minis Forum MS-A2 - Proxmox-Host - AMD Ryzen 9 9955HX, 96 GB RAM, 3x 2 TB NVMe
  • ASUS Ascent GX10 - KI-Rechner - NVIDIA GB10 Grace Blackwell SoC, 128 GB Unified Memory, ARM64, 10 GbE
  • Fantec 4-Bay USB 3.0 - NAS / Backup - 4x 3 TB SATA
  • APC Back-UPS Pro 900 - USV - Sichert alles ab

Dazu ein Monitor, Tastatur, Maus. Kein Rechenzentrum. Kein Rack. Sondern das, was man so braucht, wenn man seine KI-Infrastruktur selbst in der Hand haben will.

Weitere Hardware: mehrere Raspberry Pi 4 auf Halde (aktuell nicht im Einsatz), ein Mac mini 2011 mit Debian 13.x und Hermes-Agenten - der steht im Büro.

Die Subnetze

  • 192.168.178.0/24 - FritzBox / Heimnetz, DHCP, WLAN, Telefon - Gateway: FritzBox
  • 10.20.0.0/24 - Internes Server-/Docker-Netz - Gateway: OPNsense 10.20.0.254
  • 10.30.0.0/24 - GX10 / Ollama, via 10G - Gateway: OPNsense 10.30.0.254
  • 100.123.0.0/16 - NetBird Mesh (Overlay)
  • 136.243.154.0/26 - Hetzner Public (PVE-Talk) - Gateway: 136.243.154.1

Proxmox: Das Fundament

Auf dem Minis Forum MS-A2 läuft Proxmox VE unter 192.168.178.45 - 24/7, seit Monaten ohne Neustart.

Wichtiges Detail: Die Web-UI hängt direkt im 178er-Netz, nicht hinter der OPNsense. Das bedeutet: Sie bleibt erreichbar, auch wenn ich die Firewall gerade so verbogen habe, dass nichts mehr geht. Das ist mein Rettungsanker beim Firewall-Basteln - und glaub mir, den braucht man.

Die OPNsense hat eine eigene, durchgereichte Netzwerkkarte bekommen. Und die 10G-Verbindung zum GX10 läuft per Direktkabel (Point-to-Point) - kein Switch dazwischen, eigene Bridge, eigenes Subnetz.

Was auf Proxmox lebt

  • OPNsense VM - 10.20.0.254 / 10.30.0.254 - Firewall, Routing, DNS, DHCP, VLANs
  • LXC 250 (docker-web) - 10.20.0.212 - Docker-Host, 30+ Container
  • LXC 251 - 10.20.0.236 - RAGFlow (Knowledge-Base-Pipeline)
  • Debian-VM (Debian 13) - im 10.20er-Netz - NetBird Routing Peer, 100.123.12.181
  • Alpine-LXC - ddns - Klein, nur Heimnetz, sshd per Public-Key
  • NPM VM - 10.20.0.123 - NGINX Proxy Manager direkt hinter der OPNsense

Die Dienste: LXC 250

Dienste auf LXC 250

Weitere VMs auf dem Host: Nextcloud, Kimai, Vaultwarden.

Die GPU: ASUS Ascent GX10

Das ist das Herzstück für die KI. Eine ASUS Ascent GX10 mit NVIDIA GB10 Grace Blackwell SoC - ein kompakter KI-Rechner, der auf dem Schreibtisch steht.

Anbindung: Primär über 10G-Direktkabel zum Proxmox-Host (eigene Bridge, Gateway OPNsense 10.30.0.254). Fallback per WLAN ins 178er-Netz. Und natürlich jederzeit physischer Zugang.

Darauf läuft Ollama mit 30+ Modellen, bereitgestellt als OpenAI-kompatible API. Jedes Tool, das mit OpenAI kann, kann auch mit meinem Server reden - einfach die Adresse umgestellt, fertig.

Die Modell-Palette

Cloud-Modelle (via Ollama-Proxy): GLM-5.2, MiniMax-M3, Kimi-K2.7-Code, GPT-OSS 120B, DeepSeek-V4-Flash, Mistral-Large-3 675B, Qwen3.5 397B

Lokale Modelle: Ornith 35B, Gemma4 31B, Qwen3.6 35B-A3B, Qwen3-Instruct 64K, GPT-OSS 20B, Gemma4 12B, Qwen3 14B, Qwen3.5 9B

Vision: German-OCR-8K, Qwen2.5VL

Embedding/Rerank: Nomic-Embed-Text, BGE-M3, BGE-Reranker-V2-M3

ARM64-Fallstricke (aus der Praxis)

Der GX10 läuft auf ARM64 - und das rächt sich. Drei Dinge, die ich auf dem Weg gelernt habe:

  1. Viele Docker-Images gibt es nicht für linux/arm64. AppImages, Installer, vorkompilierte Libs - häufig Fehlanzeige. Jedes docker pull kann mit “Dieses Image gibt es nicht für deine Plattform” enden.
  2. Die GPU-Compute-Capability wird von Standard-KI-Libraries nicht unterstützt. Das Modell startet, und dann kommt: “No kernel image is available for execution on the device.” Übersetzt: Die Software kennt die Hardware nicht.
  3. Unified Memory ist Fluch und Segen. CPU und GPU teilen sich den Speicher - klingt praktisch, ist es auch. Aber alle Optimierungen, die für dedizierte Grafikkarten gedacht sind, arbeiten hier gegen das System. “Mehr GPU-Optimierung” ist auf dem GX10 oft das Gegenteil von schneller.

NetBird: Das VPN-Rückgrat

Damit ich von überall zugreifen kann - und die Agenten auf der MacMini-Farm ebenfalls - läuft NetBird als self-hosted Mesh-VPN.

  • Self-hosted, FQDN-Suffix *.netbird.selfhosted
  • Version 0.74.6, WireGuard-Port 51820
  • Overlay: 100.123.0.0/16
  • 28 Peers registriert, 21 verbunden

Bekannte Peers

  • Debian-VM @home - 100.123.12.181/16 - Routing Peer für 10.20.0.0/24
  • Laptop (Mac, ARM64) - 100.123.90.27/16 - Client
  • Mac-mini-Farm (Agenten) - Clients
  • 2x Proxmox Backup Server @ Hetzner - Clients
  • PBS Büro - Client (eigener Agent)
  • Laptops, iPhone - Clients

Das Modell ist VPN-to-Site: Die Debian-VM sitzt bereits im Zielnetz 10.20.0.0/24 und routet dorthin. Kein Raspberry-Pi-Routing-Peer nötig, keine statischen Routen auf den FritzBoxen, kein OPNsense-Masquerade-Gefummel.

Network: netbird_pve1 -> Resource 10.20.0.0/24, Policy auf die Client-Gruppe.

Ausfallsicherheit

Der Proxmox-Host trägt alles: OPNsense, beide LXCs, die NetBird-VM und beide Bridges. Zwei unabhängige Rettungswege existieren:

  1. Proxmox Web-UI direkt im 178er-Netz (.45), nicht hinter OPNsense -> Konsolenzugriff auf alle Gäste bleibt auch bei verbockter Firewall-Regel möglich
  2. GX10 per WLAN im 178er-Netz erreichbar, plus physischer Zugang

Damit ist das “ich hab mich selbst ausgesperrt”-Szenario abgedeckt. Die APC Back-UPS Pro 900 fängt Stromausfälle ab (reale Last ca. 130-250 W -> 8-12 Minuten Puffer).

Was bleibt: Fällt der Host als Ganzes aus, steht die komplette Heim-Infrastruktur - bei einem Ein-Host-Setup normal, relevant wird’s beim Backup.

Was kommt als Nächstes?

Dieser Post ist der Überblick. Die Deep-Dives kommen einzeln:

  1. Proxmox & OPNsense - wie man eine Firewall als VM aufbaut
  2. Docker auf LXC - warum LXC statt VM für Docker
  3. Ollama auf der GX10 - lokales KI-Inference mit Blackwell
  4. Dify & RAGFlow - RAG-Pipelines selbst gebaut
  5. NetBird VPN - self-hosted Mesh VPN für Agenten
  6. Hermes Agent Farm - Agenten, die Agenten orchestrieren

Hast du Fragen zu einem der Bausteine? Oder baust du selbst was Ähnliches? Schreib mir - ich freue mich über Austausch.