Ich sitze vorm Bildschirm, und auf einmal läuft etwas, das ich in diesem Moment nicht angestoßen habe. Zeile für Zeile: ein neuer Linux-User wird angelegt. Ein Git-Repo wird geklont. Ein Systemdienst startet. Meine Agenten-Infrastruktur baut sich gerade selbst einen neuen Kollegen.

Den Auftrag zwar vorher gegeben – dann aber vergessen, dass er noch im Hintergrund läuft. Kein Zauber, keine Vollautonomie. Aber genau das war der Moment, in dem mir klar wurde: Das Ding erledigt jetzt Arbeit, während ich Kaffee hole.

Was da eigentlich steht

Der Asus Ascent GX10 sieht aus wie eine Spielkonsole. 15 mal 15 Zentimeter, leise, unauffällig. Ich habe ihn gekauft, weil ich keine Lust mehr hatte, für jedes KI-Experiment erst eine Cloud-Instanz zu starten oder meine Daten durch amerikanische Rechenzentren zu jagen.

Was in dem Kasten steckt, ist alles andere als unscheinbar:

  • Ein NVIDIA GB10 Grace Blackwell SoC
  • 128 Gigabyte Speicher, den sich CPU und GPU teilen
  • 10 Gigabit Netzwerk
  • Eine Architektur, die ARM64 heißt

Der Preis lag bei rund 3.500 Euro – so viel wie ein ordentlicher Laptop. Dafür läuft alles, was ich brauche, direkt bei mir zuhause. Kein Cloud-Abo. Keine Daten, die irgendwo hinfliegen, wo ich sie nicht haben will.

Was die KI dazu sagt

Bevor ich den GX10 gekauft habe, habe ich meine KI gefragt, was sie von der Idee hält. Die Antwort war eindeutig: “Spar dir das Geld, nimm Cloud-APIs. Das Ding ist Overkill.”

Rückblickend war das die schlechteste Kaufberatung, die ich je bekommen habe. Der GX10 ist heute die technische Grundlage von allem, was ich gebaut habe. Aber die KI konnte das nicht wissen – sie kann kein Datenblatt lesen, und brandneue Hardware taucht in ihrem Trainingsmaterial schlicht nicht auf.

Das war der Moment, in dem ich gelernt habe: Bei neuer Hardware schlägt nvidia-smi jede Ferndiagnose. Auch wenn die Diagnose von einer KI kommt.

Die Sache mit ARM64

Die meisten KI-Werkzeuge sind für x86-Prozessoren gebaut – die Standard-Architektur in fast jedem PC und Server. Der GX10 hat aber ARM64, die gleiche Bauart wie ein Smartphone. Und das rächt sich.

Jedes docker pull kann mit einer Fehlermeldung enden: “Dieses Image gibt es nicht für deine Plattform.” AppImages, Installer, vorkompilierte Bibliotheken – häufig Fehlanzeige. Wer auf ARM64 unterwegs ist, sucht sich die passenden Versionen oft mühsam zusammen oder baut sie selbst.

Dazu kommt: Die GPU im GX10 hat eine Compute Capability, die von Standard-KI-Bibliotheken nicht unterstützt wird. Das Modell startet, und dann kommt: “No kernel image is available for execution on the device.” Übersetzt: Die Software kennt die Hardware nicht.

Und dann ist da noch der geteilte Speicher. CPU und GPU greifen auf denselben Speicher zu – klingt praktisch, ist es auch. Aber alle Optimierungen, die für normale Grafikkarten gedacht sind, arbeiten hier gegen das System. “Mehr GPU-Optimierung” ist auf dem GX10 oft das Gegenteil von schneller.

Was heute darauf läuft

Inzwischen ist der kleine Kasten das Herz meiner gesamten KI-Infrastruktur. Darauf laufen:

  • Ollama für lokale Sprachmodelle – über 15 verschiedene, von Deepseek bis Qwen
  • Ein Chat-Frontend, das wie ChatGPT aussieht, aber nur mit meinem Server redet
  • Sprachausgabe und -erkennung, komplett lokal
  • Bildgenerierung – 1024×1024 in etwa 12 Sekunden, Foto-Qualität
  • Eine eigene Metasuche für KI-Agenten
  • Ein Workflow-Automatisierer, der Dinge miteinander verbindet

Das Besondere: Jedes Programm, das mit OpenAI funktioniert, kann auch mit meinem kleinen Server reden. Einfach die Adresse umgestellt, fertig. DSGVO-konform, keine Daten verlassen das Haus.

Warum ich das erzähle

Weil ich denke, dass das viel mehr Menschen können sollten. Nicht, weil jeder einen KI-Server braucht. Sondern weil die Technik inzwischen so weit ist, dass man sie sich leisten und selbst betreiben kann – ohne Konzern, ohne Cloud-Abo, ohne dass die eigenen Daten irgendwo landen, wo man sie nicht haben will.

Ich bin kein Forscher. Ich bin kein Milliardär. Ich bin einfach jemand, der keine Lust hatte zu warten, bis die Großen ein passendes Produkt liefern. Also habe ich es selbst gebaut.

Und der kleine Kasten neben meinem Schreibtisch? Der macht heute Sachen, von denen ich vor einem Jahr nicht zu träumen gewagt hätte.

Im nächsten Post erzähle ich, was passiert ist, als ich ihm beigebracht habe, selbstständig zu arbeiten.