Ich baue seit rund 20 Jahren Software. Und ich bin ehrlich fasziniert von dem, was gerade entsteht.
Kein Zynismus. Keine Angst vor Veränderung. Keine „Früher war alles besser"-Stimmung.
In meinem Keller steht ein kleiner schwarzer Kasten, der ein bisschen wie eine Spielkonsole aussieht: ein ASUS Ascent GX10. Darauf laufen mehrere Sprachmodelle, komplett lokal. Mein KI-Agent Einstein nutzt für viele seiner Aufgaben gpt-oss:20b.
Wenn nachts eine Support-Mail eingeht, liest Einstein das Ticket, weist es mir zu, formuliert eine Antwort und trägt den Vorgang in meinen Tagesplan ein. Am nächsten Morgen wartet alles auf mich. Ich lese den Entwurf, korrigiere ihn bei Bedarf und klicke auf „Senden".
Einstein hat mir sogar schon einen neuen digitalen Kollegen eingerichtet. Er legte einen Linux-Benutzer an, klonte ein Repository und startete einen Systemdienst. Ich hatte ihm den Auftrag gegeben und anschließend vergessen, dass der Prozess noch im Hintergrund lief. Als ich vom Kaffeeholen zurückkam, war die Arbeit erledigt.
Ehrlich gesagt, sowas begeistert mich einfach jedes Mal aufs Neue.
Der Nachmittag, an dem Einstein verschwand
Natürlich funktioniert nicht immer alles so reibungslos.
Ich wollte Einstein ein eigenes Profil geben. Getrenntes Modell-Routing, sauber abgegrenzte Zuständigkeiten, eine eigene Konfiguration. Auf dem Papier sah das ordentlich aus.
In der Praxis legte das Profil-Multiplexing den gesamten Gateway lahm. Einstein hatte sich selbst vom Netz genommen. Genauer gesagt: Ich hatte ihm eine Konfiguration gegeben, mit der das System nicht sauber umgehen konnte.
Ich saß um 15 Uhr an einem Dienstag vor einem Agenten, der plötzlich nicht mehr erreichbar war, und musste ihn manuell wiederbeleben.
Die technische Lehre daraus war einfach: Manchmal ist einfach besser als clever. Ein Profil, ein lokales Standardmodell, klare Werkzeuge. Das läuft stabil und ist für diesen Zweck vollkommen ausreichend.
Die wichtigere Lehre war eine andere: Verantwortlich war ich – nicht das Modell, nicht der Agent, nicht das Profil-Multiplexing. Ich hatte die Konfiguration gewählt, ich hatte dem Agenten seine Rechte gegeben, und ich war es auch, der dafür sorgen musste, im Fehlerfall noch eingreifen zu können.
Kontrolle bedeutet nicht, jeden Befehl selbst einzugeben
Ein KI-Agent ist nur dann nützlich, wenn er selbstständig arbeiten darf. Wenn ich jeden einzelnen Shell-Befehl bestätigen müsste, könnte ich die Arbeit gleich selbst erledigen.
Menschliche Kontrolle bedeutet für mich deshalb nicht, dass ich jeden Schritt manuell abnicke. Sie bedeutet, dass ich die Grenzen festlege.
Einstein darf einen klar beschriebenen Auftrag selbstständig ausführen. Er darf Informationen sammeln, Systeme prüfen, Entwürfe schreiben und vorbereitete Arbeit dokumentieren. Bei Aktionen mit direkten Folgen für andere Menschen gelten engere Grenzen.
Eine Antwort an einen Kunden verschickt er nicht selbst. Er erstellt einen Entwurf, ich lese ihn und entscheide.
Der Agent schlägt vor. Ich entscheide.
Klingt logisch. Im Alltag ist diese Grenze trotzdem schnell überschritten.
Eine überzeugende Antwort ist noch keine richtige Antwort
Ich sehe immer häufiger, wie Menschen ChatGPT, Claude und andere Systeme benutzen. Das Problem ist nicht, dass sie diese Werkzeuge verwenden. Ich verwende sie selbst jeden Tag.
Das Problem beginnt dort, wo eine Antwort nicht mehr geprüft wird, weil sie überzeugend klingt.
Sprachmodelle formulieren flüssig. Sie erklären Zusammenhänge, liefern Beispiele und treten dabei oft so sicher auf, dass Zweifel fast unhöflich wirken. Aber ein sicherer Ton ist kein Beweis für eine richtige Antwort.
Ich habe Claude, ChatGPT und meinen lokalen Modellen oft genug sagen müssen:
- Das stimmt nicht.
- Dafür hast du keinen Beleg.
- Diese Funktion gibt es gar nicht.
- Das hast du dir gerade ausgedacht.
Ich bin kein KI-Meister. Ich arbeite nur intensiv genug mit diesen Systemen, um ihre Stärken und ihre Schwächen regelmäßig zu sehen. Ich weiß, wann ich misstrauisch werden muss. Nicht immer, aber oft genug.
Viele Menschen haben diese Erfahrung nicht. Sie bekommen eine gut formulierte Antwort und haben keinen Grund zu erkennen, dass etwas daran falsch sein könnte.
Genau das macht mir Sorgen.
Und ich will ehrlich sein: Ich bin selbst Teil des Problems. Ich habe Claude dabei erwischt, wie das Modell Konfigurationswerte geraten hat, statt in der Dokumentation nachzusehen. Und ich habe genau dasselbe getan – weil ich überzeugt war, das System zu kennen. Der gefährlichste Moment ist der, wenn man denkt „das kenne ich doch" – dann prüft man nicht mehr nach, und genau dann liegt man daneben.
Bei Pfaden, Endpunkten und Versionsangaben gilt für mich deshalb: erst nachsehen, dann antworten. Das fordere ich von meinen Agenten ein und versuche, mich selbst ebenso daran zu halten. Nicht weil ich KI grundsätzlich misstraue, sondern weil Menschen und Modelle an genau derselben Stelle scheitern können: wenn eine plausible Erinnerung wie Gewissheit behandelt wird.
Beim Internet habe ich dieses Muster schon einmal gesehen
Ich bin mit dem Internet groß geworden. Ich habe damit mein Geld verdient und tue es bis heute.
E-Commerce, die Dotcom-Blase, soziale Netzwerke: Ich fand diese Entwicklungen spannend. Viele davon waren hilfreich. Das Internet hat Wissen zugänglich gemacht, Menschen verbunden und Unternehmen Möglichkeiten gegeben, die vorher undenkbar waren.
Aber Bequemlichkeit war oft schneller als unser Bewusstsein für die Folgen.
Wir haben neue Plattformen benutzt, lange bevor wir verstanden haben, was sie mit unseren Daten, unserer Aufmerksamkeit und unseren Gewohnheiten machen. Die Technik war da, die Geschäftsmodelle waren da, die kritische Medienkompetenz kam später. Bei manchen Menschen kam sie nie.
Bei KI erkenne ich ein ähnliches Muster. Nur diesmal antwortet das Werkzeug. Es formuliert Argumente, fasst Informationen zusammen und hilft bei Entscheidungen. Es kann dadurch nicht nur beeinflussen, was wir sehen, sondern auch, wie wir über etwas nachdenken.
Privat nutze ich keine sozialen Netzwerke. Für meinen beruflichen Austausch habe ich ein LinkedIn-Profil. Kunden, die mir über WhatsApp schreiben möchten, verweise ich nach Möglichkeit auf meinen selbst gehosteten Matrix-Server oder auf Nextcloud Talk.
Das mache ich nicht aus Prinzip, sondern weil ich mir eine einfache Frage stelle:
Wer behält die Kontrolle über meine Daten, meine Kommunikation und meine Aufmerksamkeit?
Bei KI kommt eine weitere Frage hinzu:
Wer behält die Kontrolle über die Entscheidung?
Nicht jeder Mensch muss KI-Experte werden
Man könnte es sich leicht machen und sagen: Die Leute sollen sich halt besser informieren.
Nur bringt das nichts.
Ich beschäftige mich viele Stunden am Tag mit KI, weil es mein Beruf und meine Leidenschaft ist. Ein Bäcker, eine Krankenschwester oder ein Handwerker wird das nicht tun. Diese Menschen müssen weder Prompt Engineering lernen noch wissen, wie ein Transformer funktioniert.
Sie sollten es auch nicht müssen.
Wir erwarten schließlich auch nicht, dass jeder Autofahrer einen Verbrennungsmotor zerlegen kann. Trotzdem wissen die meisten, dass eine Warnleuchte nicht ignoriert werden sollte und dass ein ungewöhnlicher Geruch ein Grund ist, anzuhalten.
Genau so eine Grundhaltung brauchen wir auch bei KI. Nicht jeder muss die Technik im Detail verstehen – aber ein gesundes Misstrauen sollte jeder mitbringen.
Jeder sollte wissen:
Eine KI kann sich irren.
Eine überzeugend formulierte Antwort kann falsch sein.
Ein Sprachmodell kann Quellen erfinden.
Eine Antwort ist ein Vorschlag, kein Wahrheitsbeweis.
Und je größer die Folgen einer Entscheidung sind, desto genauer muss ein Mensch hinschauen.
Die Werkzeuge tragen ebenfalls Verantwortung
Wir dürfen die Verantwortung nicht allein bei den Nutzern abladen.
KI-Systeme sollten Quellen sichtbar machen, wenn sie sich auf Quellen berufen. Sie sollten Unsicherheit nicht hinter selbstbewusster Sprache verstecken. Agenten sollten nachvollziehbar dokumentieren, welche Werkzeuge sie verwendet und welche Aktionen sie ausgeführt haben.
Bei folgenreichen oder schwer rückgängig zu machenden Aktionen muss es klare Grenzen geben. Eine Überweisung, eine Kündigung, eine medizinische Empfehlung oder eine Nachricht an einen Kunden darf nicht einfach deshalb ausgeführt werden, weil ein Modell ausreichend überzeugend klingt.
Auch Bildung gehört dazu. Nicht als eigenes Schulfach mit hundert Fachbegriffen, sondern als Teil moderner Medienkompetenz.
Wie prüfe ich eine Behauptung?
Woher stammt eine Information?
Woran erkenne ich, dass eine Quelle möglicherweise erfunden wurde?
Wann sollte ich eine zweite Meinung einholen?
Diese Fragen sind nicht neu. Mit KI werden sie nur dringlicher.
Die Gefahr liegt nicht allein in der Technik
Ich habe keine Angst vor KI. Ganz im Gegenteil.
Die Technik ist großartig. Sie hilft mir jeden Tag, schneller zu arbeiten, Zusammenhänge zu erkennen und Dinge umzusetzen, für die mir früher die Zeit gefehlt hätte.
Gefährlich wird sie dort, wo mehrere Dinge zusammenkommen: ein System, das überzeugend formuliert, ein Produkt, das jede Reibung beseitigt, und ein Mensch, der deshalb aufhört zu prüfen.
Dann geben wir Kontrolle ab, ohne eine bewusste Entscheidung darüber getroffen zu haben.
Ich bin jetzt fast sechzig. Technisch habe ich oft Position bezogen, gesellschaftlich fast nie – ich will weder die Welt retten noch anderen vorschreiben, welche Werkzeuge sie nutzen sollen. Aber beim Thema KI fällt mir das Schweigen zunehmend schwer. Nicht, weil ich die Technik ablehne – im Gegenteil: weil ich sie liebe, täglich damit arbeite und genau deshalb weiß, wie gut sie sein kann. Und wie überzeugend sie klingt, wenn sie danebenliegt.
Deshalb gilt bei mir eine einfache Regel: Einstein darf lesen, suchen, rechnen, planen und Entwürfe schreiben, und er darf das selbstständig tun, solange er sich innerhalb der Grenzen bewegt, die ich festgelegt habe. Aber sobald eine Entscheidung Folgen für andere Menschen hat, bleibt der letzte Klick bei mir. Nicht aus Angst vor KI – sondern weil ich sie ernst nehme.
