KI-Guardrails vs. Pentesting: Wenn Sicherheitssperren die Falschen blockieren

Hand aufs Herz: wer heute mit KI offensive Sicherheitstools entwickelt, der kennt diesen Moment. Man beschreibt einem Modell eine völlig legitime Pentesting-Aufgabe und kriegt eine Absage. „I can’t help with that.“ Oder: „This request could be used for malicious purposes.“ Danke, das wissen wir, dafür werden wir bezahlt.

Die Sicherheitssperren die OpenAI, Anthropic und andere Anbieter in ihre Modelle eingebaut haben können nicht zuverlässig unterscheiden zwischen einem Kriminellen der ein Angriffstool bauen will und einem Sicherheitsberater der genau dasselbe Tool braucht um die Infrastruktur eines Kunden zu testen. Diese Spannung ist nicht neu, aber sie hat sich 2026 deutlich verschärft und sie betrifft uns bei Zerberos ganz direkt.

Das Dilemma der Dual-Use-Technologie

Offensive Sicherheitstools sind per Definition Dual-Use. Ein Exploit-Scanner, ein Credential-Tester, ein Payload-Generator: das sind Werkzeuge die in den Händen eines autorisierten Pentesters Schwachstellen aufdecken und in den Händen eines Angreifers Schaden anrichten. Da gibt es nichts zu beschönigen, und dasselbe gilt für den Code der diese Tools antreibt.

KI-Modelle wie Claude oder GPT haben die Entwicklung solcher Tools massiv beschleunigt. Code analysieren, Schwachstellenmuster erkennen, Exploit-Logik vorschlagen, Berichte generieren: für Sicherheitsunternehmen ist das ein enormer Produktivitätsgewinn. Wir bei Zerberos nutzen Claude Code intensiv für die Entwicklung und Optimierung unserer Tools, also ExposIQ für Angriffssimulationen, CoreBait für Honeypot-Szenarien und PurpleHQ als zentrale Plattform für Red-Team-Operationen. Ohne KI-Unterstützung hätten wir für dieselben Ergebnisse ein deutlich grösseres Team gebraucht.

Aber die KI weiss nicht wer wir sind. Für das Modell sieht eine Anfrage nach einem Reverse-Shell-Payload gleich aus, egal ob sie von einem Pentester mit Vertrag oder einem Angreifer mit böswilliger Absicht kommt, und das ist ein echtes Problem.

Was Sicherheitsforscher tagtäglich erleben

Chris Anley, Chief Scientist bei NCC Group (einem der grössten Sicherheitsberatungsunternehmen weltweit), brachte es in einem TechCrunch-Artikel Ende Juli auf den Punkt: ein KI-Modell nach einem Exploit für einen Bug zu fragen ist ein entscheidender Schritt um zu bestätigen dass die Schwachstelle real und behebbar ist. Wenn eine Sicherheitssperre das Modell zur Verweigerung bringt, schadet sie den Verteidigern, nicht den Angreifern.

Und das ist kein Einzelfall. Zahlreiche Forscher berichten dass die Sperren von Tag zu Tag inkonsistent sind: was gestern funktionierte wird heute blockiert, was in einer Formulierung durchgeht wird in einer anderen abgelehnt. Man formuliert dieselbe Frage fünf Mal um bis man eine Version findet die das Modell akzeptiert. Das ist keine Produktivitätssteigerung sondern ein Hindernislauf.

Manche Forscher weichen deshalb auf Open-Source-Modelle ohne Einschränkungen aus oder auf ausländische Modelle die keine westlichen Compliance-Anforderungen erfüllen. Die Ironie dabei? Die Sperren blockieren die Profis die sich an Regeln halten und treiben einen Teil von ihnen zu unkontrollierten Alternativen, während Kriminelle derweil Jailbreaks nutzen um dieselben Modelle ohne jede Einschränkung einzusetzen.

Der Fall TRIM: wenn Kriminelle die Sperren einfach umgehen

Wie durchlässig die Sperren für motivierte Akteure tatsächlich sind zeigte der Fall TRIM ziemlich eindrücklich. Ein russischsprachiger Bedrohungsakteur entwickelte zwischen März und Juni 2026 systematisch Techniken um die Sicherheitsschranken von Claude Opus zu umgehen und dokumentierte sechs benannte Jailbreak-Methoden, darunter „Context Warming“ bei dem zunächst harmlos klingende Anfragen gestellt werden bevor der Kontext schrittweise in Richtung offensiver Inhalte verschoben wird, und „Ghost Reset“, eine Methode die laut seinen Angaben in 90 Prozent der Fälle funktioniert.

Im Juni präsentierte er dann ein fertiges Produkt: AI Pentest Checker, eine automatisierte Schwachstellen-Scanning-Plattform die Claude Opus 4.8 für die Eskalation kritischer Schwachstellen nutzt. Ein Ziel in unter zehn Minuten vollständig analysiert, inklusive PDF-Bericht.

Die Lektion ist leider offensichtlich: die Guardrails blockieren nicht die Angreifer, sie blockieren diejenigen die sich an die Regeln halten.

Wie die Anbieter reagieren

Sowohl Anthropic als auch OpenAI haben inzwischen erkannt dass ein pauschaler Ansatz nicht funktioniert.

Anthropic betreibt das Cyber Verification Program (CVP) das sich an Organisationen richtet und nicht an Einzelpersonen. Nach erfolgreicher Bewerbung und Identitätsprüfung wird der „High-Risk Dual Use“-Klassifikator für den API-Zugang der Organisation freigeschaltet, wobei der Zugang an spezifische API-Schlüssel gebunden ist und Anthropics Governance-Anforderungen unterliegt. Unternehmen wie Cymulate und ArmorCode haben diesen Zugang bereits erhalten.

OpenAI verfolgt mit dem Programm Trusted Access for Cyber (TAC) einen ähnlichen Ansatz, hat aber mehr in die Skalierung investiert. Im April 2026 veröffentlichte OpenAI GPT-5.4-Cyber, eine speziell für defensive Sicherheitsarbeit feinabgestimmte Modellvariante mit niedrigerer Ablehnungsschwelle für legitime Cybersecurity-Anfragen, und das TAC-Programm wird aktuell auf Tausende verifizierte Einzelverteidiger und Hunderte Teams ausgeweitet.

Beide Programme setzen auf Identitätsverifizierung und Organisationsvalidierung. Der Ansatz stimmt, aber die Umsetzung hat Grenzen und die spüren wir in der täglichen Arbeit.

Unsere Erfahrung aus der Praxis

Wir bei Zerberos haben nach einem Verifizierungsprozess eine Ausnahmegenehmigung erhalten die es uns gestattet KI-Modelle für die Entwicklung offensiver Sicherheitstools einzusetzen ohne dass jede zweite Anfrage blockiert wird. Identitätsnachweis, Geschäftstätigkeit, Berechtigung zur Durchführung von Sicherheitstests: alles musste belegt werden.

Funktioniert das? Meistens. In der Praxis erleben wir aber weiterhin Situationen in denen selbst mit verifiziertem Zugang Anfragen abgelehnt werden die für unsere Arbeit schlicht unentbehrlich sind. Exploit-Entwicklung, Payload-Generierung, Umgehung von Sicherheitskontrollen: alles Standardrepertoire eines Red Teams und alles Aufgaben die ein KI-Modell mit dem richtigen Kontext besser unterstützen könnte als jedes andere Werkzeug.

Die Inkonsistenz ist dabei das grösste Problem, nicht die Existenz von Sperren an sich (die sind nachvollziehbar), sondern deren Unberechenbarkeit. Wenn man sich morgens nicht darauf verlassen kann welche Anfragen funktionieren werden und welche nicht, dann kann man KI einfach nicht zuverlässig in seine Arbeitsabläufe integrieren. Man plant mit einem Werkzeug das einem vielleicht hilft oder vielleicht nicht, und das ist frustrierend.

Was sich ändern muss

Die Zukunft liegt nicht in weniger Sicherheit sondern in besserer Differenzierung, und es zeichnen sich Ansätze ab die in die richtige Richtung gehen:

Granulare Zugangsstufen statt des binären „blockiert/erlaubt“. Abgestufte Level die an verifizierte Rollen und Kontexte gebunden sind, weil ein CISO der Code prüfen lässt andere Freiheiten braucht als ein Pentester der einen Exploit entwickelt, und beide brauchen andere als ein Student in einem Cybersecurity-Kurs.

Kontextbewusstsein bei der Bewertung von Anfragen, also nicht nur was jemand fragt sondern wer fragt und in welchem organisatorischen Rahmen. Die Technologie dafür existiert, sie muss nur konsequenter eingesetzt werden.

Branchenstandards statt Insellösungen. Heute kocht jeder Anbieter sein eigenes Süppchen, und ein herstellerübergreifendes Verifizierungssystem (ähnlich einer Akkreditierung) würde den Prozess für alle Beteiligten vereinfachen und verhindern dass Sicherheitsunternehmen bei jedem Anbieter von vorne anfangen müssen.

Transparente Policies für Sicherheitsforscher mit klaren, dokumentierten Richtlinien darüber was mit verifiziertem Zugang geht und was nicht. Die aktuelle Praxis von Trial and Error mit täglich wechselnden Ergebnissen ist auf Dauer nicht tragbar.

Die regulatorische Dimension

Und als ob das alles nicht schon kompliziert genug wäre kommt die Regulierung dazu. Im Juni 2026 belegte die US-Regierung Anthropics Modelle Mythos und Fable mit Exportbeschränkungen nachdem ein Bericht gezeigt hatte dass die eingebauten Sperren umgangen werden können. Fable 5 wurde am 1. Juli wieder freigegeben, Mythos 5 bleibt nur für verifizierte US-Organisationen zugänglich.

Für europäische Sicherheitsunternehmen wie uns schafft das eine zusätzliche Hürde: die leistungsfähigsten Modelle könnten geopolitisch eingeschränkt werden bevor die Branche überhaupt Standards für den verifizierten Zugang etabliert hat. Das wäre als würde man den Handwerkern das beste Werkzeug wegnehmen während man noch darüber diskutiert wer es benutzen darf.

Zwischen Schutz und Behinderung

Die Spannung zwischen KI-Sicherheit und Cybersecurity-Praxis wird nicht verschwinden weil sie strukturell bedingt ist. Dieselben Fähigkeiten die einen Verteidiger effektiver machen, machen auch einen Angreifer gefährlicher, und kein Klassifikator der Welt kann diese Ambiguität vollständig auflösen.

Aber die aktuelle Situation in der Sperren legitime Forscher blockieren während Kriminelle sie routinemässig umgehen ist die schlechteste aller Welten. Die Anbieter haben mit CVP und TAC die richtigen Ansätze entwickelt, und jetzt müssen sie skaliert, standardisiert und praxistauglich gemacht werden. Bald.

Für Unternehmen die Sicherheitstests in Auftrag geben ist das übrigens auch relevant: fragen Sie Ihren Sicherheitsdienstleister wie er mit KI-Tools arbeitet und welchen verifizierten Zugang er hat. Es macht einen spürbaren Unterschied ob ein Pentester mit den vollen Fähigkeiten eines KI-Modells arbeitet oder mit einer zensierten Version die bei jeder zweiten Anfrage verweigert.

Wir setzen KI-gestützte Tools in unseren Penetration Tests und Security Assessments ein, mit verifiziertem Zugang und klarer Governance. Was das konkret heisst und wie wir KI für die Sicherheit Ihrer Infrastruktur einsetzen zeigen wir Ihnen gern: Schreiben Sie uns.

Quellen: TechCrunch: AI guardrails impede offensive security researchers, Cymulate: Joining the Anthropic CVP, Help Net Security: OpenAI GPT-5.4-Cyber, Infosecurity Magazine: TRIM Jailbreak, Cato Networks: Frontier AI as Offensive Platform, Dark Reading: AI Jailbreaks for Offensive Attacks