Chain-of-Thought-Leak betrifft GPT-5.6, Claude Opus 4.8 und Gemini 3

Jeder Platform-Lead, der in diesem Quartal agentische Features auf Frontier-APIs ausliefert, hat jetzt eine konkrete Zahl für das Risikokomitee: 315.320 versteckte Reasoning-Blöcke, die aus öffentlichen Agenten-Transkripten dekodiert wurden und 182 hartcodierte Zugangsdaten enthielten, die in keiner sichtbaren Modellausgabe auftauchten. Das ist das Ergebnis eines gemeinsamen Teams des ELLIS Institute Tübingen, des Max-Planck-Instituts, MATS Research und Snyk, veröffentlicht auf ArXiv – und es landet direkt auf dem Schreibtisch jeder Engineering-Organisation, die anbieterseitige Verschlüsselung bisher als Compliance-Checkbox behandelt hat. Die Anbieter haben gepatcht. Die architektonische Annahme, die den Fehler verursacht hat, ist überall sonst noch immer im Produktionseinsatz.

Die Zahlen

Die Mechanik lohnt es, genau festzuhalten, bevor jemand in einem Budget-Meeting sie als akademischen Exploit abtut. Moderne Reasoning-Modelle (GPT-5.6, Claude Opus 4.8, Gemini 3) erzeugen einen versteckten Chain-of-Thought, bevor sie die sichtbare Antwort ausgeben. Anbieter wollen das nicht zeigen – aus IP-Gründen und weil der Rohdaten-Trace oft Sicherheitsüberlegungen enthält, die peinlich wären, wenn sie zitiert würden. Daher wird der Trace als verschlüsselter, base64-kodierter Envelope an den Client zurückgegeben, der ihn beim nächsten Aufruf zurücksendet, um den Multi-Turn-Kontext ohne serverseitigen State zu erhalten.

Wie CyberSecurityNews berichtete, wurden diese Envelopes mit einem globalen, anbieterweit gültigen Schlüssel authentifiziert. Keine Bindung an Benutzerkonto, Session-ID oder Modell-Tier. Das bedeutet: Ein Envelope, der von Claude Opus 4.8 erstellt wurde, konnte in Claude Haiku 4.5 eingespielt werden – und das kleinere Modell transkribierte den Klartext bereitwillig in eine Antwort, weil ihm die Anti-Distillations-Schutzmechanismen des Flagship-Tiers fehlen. Die Forscher bestätigten dasselbe Verhalten in OpenAIs GPT-5.6-Familie und Googles Gemini-3-Reihe. Drei Anbieter, ein architektonischer Fehler, unabhängig voneinander repliziert.

Die Validierungsmethodik verdient Respekt. Das Team verglich dekodierte Token-Längen mit den in Rechnung gestellten Thinking-Token-Zählungen. Das ist ein elegantes Stück Forensik, weil es beweist, dass die Extraktion verlustfrei ist – keine heuristische Rekonstruktion. Dann gingen sie auf groß angelegte Suche: 6.708 öffentliche Agenten-Transkripte, gescraped von GitHub und Hugging Face, 315.320 eingebettete Reasoning-Blöcke dekodiert, 367 PII-Artefakte wiederhergestellt, 182 hartcodierte Zugangsdaten darunter 62 API-Keys, 33 Passwörter und 30 persönliche E-Mail-Adressen.

Dieser Anteil verdient Aufmerksamkeit: Ungefähr ein Zugangsdaten-Leak pro 1.700 Reasoning-Blöcke in freier Wildbahn. Jedes Team, das einen agentischen Workload in Produktionsvolumen betreibt, hat diese Artefakte mit hoher Wahrscheinlichkeit emittiert. Und das entscheidende Detail aus dem Paper: Die meisten sensiblen Daten befanden sich ausschließlich im Reasoning-Trace, nie in der sichtbaren Assistentenantwort. Jede auf Output-Inspektion aufgebaute Log-Bereinigungspipeline hat sie vollständig übersehen. Nach der Offenlegung erkannten OpenAI, Anthropic und Google die Ergebnisse an und lieferten serverseitige Maßnahmen, die den ursprünglichen Proof-of-Concept auf aktuellen Builds unbrauchbar machten.

Was wirklich neu ist

Prompt Injection ist nichts Neues. Model-Distillation via API-Scraping ist nichts Neues. Was hier neu ist, ist die Kombination: ein kryptografischer Designfehler auf der Ebene der Provider-Infrastruktur, ausnutzbar mit einem Standard-API-Key, der die eigenen schwächeren Modelle des Anbieters in Entschlüsselungs-Orakel für den privaten State des Flaggschiff-Modells verwandelt. Das ist eine andere Bedrohungsklasse als „jemand hat einen cleveren Jailbreak-Prompt erstellt."

Drei Dinge sind in diesem Zyklus wirklich anders. Erstens braucht der Angreifer keinen privilegierten Zugang. Keine gestohlenen Zugangsdaten, keinen Insider, keinen Seitenkanal. Nur die Fähigkeit, für API-Calls zu bezahlen – das ist Grundvoraussetzung. Zweitens ist die Schwachstelle homogen über die drei dominierenden Labs hinweg. Es ist nicht so, dass OpenAI etwas ausliefert, das Anthropic im Review abgefangen hätte – es ist eine konvergente architektonische Entscheidung, was zeigt, dass die Annahme („unser Envelope, unser Schlüssel, unser Problem") branchenweite Überzeugung war. Drittens – und das ist der Punkt, der Sicherheitsarchitekten nachts wachhält – weist das Paper auf unsichtbare indirekte Prompt Injection als nachgelagerte Fähigkeit hin. Ein Angreifer kann bösartige Anweisungen in einem verschlüsselten Reasoning-Block platzieren, und Monitoring-Tools, die nur den sichtbaren Gesprächsverlauf prüfen, werden das Payload niemals sehen. Jedes agentische Guardrail-Produkt, das in den letzten achtzehn Monaten verkauft wurde, hat die falsche Oberfläche inspiziert.

Die von den Anbietern eingesetzte Lösung ist serverseitig – das ist der schnelle Weg – und sie machte den ursprünglichen Replay-Angriff unbrauchbar. Aber serverseitige Patches auf geschlossenen APIs sind per Definition undurchsichtig. Niemand außerhalb der drei Labs weiß, ob die Maßnahme korrekte kryptografische Bindung ist (Envelope signiert gegen ein Tupel aus Modell-ID, Session und Benutzeridentität) oder ein Filter, der spezifisch auf den PoC passt. Angesichts typischer Incident-Response-Zeiträume ist die Annahme des Ersteren optimistisch. Wer davon ausgeht, dass „die Anbieter es geregelt haben", vertraut im Wesentlichen einem Black-Box-Patch auf ein Black-Box-Protokoll. Die Anthropic-Dokumentation sowie die entsprechenden Google- und OpenAI-Referenzen legen das kryptografische Schema derzeit nicht in ausreichendem Detail offen, um den Fix clientseitig zu verifizieren.

Was für die KI-Entwicklung bereits eingepreist ist

Einiges davon hatte der Markt bereits einkalkuliert. Jeder, der Agenten entwickelt, wusste, dass Reasoning-Traces sensible Zwischenschritte enthalten, und reife Teams behandelten alles, was an ein Foundation-Modell gesendet wurde, bereits als potenziell vom Anbieter protokollierbar. Das Distillationsrisiko – dass Wettbewerber das Reasoning von Flaggschiff-Modellen durch Abfragen von Geschwistermodellen rekonstruieren könnten – war seit einem Jahr leises Tischgespräch. Wer Modell-IP als dauerhaften Wettbewerbsvorteil einpreiste, hatte ihn bereits abgezinst.

Was nicht eingepreist war: dass der eigene Verschlüsselungs-Envelope des Anbieters der Leck-Vektor sein würde. Das mentale Modell, mit dem die meisten Platform-Teams arbeiteten, war: „Der Transport ist verschlüsselt, der Envelope ist undurchsichtig, unsere Exposition endet an der API-Call-Grenze." Dieses Modell ist jetzt falsch. Die Angriffsfläche erstreckt sich auf jede Log-Datei, jede Debug-Aufzeichnung, jedes GitHub-Repo, in das ein Entwickler eine Session zur Reproduzierbarkeit eingefügt hat, jede Hugging Face Demo. Reasoning-Envelopes wurden als inerte binäre Blobs behandelt. Sie sind tatsächlich portable Ciphertext-Container mit einem global geteilten Schlüssel.

Der CFO jeder KI-affinen Organisation sollte den VP Engineering diese Woche fragen: Wie viel unserer Agenten-Log-Aufbewahrung, unsere Ausgaben für Observability-Pipelines von Drittanbietern und unsere DSAR-Tools (Data Subject Access Request) wurden unter der Annahme dimensioniert, dass der Reasoning-Trace undurchsichtig ist? Wenn die Antwort „das meiste davon" lautet, ist das Sanierungsbudget für die nächsten zwei Quartale gerade gewachsen – und der General Counsel muss das vor dem nächsten Datenschutz-Audit wissen, nicht danach.

Die Gegenmeinung

Die reflexartige Lesart ist, dass das ein Fünf-Alarm-Feuer ist und jeder Enterprise-Agenten-Deployment pausiert werden sollte. Dem würde ich widersprechen. Die Anbieter haben gepatcht, der PoC lässt sich nicht mehr reproduzieren, und die historische Exposition ist, obwohl real, durch die tatsächliche Population geteilter Transkripte begrenzt – die im Verhältnis zum gesamten API-Traffic klein ist. Die Zugangsdaten-Wiederherstellungsrate ist pro Transkript alarmierend, aber die Transkripte selbst sind eine selbstselektierte Stichprobe öffentlicher Freigaben.

Die schärfere Gegenmeinung weist in die andere Richtung: Dieser Vorfall wird den Wandel hin zu open-weight selbst gehosteten Reasoning-Modellen beschleunigen, nicht verlangsamen. Die Build-vs-Buy-Kalkulation hat sich gerade verändert. Wenn Frontier-Anbieter einen architektonischen Fehler dieser Art ausliefern und den Fix nur vage offenlegen können, verliert die „Buy"-Seite der Gleichung Punkte für Prüfbarkeit. Teams, die bereits mit gehosteten Llama-ähnlichen oder DeepSeek-ähnlichen Reasoning-Modellen auf Hugging Face-Infrastruktur liebäugeln, haben jetzt eine Compliance-Geschichte für das Board. Die drei Labs haben einen Patch-Zyklus gewonnen und in derselben Woche etwas Vendor-Lock-in verloren.

Die Stakeholder-Frage

Der Head of Platform eines Series-B-Fintechs oder eines lizenzierten iGaming-Betreibers, der Agenten-Workflows aufbaut, sollte seinen General Counsel diese Woche fragen: Wenn ein Regulierer unsere Agenten-Logs der letzten zwölf Monate anfordert und diese Logs verschlüsselte Reasoning-Envelopes enthalten, die ein Drittforscher jetzt dekodieren kann – verstoßen wir dann gegen unsere eigene Datenschutzerklärung? Die Antwort ist für jeden, der Nutzern gesagt hat, ihre Prompts blieben privat, wahrscheinlich Ja, denn der Reasoning-Trace ist vom Prompt abgeleitet und hat sich soeben als durch eine Partei dekodierbar erwiesen, die nie auf der Zugriffskontrollliste stand. Das ist ein Offenlegungsgespräch, kein Engineering-Gespräch – und es gehört auf die Agenda dieser Woche.

Wichtigste Erkenntnisse

• Der Patch ist nicht die Lösung. Serverseitige Maßnahmen von OpenAI, Anthropic und Google haben den spezifischen PoC unbrauchbar gemacht, aber das zugrundeliegende Vertrauensmodell (Client hält Ciphertext, Anbieter hält globalen Schlüssel) ist in der öffentlichen Dokumentation unverändert. Anbieterseitige Verschlüsselung sollte als nicht prüfbare Kontrolle behandelt werden.
• Die Log-Aufbewahrungsrichtlinie muss überarbeitet werden. Jede Pipeline, die rohe Agenten-Sitzungsdaten speichert – einschließlich der verschlüsselten Thinking-Blöcke – speichert jetzt potenziell dekodierbare sensible Inhalte. Signaturfelder vor der Archivierung bereinigen und prüfen, ob historische Logs gelöscht werden sollten.
• Guardrail-Anbieter haben die falsche Oberfläche inspiziert. Produkte, die nur den sichtbaren Gesprächsverlauf überwachen, übersehen Indirect-Prompt-Injection-Payloads in Reasoning-Envelopes. Beschaffungsteams sollten Anbieter direkt fragen, ob ihre Inspektion Thinking-Blöcke abdeckt.
• Der Arbeitsmarkt verschiebt sich hin zu kryptografisch versierten ML-Ingenieuren. Diese Art von Bug wird nicht von Prompt-Injection-Red-Teamern oder RLHF-Spezialisten entdeckt. Er erfordert Menschen, die Protokolldesigns lesen. Diese Fähigkeit ist rar und wird teurer werden.
• Selbst gehostete Reasoning-Modelle werden neu bewertet. Teams, die Open-Weight-Alternativen aus Leistungsgründen abgelehnt haben, haben jetzt ein Governance-Argument, die Evaluierung wieder aufzunehmen. Die nächste 90-Tage-Architekturüberprüfung sollte einen Punkt „Was würden wir auf unserer eigenen Infrastruktur tun?" enthalten.

Teams, die Frontier-Reasoning-APIs für den Produktionseinsatz in Agenten-Deployments evaluieren, sollten sich jetzt eine schärfere Frage stellen: nicht „welcher Anbieter hat die besten Benchmarks", sondern „welcher Anbieter wird genug seiner Envelope-Kryptografie veröffentlichen, damit unser Sicherheitsteam den Fix verifizieren kann, ohne sein Wort dafür nehmen zu müssen." Das Lab, das diese Frage zuerst beantwortet, gewinnt den nächsten Enterprise-Beschaffungszyklus. Wer das nicht tut, wettet darauf, dass seine Kunden weiterhin Patches vertrauen, die sie nicht prüfen können. Diese Wette hielt ein Jahrzehnt lang in der Cloud-Infrastruktur. Im Bereich KI wird sie nicht so lange halten.