704 Geheimnisse aus „verschlüsselten" LLM-Reasoning-Blöcken extrahiert

Forscher haben 704 verschiedene Datenschutz-Artefakte aus verschlüsselten Reasoning-Objekten extrahiert, die von den APIs von OpenAI, Anthropic und Google zurückgegeben wurden – darunter 62 API-Keys, 33 Passwörter, 24 Access-Tokens und 7 Private Keys. Sie haben dabei weder die Verschlüsselung geknackt noch einen Schlüssel gestohlen. Stattdessen übergaben sie die undurchsichtigen Blöcke an ein schwächeres Schwestermodell derselben Anbieterfamilie und ließen es transkribieren, was sein größeres Gegenstück gedacht hatte.

Die Extraktionsrate ist bedeutsamer als die bloße Anzahl. Das Team dekodierte 315.320 Thinking-Blöcke aus 6.708 öffentlichen Agent-Trajektorien und förderte dabei 704 Artefakte zutage – grob eines pro 448 Reasoning-Blöcken, nach Ausschluss von Benchmark-Rauschen. Das ist keine Zahl für einen Massenangriff. Es ist eine strukturelle Leckagenrate, die tief in der Art verankert ist, wie drei große Anbieter „versteckte" Chain-of-Thought über zustandslose Aufrufe ausliefern.

Die Zahlen

Die Kernzahl, wie The Hacker News berichtete, lautet: 64 der 704 Nicht-Benchmark-Artefakte tauchten ausschließlich im versteckten Reasoning auf und nirgendwo im sichtbaren Trace. Das entspricht rund 9 Prozent der gefundenen Secrets, die ein Entwickler beim Bereinigen des sichtbaren Gesprächsverlaufs völlig übersehen hätte. Jedes Team, das seine veröffentlichten Agent-Logs durch Durchsuchen der Assistenten-Nachrichten bereinigt hat, hat die Reasoning-Objekte nicht bereinigt – und genau diese enthielten Material, das im sichtbaren Transkript nie auftauchte.

Die 704 Artefakte aufgeschlüsselt nach Klassen: 62 API-Keys, 33 Passwörter, 24 Access-Tokens, 7 Private Keys. Das sind 126 Einträge aus 704, die direkt das Format von Anmeldeinformationen haben. Die verbleibenden ~578 Artefakte gelten den Forschern als datenschutzrelevant – im Paper nicht einzeln aufgeführt, aber vermutlich bestehend aus personenbezogenen Daten, internen Kennungen und geschäftssensiblen Inhalten. Für ein Infrastrukturpublikum ist das Credential-Subset das Interessante, weil es sich einem konkreten Schadensradius zuordnen lässt, nicht einem theoretischen Schaden.

Der Datensatz verdient eine Anmerkung: 6.708 öffentliche Agent-Trajektorien sind ein eher kleines Sample im Verhältnis zum Gesamtvolumen des Agent-Traffics in GitHub-Repos, LangSmith-Exporten, HuggingFace-Datensätzen und Blog-Post-Gists. Wenn sich die Extraktionsrate bestätigt, liefert ein vollständiger Scan öffentlicher Agent-Artefakte wahrscheinlich fünf- bis sechsstellige Credential-Zahlen. Die Quelle gibt nicht an, aus welchen öffentlichen Repositories die 6.708 Trajektorien stammen – was relevant ist, weil es die Verallgemeinbarkeit der Leckagenrate begrenzt. Wenn das untersuchte Korpus eher auf Entwickler-Demos und Tutorials ausgerichtet ist, lecken echte Produktionstraces mit großer Wahrscheinlichkeit noch mehr, nicht weniger.

Der Decoder-Stack ist technisch interessant. Das Paper nennt Claude Haiku 4.5 als Fuzzy-Decoder für Claude-Traces, GPT-5.6 Luna für GPT-Traces und Gemini Robotics ER-1.6 für Gemini-Traces. In jedem Fall wurde das schwächere oder günstigere Familienmitglied verwendet, um Reasoning zu transkribieren, das von einem stärkeren Geschwistermodell erzeugt wurde. Das kehrt die übliche Destillationsrichtung um und ist der erste gut dokumentierte Fall, den ich kenne, bei dem ein kleines Modell als adversarielles Orakel gegen Ausgaben aus seiner eigenen Familie eingesetzt wird.

Wenn die Mitigationsmaßnahmen greifen, sollte die Reproduzierbarkeitsaussage gültig bleiben: Kein unabhängiges Team veröffentlicht eine funktionierende Extraktion gegen das aktuelle API-Verhalten vor Ende 2026. Das ist die falsifizierbare Vorhersage.

Was wirklich neu ist

Matthew Green, der Kryptograph der Johns Hopkins University, zeigte im Mai, dass verschlüsselte Reasoning-Blöcke sitzungs- und kontoübergreifend wiedereingespielt werden können. Er meldete das über die Bug-Bounty-Programme. OpenAI bezeichnete seinen Bericht als nicht reproduzierbar. Anthropic teilte ihm mit, es sehe keine Sicherheitsimplikationen im Replay- oder Seitenkanal-Verhalten. Green stoppte kurz vor einer zuverlässigen Secret-Extraktionstechnik, und die Anbieter schlossen die Tickets.

Die neue Arbeit verwandelt das Replay-Verhalten in eine Extraktionspipeline – das ist der qualitative Sprung. Replay allein ist eine Kuriosität. Replay plus ein same-family Fuzzy-Decoder, der den versteckten Inhalt zuverlässig transkribiert, ist ein Datenexfiltrations-Primitiv. Und es eröffnet drei Angriffsflächen, die die frühere Arbeit nicht erfasste: Destillation proprietärer Reasoning-Traces (Wettbewerbsintelligenz gegen Frontier-Labs), Cross-User-Datenschutzextraktion aus veröffentlichten Agent-Logs und – am besorgniserregendsten für alle, die Agent-Stacks aufbauen – versteckte Prompt-Injection.

Der Proof of Concept zur Prompt-Injection verdient einen eigenen Absatz. Das Team erstellte einen undurchsichtigen Reasoning-Block mit einer bösartigen Anweisung, spielte ihn in eine unabhängige Aufgabe ein und brachte das empfangende Modell dazu, eine angreifer-gesteuerte Upload-Aktion hinzuzufügen. Die injizierte Anweisung erschien nie im sichtbaren Text. Jede Prompt-Injection-Abwehr, die auf der lesbaren Konversation operiert – und das ist im Grunde jede im Produktivbetrieb heute – sieht nichts. Dies ist eine neue Angriffskategorie gegen Agent-Frameworks, die Reasoning-Artefakte zwischen Schritten weitergeben.

Die andere Neuheit ist die Asymmetrie bei der Offenlegung. Die Forscher benachrichtigten OpenAI, Anthropic, Google, Microsoft und Hugging Face. Die demonstrierten Angriffe hörten auf zu funktionieren. Aber keine öffentliche Stellungnahme von einem der drei Anbieter ist aufgetaucht. Anthropics Dokumentation besagt nun, dass Thinking-Blöcke an das Modell gebunden sind, das sie erzeugt hat, und beim Wechsel von Modellen entfernt werden sollten. OpenAI weist Entwickler weiterhin an, verschlüsselte Reasoning-Items bei der manuellen Verwaltung des zustandslosen Verlaufs zu replaying. Die Dokumentation hat sich verändert. Das Changelog nannte nicht den Grund. Diese Lücke – zwischen Mitigation und Offenlegung – macht die aktuelle Situation von außen schwer prüfbar.

Was für die KI-Entwicklung bereits eingepreist war

Einiges davon hatte die Community erwartet. Dass undurchsichtige Reasoning-Blöcke irgendwann rückentwickelt werden würden, war eine Frage des Wann, nicht des Ob – sobald Anbieter sie als wiederspielbare API-Objekte auslieferten. Wer das JWT-Ökosystem beobachtet hat, weiß, was mit portablen, in sich geschlossenen Tokens passiert, die von anonymen Verifizierern akzeptiert werden: Sie lecken, werden wiedereingespielt und missbraucht. Encrypted-Reasoning-as-a-Cookie ist architektonisch ähnlich, und der Fehlerfall war vorhersehbar.

Was nicht eingepreist war: dass der Decoder ein schwächeres Modell derselben Familie wäre, das normal über die öffentliche API angesprochen wird, und dass die Extraktion ohne jeden kryptografischen Angriff auf den Chiffretext funktioniert. Das Paper ist eindeutig: Die Verschlüsselung selbst wurde nicht geknackt, und der Angriff erforderte keinen Verschlüsselungsschlüssel. Er beruhte darauf, dass der Anbieter intakte undurchsichtige Blöcke akzeptierte und sie in den Kontext eines kompatiblen Modells verarbeitete. Das ist ein Design-Fehler, kein Implementierungsfehler, und er entspricht einer viel breiteren Klasse von Systemen.

Ebenfalls nicht eingepreist: die Tatsache, dass Reasoning-Objekte Material enthalten, das im sichtbaren Trace nie auftaucht. Die Statistik von 64 von 704 ist jene, die das Denken von Plattform-Teams über Log-Sanitisierung neu kalibrieren sollte. Wenn Ihre Compliance-Pipeline Assistenten-Nachrichten redigiert, aber Reasoning-Blöcke unverändert beibehält, ist die Pipeline defekt. Für alle im Fintech- oder iGaming-Bereich, die LLM-gesteuerte Support- oder Betrugserkennungs-Agenten einsetzen, ist das jetzt ein konkreter Audit-Punkt. Nicht hypothetisch.

Gegenteilige Betrachtung

Die gängige Lesart ist, dass dies ein ernstes anbieterseitiges Problem ist, grob gepatcht, und Entwickler sollten ihre öffentlichen Logs bereinigen. Ich würde argumentieren, dass diese Einordnung einen Teil unterschätzt und einen anderen überschätzt.

Überschätzt: Der Cross-User-Extraktionsangriff ist begrenzt. Er erfordert einen verschlüsselten Reasoning-Block, den jemand anderes bereits veröffentlicht hat, plus API-Zugang zu einem kompatiblen Modell desselben Anbieters. Das ist kein willkürlicher Lesezugang zu fremden Chats. Die Exposition trifft Entwickler, die rohe Agent-Logs mit intakten Reasoning-Objekten veröffentlicht haben – eine spezifische und identifizierbare Gruppe. Berichterstattung, die nahelegt, jeder API-Nutzer sei gefährdet, ist falsch.

Unterschätzt: Das Primitiv der unsichtbaren Prompt-Injection. Dieses hängt nicht von veröffentlichten Logs ab. Es hängt davon ab, dass Reasoning-Blöcke in jeder Pipeline zwischen Komponenten fließen – was im Wesentlichen jedes ernstzunehmende Agent-Framework, jeden MCP-basierten Tool-Stack oder Multi-Step-Orchestrator beschreibt, der im letzten Jahr entwickelt wurde. Wenn Reasoning-Objekte Anweisungen enthalten können, die bei der Einspielung in unabhängige Aufgaben überleben, liegen die MCP-artigen Architekturen, die davon ausgehen, dass undurchsichtige Provider-Blobs inert sind, mit dieser Annahme falsch. Die Mitigation „Thinking-Blöcke beim Modellwechsel entfernen" deckt nicht den Fall ab, in dem ein Angreifer einen vergifteten Block in die eigene Pipeline einschleust. Die Quelle dokumentiert nicht, ob aktuelle Mitigationen die Injection-Variante oder nur die Extraktionsvariante blockieren – das ist die Frage, die tatsächlich darüber entscheidet, ob Agent-Entwickler heute Nacht ruhig schlafen können.

Wichtigste Erkenntnisse

• Die Leckagenrate ist strukturell, nicht zufällig: 704 Datenschutz-Artefakte aus 315.320 dekodierten Thinking-Blöcken bedeuten, dass verschlüsselte Reasoning-Objekte in industriellem Maßstab geleckt haben – und 9 Prozent der gefundenen Secrets existierten nur im versteckten Reasoning, unsichtbar für jedes Log-Sanitisierungstool, das auf sichtbarem Text operiert.
• Keine Kryptografie wurde gebrochen: Der Angriff funktionierte, indem intakte undurchsichtige Blöcke an schwächere Modelle derselben Familie übergeben wurden (Haiku 4.5, GPT-5.6 Luna, Gemini Robotics ER-1.6), die das Reasoning ihrer größeren Geschwister bereitwillig transkribierten. Das ist ein Design-Versagen durch das Vertrauen in portable undurchsichtige Tokens.
• Anbieterschweigeн ist die wichtigste ungelöste Variable: Mitigationen sollen laut Stand August 2026 funktionieren, aber keine öffentliche Bestätigung von OpenAI, Anthropic oder Google liegt vor. Der Reproduzierbarkeitsbefund stützt sich auf die Forscher, nicht auf die Bestätigung der Anbieter – und die Quelle beantwortet nicht, ob bereits veröffentlichte Reasoning-Blöcke weiterhin dekodierbar sind, sondern nur, ob neue Angriffe noch gelingen.
• Die Prompt-Injection-Variante ist die, die man im Auge behalten muss: Eine bösartige Anweisung in einem undurchsichtigen Reasoning-Block zu verstecken, der später eine angreifer-gesteuerte Aktion in einer unabhängigen Aufgabe auslöst, umgeht jede Abwehr, die auf sichtbarer Konversation operiert. Agent-Framework-Betreiber sollten davon ausgehen, dass Reasoning-Artefakte aus externen Quellen angreiferkontrolliert sind.
• Konkrete Maßnahme für Plattform-Teams: Reasoning-Blöcke aus jedem geteilten Trace entfernen, rohe API-Transkripte auch nach der Bereinigung sichtbaren Textes als credential-tragend behandeln und jede Agent-Pipeline auditieren, die Reasoning-Objekte des Anbieters zwischen Komponenten speichert oder weiterleitet.