Die Rechnung für Data Observability bei KI-Agenten wird fällig

Der Platform Lead, der im ersten Quartal einen RAG-gestützten Agenten genehmigt hat, steht jetzt im dritten Quartal vor einem Boardmeeting mit einem Support-Queue voller „Der Bot hat mir den falschen Preis genannt"-Tickets. Niemand hat das Modell geändert. Niemand hat die Prompts angefasst. Der Knowledge Store ist schlicht still verfault, und der Monitoring-Stack, der für Pipelines statt für Daten gebaut wurde, hat die ganze Zeit Grün gezeigt. Das ist die Architekturentscheidung, die jede Datenorganisation gerade neu verhandeln muss – und die Vendor-Pitches, die diesen Monat in den Postfächern landen, zielen direkt auf das Symptom statt auf die Ursache.

Was passiert ist

Im Juli kollidierten zwei Entwicklungen. Erstens, wie VentureBeat in einem Beitrag von Junaid Effendi vom 22. Juli berichtete, stoßen Enterprise-KI-Teams auf ein vorhersehbares Fehlermuster: Knowledge Stores von Chatbots veralten innerhalb von drei Monaten nach der Bereitstellung, und im beschriebenen Szenario erhalten etwa ein Drittel der Nutzeranfragen mit Überzeugung falsche Antworten. Kein Modell-Drift, keine Prompt-Regression. Die Welt entwickelt sich einfach weiter, während der Retrieval-Layer stehen bleibt.

Zweitens haben die Hyperscaler aufgemerkt. AWS ist in das eingestiegen, was der Beitrag das „Context Layer"-Rennen nennt, mit einem Knowledge Graph, der aus der Nutzung von Agenten lernt. Snowflake hat zwei neue Produkte geliefert, Horizon Context und Cortex Sense, die explizit darauf abzielen, dass Agenten falsche Antworten mit Überzeugung liefern, weil die zugrundeliegende Business-Logik ungeregelt bleibt. Beide Anbieter preisen dies als eine neue SKU, nicht als ein Feature, das in das bereits bezahlte Angebot gebündelt ist.

Effendis Argument, das auf seiner eigenen Erfahrung beim Aufbau von Observability bei Socure sowie auf öffentlichem Engineering von Uber und Netflix basiert, lautet, dass der Context Layer eine Ebene über dem eigentlichen Problem liegt. Ubers Unified Data Quality Platform, die älter ist als Retrieval-Augmented Generation, unterstützt mehr als 2.000 kritische Datensätze und erkennt rund 90 % der Datenqualitätsvorfälle, bevor sie nachgelagerte Verbraucher treffen. Netflix baute ein unternehmensweites Lineage-System, das Abhängigkeiten über Kafka-Topics, ML-Modelle und Experimentieroberflächen hinweg abbildet – nicht nur Warehouse-Tabellen. Beide wurden für Menschen gebaut und wurden wertvoller, sobald LLM-Anwendungen auftauchten. Die unbequeme Schlussfolgerung: Ein Knowledge Graph ist nur so vertrauenswürdig wie das, was ihn speist – und die meisten Unternehmen haben die Ebene, die ihn speist, nicht finanziert.

Technische Anatomie

Das Fehlermuster ist auf die schlimmst mögliche Art elegant. Eine Standard-Retrieval-Pipeline bewertet Relevanz oder Verfügbarkeit. Sie bewertet keine Korrektheit. Ein veraltetes Preisdokument, ein Schema, bei dem ein vorgelagertes Team stillschweigend ein Feld umbenannt hat, ein Datensatz mit einem fehlenden Attribut: All das besteht jeden Check, für den die Pipeline gebaut wurde. Das Modell antwortet dann mit vollem Vertrauen, weil der abgerufene Kontext autoritativ wirkt. Dashboards bleiben grün, weil Dashboards die Job-Fertigstellung überwachen, nicht die Wahrheit.

Effendi schildert einen Pre-KI-Fintech-Vorfall, der sich perfekt auf heutige RAG-Fehler übertragen lässt: Ein vorgelagertes System änderte ein Feld, ohne nachgelagerte Nutzer zu benachrichtigen, die Pipeline lief sauber, und die fehlerhaften Werte propagierten in Dashboards, bis ein Kunde es bemerkte. Das Ausbleiben eines Fehlers ist nicht die Anwesenheit von Korrektheit. Dieser Satz sollte an der Wand jedes Datenplattform-Teams hängen, das dieses Quartal Agenten-Workflows ausliefert.

Das Observability-Modell, das er beschreibt, hat vier Dimensionen, gegen die es sich zu budgetieren lohnt. Korrektheit: Entspricht jeder Datensatz der Form und den Regeln, die er einhalten sollte – mit Tools wie Great Expectations und Soda für die Validierung auf Zeilen- und Spaltenebene bei der Ingestion. Bei Socure, wo Kundendaten in variablen und gelegentlich fehlerhaften Formaten eintrafen, übernahm Great Expectations die Schema- und Bereichsvalidierung, und ein Write-Audit-Publish-Muster stagte Daten, bevor sie nachgelagert weitergegeben wurden. Aktualität: Zeit seit der letzten erfolgreichen Aktualisierung pro Quelle, mit einem SLA pro Quelle statt einem einheitlichen Schwellenwert – denn ein Betrugssignal und eine Marketing-Taxonomie benötigen nicht dieselbe Aktualisierungsrate. Konsistenz: Regelmäßige Querprüfungen zwischen nachgelagerten Zielen, die Abweichungsraten über einem Schwellenwert markieren, weil Inkonsistenz still scheitert, bis zwei Systeme, die von derselben Quelle gespeist werden, sich widersprechen. Lineage: Die Fähigkeit, jede Ausgabe bis zu ihrer Quelle und jede Transformation auf dem Weg dorthin zurückzuverfolgen – genau das, wofür Netflix gebaut hat.

Nichts davon ist exotisch. Das meiste lässt sich sauber auf Fähigkeiten abbilden, die bereits in einem modernen Warehouse-Stack vorhanden sind. Ein Team auf Snowflake kann einen Großteil der Korrektheits- und Aktualitätsebene mit Primitiven verdrahten, die in der Snowflake-Dokumentation beschrieben sind, und dbt-native Tests decken einen echten Teil der Validierungsoberfläche über dbt Tests ab. Die Lücke ist organisatorischer, nicht technologischer Natur.

Wer sich verbrennt

Drei Kategorien sollten nervös sein. Erstens jede regulierte Branche, die kundenorientierte Agenten auf Basis von RAG ausliefert: Fintech-Onboarding-Assistenten, iGaming-Bots für verantwortungsvolles Spielen, Triage in Gesundheit und Versicherung. In diesen Branchen ist eine selbstsicher falsche Antwort kein Support-Ticket – es ist ein regulatorischer Befund. Der General Counsel, der die Offenlegungssprache des Agenten abgesegnet hat, hat keinen Knowledge Store abgesegnet, der innerhalb eines Quartals messbar verfällt.

Zweitens Series-B- und Series-C-Plattform-Teams, die eine Context-Layer-SKU als Abkürzung gekauft haben. Horizon Context, Cortex Sense und der AWS Knowledge Graph sind legitime Produkte, aber sie lösen das Problem der Governance von Business-Logik, nicht das Problem ob die zugrundeliegenden Daten noch wahr sind. Teams, die die Observability-Ebene überspringen und die Context-Ebene kaufen, werden im vierten Monat feststellen, dass sie Premium-Vendor-Preise für ein System zahlen, dessen Inputs niemand validiert. Die Einheitsökonomie wird schnell hässlich: Der Verbrauch der Context-Ebene skaliert mit der Agentennutzung, sodass ein defekter Agent, der überzeugt Unsinn produziert, Tokens in derselben Rate verbrennt wie ein funktionierender.

Drittens – und das ist der am wenigsten diskutierte Punkt – Einstellungsverantwortliche. Der Markt für Ingenieure, die interne Observability-Plattformen im Uber- oder Netflix-Stil bauen können, ist dünn, weil diese Rollen ein Jahrzehnt lang als Hausmeisterdienste statt als strategisch behandelt wurden. Jetzt braucht jede KI-orientierte Organisation eine solche Person – und zwar eine, die Lineage über Kafka, Feature Stores und Vektorindizes hinweg artikulieren kann, nicht nur über Warehouse-Tabellen. Für die zweite Hälfte 2026 ist mit einer spürbaren Gehaltserhöhung für erfahrene Data-Platform-Engineers mit Observability-Erfahrung zu rechnen. Teams, die das mit einer Junior-Stelle und einer Great-Expectations-Installation lösen wollen, werden enttäuschen.

Die VP Engineering eines mittelgroßen Fintech-Unternehmens sollte ihrer Head of Platform diese Woche eine sehr konkrete Frage stellen: Welcher Anteil der Datensätze, die unsere Produktionsagenten speisen, hat abfragbare Lineage – und welcher Anteil lebt nur im Kopf von jemandem? Wenn die ehrliche Antwort unter der Hälfte liegt, muss sich die Roadmap für Q4 ändern, bevor der nächste Agent ausgeliefert wird – nicht danach.

Spielplan für Daten-Teams

Beginnen Sie mit Abdeckung, nicht mit Tooling. Erfassen Sie die Datensätze, die jeden Produktionsagenten oder jede LLM-Oberfläche speisen, und bewerten Sie jeden anhand der vier Dimensionen. Korrektheit zuerst, weil sie am günstigsten zu instrumentieren und am häufigsten genutzt wird: Great Expectations oder Soda bei der Ingestion, ein Write-Audit-Publish-Staging-Muster bevor irgendetwas nachgelagert weitergegeben wird, und Validierungsprozentsätze, die pro Run statt pro Vorfall verfolgt werden.

Als nächstes die Aktualität – und widerstehen Sie der Versuchung, einen einheitlichen SLA festzulegen. Quell-spezifische Schwellenwerte erzwingen das Gespräch darüber, welche Daten tatsächlich aktuell sein müssen, was die Business-Logik sichtbar macht, die Anbieter jetzt als Context Layer zurückverkaufen wollen. Konsistenzprüfungen sollten geplante zielübergreifende Vergleiche mit einer Abweichungsraten-Warnung sein, kein einmaliges Audit. Lineage ist der aufwändigste Aufbau und bietet den höchsten ROI, sobald sich Agenten-Workflows multiplizieren – beginnen Sie daher jetzt mit der Planung, auch wenn die Umsetzung ein zwei-Quartale-Projekt ist.

Zum Thema Build versus Buy: Die Context-Layer-Produkte sind es wert, evaluiert zu werden, aber nicht als Ersatz für die darunter liegende Observability-Ebene. Behandeln Sie sie als Governance auf einer Datenbasis, der Sie bereits vertrauen – und wenn Sie der Basis noch nicht vertrauen, priorisieren Sie die Ausgaben entsprechend. Das CFO-Gespräch ist einfacher als es aussieht: Observability-Ausgaben sind Fixkosten, die variable regulatorische und reputationsbezogene Kosten verhindern. Context-Layer-Ausgaben sind variable Kosten, die mit der Nutzung eines Systems skalieren, dessen Korrektheit Sie noch nicht garantiert haben.

Wichtigste Erkenntnisse

• Knowledge Stores von KI-Agenten verfallen im beschriebenen Szenario innerhalb von drei Monaten und liefern bei etwa einem Drittel der Anfragen selbstsicher falsche Antworten – ohne Modell- oder Prompt-Änderungen.
• AWS's Knowledge Graph sowie Snowflakes Horizon Context und Cortex Sense adressieren die Governance von Business-Logik, liegen aber eine Ebene über der eigentlichen Data-Observability-Lücke.
• Ubers Unified Data Quality Platform deckt über 2.000 kritische Datensätze ab und erkennt rund 90 % der Vorfälle, bevor sie Verbraucher treffen – und existiert bereits vor RAG, was der Kernpunkt ist.
• Budgetieren Sie gegen vier messbare Dimensionen: Korrektheit, Aktualität mit quellenspezifischen SLAs, Konsistenz durch zielübergreifende Querprüfungen und abfragbare Lineage.
• Teams, die dieses Quartal Context-Layer-SKUs evaluieren, sollten zuerst fragen, welcher Anteil ihrer agentenspeisenden Datensätze Observability-Abdeckung hat – und die Vendor-Entscheidung gegen diese Zahl treffen, nicht gegen die Demo.