Was ist Data Lineage?

Data Lineage ist die durchgängige Aufzeichnung, wie Daten sich bewegen, von den Quellsystemen über die Transformationen bis zu Berichten und KI-Modellen. Sie beantwortet Analysten die Frage „Woher kommt diese Zahl?“ und Compliance-Verantwortlichen „Zeig mir jedes System, das diese Daten verarbeitet hat“.

Da KI-Systeme immer mehr Unternehmensdaten verarbeiten und Aufsichtsbehörden mehr Nachvollziehbarkeit über die Datenverarbeitung verlangen, ist Data Lineage zu unverzichtbarer Infrastruktur für jede Organisation geworden, die Data Governance ernst nimmt.

Was ist Data Lineage?

Data Lineage dokumentiert den Lebenszyklus der Daten von ihrer Entstehung oder Aufnahme über jede Transformation und Bewegung bis zu ihrer Nutzung in Berichten, KI-Modellen und nachgelagerten Systemen. Eine vollständige Aufzeichnung zeigt, aus welchen Quellsystemen ein Datensatz kommt, welche Transformationen angewendet wurden, welche Teams und Werkzeuge ihn berührt haben und wo seine Ergebnisse verwendet werden.

Data Lineage existiert auf drei Granularitätsstufen. Auf Systemebene zeigt sie, dass Daten von System A über System B nach System C fließen. Auf Datensatzebene zeigt sie, welche Tabellen und Dateien beteiligt sind. Auf Spaltenebene, der feinsten Stufe, die Prüfungen und Folgenabschätzungen meist brauchen, zeigt sie genau, welche Quellspalte zu welcher Ergebnisspalte beigetragen hat und wie sie dazwischen transformiert wurde.

Warum Data Lineage wichtig ist

Data Lineage adressiert drei Probleme, die jede Datenorganisation hat. Mit guter Data Lineage ist jedes davon lösbar, ohne sie nahezu unlösbar.

Analyseergebnissen vertrauen

Wenn eine Führungskraft fragt „Warum ist der Umsatz in diesem Quartal um 8 % gefallen?“, muss das Datenteam zuerst prüfen, ob die Zahl selbst stimmt. Data Lineage macht diese Prüfung möglich: Sie folgen der Lineage von der Kennzahl im Dashboard über das Data Warehouse zurück zum Quellsystem und prüfen jeden Transformationsschritt. Ohne Data Lineage verlangt diese Untersuchung manuelle Code-Reviews, Gespräche mit mehreren Entwicklern und Tage an Aufwand, oft länger als die Analyse selbst.

Folgenabschätzung für Datenänderungen

Wenn ein Quellsystem sich ändert, eine Spalte umbenannt wird, eine Felddefinition sich verschiebt oder ein API-Endpunkt angepasst wird, müssen Data Engineers wissen, welche nachgelagerten Systeme und Berichte brechen. Ohne Data Lineage ist diese Folgenabschätzung Ratearbeit. Mit ihr ist die Antwort sofort da: Der Lineage-Graph zeigt die erfassten nachgelagerten Abhängigkeiten, sodass Entwickler Änderungen planen und ihre Folgen kommunizieren können, bevor sie eintreten.

Compliance und regulatorische Anforderungen

Art. 30 DSGVO verlangt von Verantwortlichen ein Verzeichnis von Verarbeitungstätigkeiten, unter anderem mit den Zwecken der Verarbeitung, den Kategorien personenbezogener Daten und den Empfängern, und Data Lineage hilft, dieses Verzeichnis aktuell zu halten, wenn sich Systeme ändern. BCBS 239 erwartet von Banken genaue Risikodaten, die weitgehend automatisiert aggregiert werden, und der Leitfaden der EZB zur Risikodatenaggregation von 2024 verlangt eine vollständige und aktuelle Data Lineage auf Ebene der Datenattribute. SOX Section 404 verlangt von der Unternehmensleitung eine Beurteilung der internen Kontrollen über die Finanzberichterstattung, und Data Lineage zeigt, wie berichtete Zahlen entstanden sind. Alles läuft auf denselben Nachweis hinaus: woher Daten kamen und wie sie verarbeitet wurden.

Arten von Data Lineage

Data Lineage lässt sich in mehreren Formen erfassen und darstellen, jede für andere Zielgruppen und Anwendungsfälle.

Technische Lineage

Technische Lineage erfasst den physischen Datenfluss: welche Tabellen, Spalten, Dateien und Systeme beteiligt sind und welche Operationen (Joins, Aggregationen, Filter, Transformationen) auf jeder Stufe angewendet werden. Sie wird üblicherweise automatisch aus SQL-Code, ETL-Pipeline-Definitionen, Orchestrierungswerkzeugen und API-Spezifikationen ausgelesen. Technische Lineage liefert die detaillierte, maschinenlesbare Aufzeichnung, die Compliance- und Entwicklungsteams brauchen.

Fachliche Lineage

Fachliche Lineage übersetzt die technische in Begriffe, die auch nichttechnische Beteiligte verstehen. Statt „Spalte rev_q3 in Tabelle fin_summary wird abgeleitet aus SUM(amount) WHERE type='revenue' in transactions“ zeigt fachliche Lineage „Der Q3-Umsatz wird aus allen Transaktionsbeträgen berechnet, die im Quell-ERP-System als Umsatz klassifiziert sind“. Fachliche Lineage macht Nachvollziehbarkeit für Analysten, Prüfer und Führungskräfte zugänglich, ohne dass sie SQL lesen müssen.

Data Lineage auf Spaltenebene

Data Lineage auf Spaltenebene ist die feinste Form und verfolgt die Transformation einzelner Felder von der Quelle bis zum Ziel. Sie entsteht entweder durch das Parsen von SQL- und Transformationscode oder durch Engines, die Lese- und Schreibzugriffe auf Feldebene zur Laufzeit aufzeichnen, wie es Unity Catalog und Snowflake tun. Wenn ein Prüfer fragt „Aus welchem Quellfeld stammt diese berechnete Kennzahl?“, gibt nur die Lineage auf Spaltenebene eine belastbare Antwort.

Operative Lineage

Operative Lineage erfasst das Laufzeitverhalten: wann Pipeline-Läufe stattfanden, wie lange sie dauerten, ob sie erfolgreich waren und wie viele Daten verarbeitet wurden. Sie erweitert das Bild von „was war der Plan für diese Datenbewegung“ zu „was ist passiert, als die Pipeline lief“. Werkzeuge für Data Observability erzeugen diese Art von Lineage oft als Nebenprodukt der Pipeline-Überwachung. OpenLineage, ein offener Standard für Lineage-Metadaten, definiert ein gemeinsames Format für diese Laufereignisse, sodass Scheduler und Verarbeitungs-Engines Lineage an kompatible Backends melden können.

Wie Data Lineage in der Praxis funktioniert

Moderne Lineage-Plattformen verbinden sich mit den Werkzeugen, die Daten verarbeiten, also Datenbanken, ETL-Werkzeugen, Orchestrierungsplattformen, BI-Werkzeugen und Notebook-Umgebungen, und parsen die dort enthaltene Transformationslogik automatisch. Statt von Entwicklern zu verlangen, jede Transformation manuell zu dokumentieren, lesen Lineage-Plattformen diese Information aus vorhandenem SQL, aus Pipeline-Definitionen und aus Code aus.

Einmal ausgelesen, wird Data Lineage als gerichteter azyklischer Graph (DAG) dargestellt: Knoten sind Datenbestände (Tabellen, Spalten, Dateien, Berichte), Kanten sind die Transformationen und Bewegungen, die sie verbinden. Nutzer navigieren diesen Graphen vorwärts („Was hängt von diesem Objekt ab?“) und rückwärts („Woher kommen diese Daten?“) über eine visuelle Oberfläche.

Viele Datenplattformen erfassen Data Lineage inzwischen selbst. Unity Catalog erfasst Lineage auf Tabellen- und Spaltenebene für Abfragen, die auf Databricks laufen, und stellt sie in den Systemtabellen system.access.table_lineage und system.access.column_lineage bereit. Snowflake erfasst Lineage auf Spaltenebene in der View ACCESS_HISTORY und zeigt Lineage in Snowsight, beides ab der Enterprise Edition. Microsoft Purview und der Knowledge Catalog von Google Cloud sammeln Lineage aus den Diensten, die sie anbinden, und die Lineage-Ansicht von Power BI zeigt, wie Datenquellen, semantische Modelle, Berichte und Dashboards eines Arbeitsbereichs zusammenhängen. Jeder dieser Graphen bildet die Systeme, die er abdeckt, detailliert ab. Ein Datenfluss über mehrere Plattformen braucht diese Graphen in einer gemeinsamen Ansicht, und das ist die Aufgabe eines Katalogs, der die Lineage aus jeder von ihnen ausliest.

Anwendungsfälle

Der Wert von Data Lineage reicht über alle Unternehmensfunktionen, jede mit konkreten Szenarien, die die Investition rechtfertigen.

Data Engineering: Folgenabschätzung

Wenn Data Engineers ein Datenbankschema ändern, eine Tabelle abschalten oder eine Pipeline migrieren, liefert Data Lineage die Abhängigkeitskarte, um die vollen Folgen zu verstehen. Ein Migrationsprojekt, das Wochen manueller Recherche gekostet hätte, lässt sich weit schneller abschätzen und planen.

Datenanalyse: Ursachenforschung

Wenn ein Bericht unerwartete Zahlen zeigt, gibt Data Lineage Analysten die Möglichkeit, die Kennzahl zur Quelle zurückzuverfolgen und zu erkennen, wo die Abweichung entstanden ist. Diese Fähigkeit zur Datendetektivarbeit ist eine der praktisch wertvollsten Anwendungen von Data Lineage für Fachbereiche.

Compliance: Audit-Trails

Finanzinstitute weisen mit Data Lineage ihre Compliance mit BCBS 239 nach. Organisationen im Gesundheitswesen dokumentieren HIPAA-konforme Datenverarbeitung. Datenschutzprogramme beantworten Betroffenenanfragen, indem sie zeigen, welche Systeme personenbezogene Daten enthalten und wie sie verarbeitet wurden. In jedem Fall ersetzt Data Lineage manuelle Recherche durch systematische, automatisierte Belege.

KI-Governance: Modelldokumentation

KI-Governance verlangt zu dokumentieren, nicht nur was Modelle tun, sondern auf welchen Daten sie gebaut wurden. Data Lineage verbindet trainierte Modelle mit den Datensätzen, Transformationen und Quellsystemen, die zu den Trainingsdaten beigetragen haben. Für Hochrisiko-KI-Systeme verlangt Artikel 10 der KI-Verordnung (EU AI Act), dass die Data Governance für Trainingsdaten die Datenerhebungsverfahren, die Herkunft der Daten und die Datenaufbereitung abdeckt. Diese Dokumentation ist unverzichtbar für KI-Prüfungen, für die Fehlersuche an der Modellleistung und für den Nachweis, dass KI-Systeme auf gesteuerten, regelkonformen Daten aufsetzen. Metadatenmanagement ergänzt die Beschreibungen und Qualitätskennzahlen, die das Bild vervollständigen.

Data Lineage einführen

Eine erfolgreiche Einführung verlangt durchdachte Planung zu Umfang, Werkzeugen und Einbindung in die vorhandenen Governance-Prozesse.

Mit den kritischen Datenpfaden anfangen

Statt Data Lineage für alle Daten auf einmal zu erfassen, fangen Sie mit den Pfaden an, die am meisten zählen: Datensätze, die in regulatorische Meldungen einfließen, Quellen, die KI-Modelle mit hohem Einsatz speisen, Tabellen, von denen geschäftskritische Dashboards abhängen. Hochwertige Data Lineage für kritische Pfade bringt mehr Nutzen als lückenhafte Abdeckung von allem.

Data Lineage mit dem Datenkatalog verbinden

Data Lineage ist am wertvollsten, wenn sie in einen umfassenderen Datenkatalog eingebunden ist, der fachlichen Kontext zu jedem Knoten liefert. Zu sehen, dass Daten von „Quellsystem X“ nach „Tabelle Y“ fließen, ist nützlich; zu sehen, dass sie vom „Kundentransaktionssystem“ in die „Monatliche Umsatzübersicht“ fließen, mit Beschreibungen, Verantwortlichkeiten und Qualitätskennzahlen daran, ist weit nützlicher.

Automatisieren, wo es geht

Manuelle Lineage-Dokumentation ist in Organisationen, in denen Pipelines sich häufig ändern, nicht tragfähig. Investieren Sie in Werkzeuge, die Data Lineage automatisch aus SQL-Code, ETL-Definitionen und Orchestrierungswerkzeugen auslesen. Reservieren Sie die Handarbeit für die fachlichen Lineage-Beschreibungen, also die Erklärungen, was jede Transformation tut und warum, die automatische Werkzeuge nicht erzeugen können. Plattformen für aktive Metadaten machen diese laufende Erfassung zum Standard.

Wie Dawiso Data Lineage unterstützt

Die interaktive Lineage von Dawiso gibt technischen Nutzern und Fachbereichen gleichermaßen einen navigierbaren Blick darauf, wie Daten auf System-, Tabellen- und Spaltenebene fließen, wobei die Spalten unter ihrem Objekt eingeklappt bleiben, bis Sie es aufklappen. Das Lineage-Diagramm liegt auf der eigenen Seite des Objekts im Datenkatalog, sodass dieselbe Seite, die zeigt, woher Daten kommen, auch die Beschreibung, die Data Owner und die Verknüpfungen zum Business Glossary trägt.

Dawiso baut Data Lineage aus vier Quellen auf: Lineage, die unterstützte Konnektoren aus der Quellplattform auslesen, Transformations-Frameworks wie dbt, das Parsen von SQL-Skripten und Beziehungen, die Nutzer von Hand anlegen. Das SQL-Parsing ist standardmäßig nicht aktiv und wird gemeinsam mit dem Dawiso-Team eingerichtet. Wie tief die Lineage reicht, hängt von der Quelle ab. Der Databricks-Konnektor liest Lineage auf Spaltenebene aus system.access.column_lineage. Der Snowflake-Konnektor hat keine native Lineage von Spalte zu Spalte, deshalb stammt die Lineage auf Spaltenebene dort aus dem SQL-Parsing. Die Lineage von Power BI verbindet Berichte, Datasets, Datenquellen und Gateways auf Objektebene, und die Lineage von dbt verknüpft Modelle, Quellen und Exposures.

Über das Model Context Protocol (MCP) können KI-Agenten die Lineage von Dawiso über den Dawiso MCP-Server abfragen und von einem ausgewählten Objekt aus Abhängigkeiten stromaufwärts oder stromabwärts verfolgen, neben Suche und Objektdetails.

Dawiso behandelt Data Lineage als Grundlage für Vertrauen: Wenn ein Fachanalyst Daten mit klarer, nachvollziehbarer Lineage nutzt, kann er sich darauf verlassen. Dieses Vertrauen macht aus Daten statt einer Streitquelle eine Grundlage für Entscheidungen.

Fazit

Data Lineage verbindet jedes Datum mit seinem Ursprung, seinen Transformationen und seinen Verwendungen. Ohne sie bleiben Probleme mit der Datenqualität rätselhaft, ist Compliance reaktiv und stehen KI-Modelle auf Fundamenten, die niemand vollständig versteht. Mit ihr gewinnen Organisationen die Nachvollziehbarkeit und Verantwortlichkeit, die wirksame Governance verlangt.

Der Nutzen wächst mit der Zeit. Jedes Stück erfasster Data Lineage macht die Folgenabschätzung schneller, die Compliance-Belege vollständiger und das Vertrauen in Analysen begründeter. Fangen Sie mit den kritischen Datenpfaden an, verbinden Sie Data Lineage mit Ihrem Katalog, und automatisieren Sie, wo es geht.

Quellen

• DSGVO Article 30, Records of processing activities.
• Basel Committee on Banking Supervision, Principles for effective risk data aggregation and risk reporting (BCBS 239), Januar 2013 (Grundsatz 3).
• Europäische Zentralbank, Guide on effective risk data aggregation and risk reporting, Mai 2024 (Abschnitt 3.4, Data Lineage auf Ebene der Datenattribute).
• 15 U.S.C. 7262, Management assessment of internal controls (SOX Section 404).
• Publications Office of the EU (EUR-Lex), Regulation (EU) 2024/1689, Artificial Intelligence Act (Art. 10 Abs. 2, Daten und Data Governance).
• OpenLineage, About OpenLineage.
• Databricks, Lineage in Unity Catalog.
• Snowflake, Access History (Lineage auf Spaltenebene, Enterprise Edition).
• Snowflake, Data Lineage (Enterprise Edition).
• Microsoft Learn, Data lineage user guide for classic Microsoft Purview Data Catalog.
• Google Cloud, About data lineage.
• Microsoft Learn, Data lineage - Power BI.
• Dawiso Help, Data lineage.
• Dawiso Help, Sources of data lineage.
• Dawiso Help, Databricks connector.
• Dawiso Help, Snowflake connector.
• Dawiso Help, Power BI connector.
• Dawiso Help, dbt connector.
• Dawiso Help, Dawiso Model Context Protocol (MCP).