Leitfaden Data Lineage: Woher kommen Ihre Daten und wohin gehen sie?
Data Lineage ist wie eine Landkarte für Ihre Daten: Sie verfolgt ihre Herkunft und zeigt, wie sie sich auf dem Weg durch Ihre Systeme verändern. Gut umgesetzt, kann Data Lineage Ihren Data-Engineering-Teams (und sogar den Fachbereichen) geradezu Superkräfte verleihen. In diesem Beitrag erfahren Sie mehr über den Nutzen aus Daten- und aus Geschäftssicht. Wie hilft sie Ihnen bei der Arbeit mit Daten, und wie können Finanzverantwortliche das Vertrauen in ihre Kennzahlen stärken? Dazu erhalten Sie Tipps, wie Sie den Wert Ihrer Data Lineage maximieren.
Was ist Data Lineage?
Data Lineage zeigt den Aufbau Ihrer Datenlandschaft und legt die komplexen Beziehungen zwischen den einzelnen Datenelementen offen. Der Einfachheit halber nehmen wir ein Bild zu Hilfe.
Das Bild vom Kaffee: Data Lineage in Aktion
Wie weit muss Kaffee reisen, bevor er in Ihrem Lieblingscafé in der Tasse vor Ihnen steht? Stellen Sie sich einen Kaffeebauern vor, in unserem Bild das Quellsystem. Der Bauer erntet die Kaffeebohnen, das sind die Rohdaten. Diese Bohnen werden an eine Rösterei verkauft, die dem Data Warehouse entspricht. In der Rösterei durchlaufen die Bohnen mehrere Schritte, ganz wie die Umformungen, die Daten durchlaufen. Jeder Schritt bringt Zwischenprozesse mit sich, vergleichbar mit Datenpipelines.
Der erste Eingang in die Rösterei ist L0, wo die Bohnen angenommen, geprüft und gewogen werden, bevor sie in einer Datenbank erfasst werden (Zwischenprozesse). Von dort gehen die Bohnen in den eigentlichen Röstvorgang, also L1. Das Rösten umfasst eine Datenpipeline, die die Bohnen vom Eingang in die Röstkammer, dann in die Kühlzone und schließlich zur Verpackung bringt. Die gesamte Charge gerösteter Bohnen wird dann in L2 gelagert, dem Auslieferungslager, bereit für die Verteilung. Dieser gesamte Ablauf ist eine Lineage innerhalb eines Systems.
Die Reise der Daten endet nicht immer in einem einzigen System. Oft führt sie weiter in andere Systeme, etwa in Berichtswerkzeuge wie PowerBI. In diesem Fall werden die gerösteten Bohnen von der Rösterei in ein Café gebracht, so wie Daten in ein Berichtssystem fließen. Das Café hat eigene Abläufe und Tabellen, die die Kaffeedaten verarbeiten und womöglich nach Maschinen, Schichten oder anderen Merkmalen aufteilen. Der Kaffee fließt weiter durch das System des Cafés, geführt von dessen eigenen Datenpipelines (denn es ist eine andere Schicht als zuvor in der Rösterei).
Dieses vereinfachte Bild gibt zwar einen Eindruck von Data Lineage, doch wirkliche Datenlandschaften sind weit komplexer und umfassen zahlreiche Systeme und Umformungen. Data Lineage in solchen Umgebungen von Hand zu verfolgen wird zu einer mühsamen und zeitraubenden Aufgabe.
Bei Data Lineage geht es nicht nur darum, die Bewegung der Daten zu verfolgen, sondern auch darum, zu verstehen, wie sich Daten unterwegs verändern. Ein entscheidender Teil von Data Lineage ist die Fähigkeit, Umformungen sichtbar und verständlich zu machen.
Sie sehen den gesamten Ablauf:
- Woher die Bohnen kamen (Quellsystem): Wuchsen sie in einer bestimmten Gegend, vielleicht in Südamerika?
- Welche Schritte sie durchliefen (Umformungen): Wurden sie auf einen bestimmten Grad geröstet (hell, mittel, dunkel)?
- Wie sie in Ihre Tasse kamen (Zielsystem): Haben Sie sie als ganze Bohnen gekauft und selbst gemahlen, oder kamen sie schon gemahlen?
Diese Angaben sind entscheidend für die Qualität des Kaffees. Data Lineage hilft Ihnen, mögliche Probleme zu erkennen, etwa Bohnen, die nicht richtig geröstet wurden oder zu lange im Regal standen.
Was ist eine Umformung von Daten?
Eine Umformung ist jeder Vorgang, der Daten verändert, also ihr Format, ihren Aufbau oder ihren Inhalt. Dazu gehören:
- Bereinigung: Fehler, Widersprüche oder Dubletten entfernen.
- Anreicherung: neue Datenelemente oder Merkmale hinzufügen.
- Verdichtung: Daten aus mehreren Quellen zusammenführen.
- Filterung: bestimmte Daten nach festgelegten Merkmalen auswählen.
- Berechnung: mathematische oder statistische Operationen ausführen.
Was ist Data Lineage in der Praxis?
Stellen Sie sich Ihre Daten in großen „Ordnern“ vor, von denen jeder ein System, ein Data Warehouse oder eine Datenbank darstellt. Ordner sind die obersten Objekte im Diagramm der Data Lineage. In jedem Warehouse können mehrere Schichten stecken, etwa L0, L1 und L2 (wie in der Abbildung unten). Dabei dient L0 als Zwischenbereich für Daten, die aus den Quellsystemen gezogen wurden (die erste Stufe in dieser konkreten Schicht, also innerhalb des Systems). Diese Schichten des Data Warehouse spielen eine zentrale Rolle bei der Umformung. Daten werden oft 1:1 aus dem Quellsystem nach L0 kopiert, bevor sie umgeformt und in L1 abgelegt werden.
Die Daten werden über einen ETL-Prozess aus dem Quellsystem gezogen (so wie ein Bauer seine Ernte einbringt). Dieser Prozess bringt die Daten in ein Data Warehouse (unsere „Rösterei“). Von dort werden sie genutzt, um Berichte zu erzeugen und Analysewerkzeuge zu speisen, etwa Data-Science-Modelle.
Jede Tabelle in Ihrem System stützt sich auf Daten aus anderen Tabellen, manchmal aus mehreren Quellen zugleich. Data Lineage legt diese komplexen Verbindungen offen und zeigt genau, welche Tabellen zu den Daten einer bestimmten Tabelle beitragen. Dieser Blick reicht weiter und verfolgt den Datenfluss durch die nachfolgenden Tabellen und Schichten.
Warum Data Lineage wichtig ist
Wichtig ist sie vor allem für Dateningenieure und Analystinnen und Analysten. Sie ermöglicht ihnen die Auswirkungsanalyse, also das Verfolgen des Datenflusses von einem bestimmten Punkt (etwa einer Tabelle) bis zu seinen Zielen im System. Dieses Wissen über vor- und nachgelagerte Abhängigkeiten ist der Schlüssel dazu, Störungen schnell zu beheben.
Stellen Sie sich vor: Es kommt zu einer Störung, und die Daten passen nicht mehr zusammen. Mit Data Lineage erkennen Sie rasch, welche Bereiche betroffen sind und wie weit die Wirkung reicht. So lassen sich Beteiligte schneller benachrichtigen und die Brüche in den Daten wirksam beheben.
Braucht jedes Datenteam Data Lineage?
Kurz gesagt: ja. Für Datenteams, die es mit Verlässlichkeit und skalierbarer Datenqualität ernst meinen, ist Data Lineage unerlässlich.
Nutzen aus Sicht der Fachleute für Daten
Data Lineage verfolgt den Fluss der Daten von einer bestimmten Tabelle bis zu ihrem Ziel im System. Das erweist sich in Lagen wie diesen als unbezahlbar:
- Eine Spalte umbenennen: Muss ein Spaltenname wegen eines Tippfehlers oder Irrtums geändert werden, zeigt Data Lineage alle nachgelagerten Systeme und Prozesse, die davon betroffen sein könnten.
- Abweichungen finden: Taucht am Ende der Datenpipeline ein falscher Wert auf, lässt sich mit Data Lineage die Quelle des Fehlers zurückverfolgen und genau die Umformung oder der Prozess bestimmen, der die Abweichung eingebracht hat.
- Ladevorgänge prüfen: Mit Data Lineage lässt sich die Richtigkeit der Ladevorgänge belegen, also dass Daten richtig und gleichmäßig geladen werden.
So verstehen wir das „Warum“ hinter Problemen mit Daten, was die Fehlersuche und die Analyse der Ursachen wirksam macht.
Braucht die Finanzabteilung Data Lineage?
Durchaus. Auch wer nicht unmittelbar mit den Daten arbeitet, verlässt sich für Planung, Prognose und Finanzberichte auf ihre Richtigkeit. Data Lineage gibt der ganzen Abteilung ein Bild vom Weg der Daten, schafft Vertrauen in finanzielle Entscheidungen und senkt Risiken.
Für Datenteams im Finanzbereich vereinfacht sie die aufsichtsrechtliche Compliance und hilft, die nachgelagerten Folgen von Problemen mit Daten zu erkennen. Diese Transparenz stützt sichere Entscheidungen und senkt das Risiko.
Nutzen aus fachlicher Sicht
Data Lineage für Kennzahlen und KPIs: die Daten hinter den Zahlen
Data Lineage ist entscheidend, um die Datenquellen hinter Kennzahlen und KPIs zu verstehen, vor allem hinter den für die Finanzführung wichtigen. Nehmen wir einen monatlichen Bericht zur Ertragsanalyse, dessen Übersichtsseite sechs Kennzahlen aus verschiedenen Datenquellen zeigt. Data Lineage kann genau offenlegen, welche Datenelemente und Tabellen zu jeder Kennzahl beitragen. Die Kennzahl „Zahl der Kunden“ lässt sich etwa auf bestimmte Spalten einer bestimmten Tabelle zurückführen, die ihrerseits Daten aus einer weiteren Tabelle bezieht.
Probleme mit Daten beheben: die Ursache finden
Treten bei Kennzahlen wie der Kundenzahl Abweichungen auf, können Sie mit Data Lineage die genaue Fehlerquelle im System bestimmen. Indem Sie den Fluss der Daten und die Umformungen sichtbar machen, finden Sie die Stelle, an der die Datenintegrität leidet.
Die wichtigsten Vorteile im Überblick:
- Den Datenfluss über Systeme und Schichten hinweg abbilden: ein umfassendes Bild davon, wie Daten durch Ihre Landschaft wandern.
- Die Datenquellen hinter Kennzahlen und KPIs bestimmen: die Daten hinter Ihren wichtigsten Indikatoren offenlegen.
- Die Ursache von Problemen mit Daten finden: Abweichungen und Fehler in Ihren Datenpipelines rasch erkennen.
- Compliance belegen: Nachvollziehbarkeit der Daten und Einhaltung der Vorgaben der Data Governance zeigen.
- Die Datenqualität heben: Datenintegrität und Einheitlichkeit über den gesamten Lebenszyklus sichern.
- Zusammenarbeit und Entscheidungen stärken: bessere Verständigung und datengestützte Entscheidungen über Teams hinweg.
So heben Sie den Wert von Data Lineage
Kontext hinzufügen
Reichern Sie Data Lineage mit fachlichen Definitionen, Werten zur Datenqualität und weiteren Angaben an. Das setzt die Daten in einen Zusammenhang und macht sie bedeutsamer. Indem Sie fachliche Definitionen in die Data Lineage aufnehmen, verbinden Sie die technischen Einzelheiten des Datenflusses mit der tatsächlichen fachlichen Bedeutung. Das schlägt eine Brücke zwischen technischen Nutzern und den Fachbereichen.
Mit den passenden Metadaten zu einem Datenbestand in der Lineage selbst bekommen Sie die Antworten, die Sie für fundierte Entscheidungen brauchen:
- Wer verantwortet diesen Datenbestand?
- Wo liegt er?
- Welche Daten enthält er?
- Ist er für die Beteiligten wichtig und einschlägig?
- Wer hängt von ihm ab, wenn ich etwas daran ändere?
Sie können Data Lineage zusammen mit einem Business Glossary nutzen. Data Lineage liefert die technische Landkarte der Daten, und das Business Glossary liefert den Schlüssel dazu, was jede Station auf dieser Karte fachlich bedeutet. Zusammen ergeben sie ein umfassenderes und wertvolleres Bild Ihrer Daten.
Was heißt das?
Aus fachlicher Sicht stärkt Data Lineage das Vertrauen in Daten. Es geht über bloße Zahlen hinaus, deren Herkunft niemand kennt. Indem wir fachliche Definitionen aus einem Business Glossary mit dem Wissen verbinden, woher die Daten hinter diesen Zahlen stammen, lässt sich ihre Richtigkeit belegen. Das wiederum schafft Vertrauen in die Daten.
Die Fachbereiche können Data Lineage nutzen, um Einblick auf Ebene der Datenbank zu gewinnen, statt sich in die Feinheiten von Tabellen und Spalten zu vertiefen. Eine vereinfachte Sicht erleichtert Verständnis und Entscheidung.
Automatisierung
Wächst Ihr Datenökosystem, muss Ihre Praxis der Data Lineage mitwachsen. Maschinelles Lernen hat Data Lineage verändert. Anbieter bieten inzwischen automatische Lösungen an, die Lineage in großem Maßstab verfolgen, was von Hand früher unmöglich war. Achten Sie auf automatische Werkzeuge und mitwachsende Lösungen.
Data Lineage in einem komplexen Datenökosystem von Hand zu verfolgen wird schnell überwältigend. Es kostet erheblich Zeit und Mühe, die Bewegung der Daten über zahlreiche Quellen, Umformungen und Ziele hinweg zu verfolgen. Und es führt leicht zu falschen oder veralteten Angaben zur Lineage.
Automatische Werkzeuge erfassen die Angaben zur Data Lineage von selbst und geben Ihrem Team Zeit für Analyse und andere strategische Aufgaben zurück. Sie verringern menschliche Fehler und sorgen dafür, dass Ihre Data Lineage den tatsächlichen Stand Ihrer Datenpipelines abbildet.
Plattformen für Metadatenmanagement bieten skalierbare Lösungen, um Definitionen und Beziehungen zu verwalten, samt der Angaben zur Data Lineage. Sie lassen sich für die automatische Verfolgung an Ihre Datenpipelines anbinden.
Export als PNG zum einfachen Teilen
Mit Dawiso können Sie Data Lineage nicht nur sichtbar machen, sondern ihre Feinheiten auch wirksam an die Beteiligten vermitteln. Diagramme der Data Lineage lassen sich als PNG exportieren, was den Datenfluss bequem teilbar und besprechbar macht. Sie können Ihre Diagramme auch mit Anmerkungen versehen. Solche Anmerkungen können Definitionen, Erläuterungen oder alles enthalten, was Zweck und Bedeutung einzelner Datenelemente oder Umformungen klärt. Kontext zu geben ist besonders wertvoll, wenn Sie mit nichttechnischen Beteiligten oder mit Aufsichtsbehörden sprechen.
