Konnektor für ETL / ELT

Der Datenkatalog für ADF, dem Ihr ganzes Team vertrauen kann.

Der Azure-Data-Factory-Datenkatalog von Dawiso macht jede Factory, jede Pipeline, jede Aktivität und jede Integration Runtime zu einem durchsuchbaren Inventar, neben den Daten, die sie bewegen.

Zur Dokumentation

Live-Konnektor Stabiler Konnektor

ADF

Dawiso

Nur Metadaten · Ihre Daten verlassen die Quelle nie

Typ: Cloud-Dienst für Datenintegration
Auth: Service Principal aus Microsoft Entra · Rolle Reader
Sync: Geplant, inkrementell
Richtung: Nur lesend · Metadaten

Zuerst das Wichtigste

Was ist ein Konnektor?

Nur Metadaten Nur lesender Zugriff Inkrementeller Sync Systemübergreifende Lineage

Ein Konnektor ist die Brücke zwischen einem Werkzeug in Ihrem Stack und dem Katalog, der Ihnen einen einheitlichen Blick darauf gibt. Ist ein Konnektor eingerichtet, greift er nach Zeitplan auf das Quellsystem zu, liest die Metadaten aus - Schemas, Tabellen, Dashboards, Jobs, Verantwortlichkeiten, Data Lineage - und bildet sie im Katalog ab. Ihre eigentlichen Zeilen und Werte bleiben, wo sie sind.

Konnektoren sind der Grund, warum ein Datenkatalog Fragen wie „Welches Power-BI-Dashboard hängt von dieser Snowflake-Tabelle ab?“ oder „Wer verantwortet das orders-Topic in Kafka?“ beantworten kann - automatisch, ohne dass jemand eine Excel-Liste pflegen muss.

Drei Eigenschaften unterscheiden einen guten Konnektor von einem brüchigen: Er sollte nur lesend und sicher sein, er sollte inkrementell arbeiten, damit nicht bei jeder Aktualisierung ein vollständiger Neuscan nötig ist, und er sollte Data Lineage über Systemgrenzen hinweg auflösen, nicht nur innerhalb eines Werkzeugs.

Über die Plattform

Was ist Azure Data Factory?

Azure Data Factory (ADF) ist der verwaltete Cloud-Dienst von Microsoft, der ETL, ELT und Datenintegration im großen Maßstab orchestriert. Pipelines reihen Aktivitäten aneinander (kopieren, transformieren, steuern), Linked Services definieren die Verbindungen, und Integration Runtimes bewegen die Daten tatsächlich, hybrid oder rein in der Cloud. Häufige Kombinationen: Synapse, Snowflake, ADLS Gen2 und Power BI.

Die Monitoring-Ansicht von ADF zeigt, welche Pipelines gelaufen sind und welche Aktivitäten fehlgeschlagen sind. Sie zeigt nicht die nachgelagerte Warehouse-Tabelle, in die die Pipeline geschrieben hat, den Power-BI-Bericht, der sie nutzt, das Datenprodukt, für das der Fachbereich verantwortlich ist, oder die Richtlinie, die mitläuft. Genau dort setzt der Azure-Data-Factory-Datenkatalog von Dawiso an: nur lesend, nur Metadaten, und plattformübergreifend.

Architektur

So verbindet sich Dawiso mit ADF

Eine kleine, nur lesende Rolle aufseiten von ADF. Der Dawiso-Scanner holt die Metadaten nach Zeitplan. Alles landet in Ihrem Katalog, fachlich lesbar.

Quelle

Azure-Tenant und Subscriptions

Data Factories
Pipelines und Aktivitäten
Linked Services und Datasets
Trigger und Laufhistorie

REST · JDBC

Dawiso-Scanner

Metadatenzugriff nur lesend

Schema- und Objekterkennung
Auflösung von Abhängigkeiten
SQL-Flow-Parsing (optional)
Sampling nach Opt-in

Intern

Katalog

Dawiso-Plattform

Durchsuchbare Metadaten
Data Lineage und Verantwortlichkeiten
Business Glossary
Richtlinien und Klassifizierungen

Verbindungsdetails

Protokoll: Azure Data Factory REST API (v2018-06-01)
Authentifizierung: Service Principal aus Microsoft Entra · Client-ID und Client Secret · Rolle Reader auf Subscription, Ressourcengruppe oder Factory
Lineage: Abhängigkeiten zwischen Aktivitäten und Verweise auf Datasets werden innerhalb jeder Pipeline abgebildet; Linked Services verbinden die Factories mit den Objekten aus Snowflake, ADLS, Synapse und Power BI, die aus diesen Systemen eingelesen wurden

Einrichtung

ADF in 4 Schritten verbinden

01

Entra-App registrieren

Öffnen Sie im Azure Portal Microsoft Entra ID > App registrations > + New registration. Nennen Sie sie Dawiso Integration. Notieren Sie die Application (client) ID und die Directory (tenant) ID.
02

Client Secret erzeugen

Klicken Sie unter Certificates & secrets auf + New client secret. Wählen Sie eine Gültigkeit passend zu Ihrer Rotationsrichtlinie. Kopieren Sie den Wert sofort; Azure zeigt ihn nur einmal an.
03

Rolle Reader zuweisen

Wählen Sie den Geltungsbereich (Subscription, Ressourcengruppe oder einzelne Factory). Öffnen Sie Access control (IAM) > Add role assignment > Reader und weisen Sie die Rolle dem Service Principal zu. Der engste Geltungsbereich genügt.
04

Verbinden und Ingestion starten

Tragen Sie Tenant-ID, Subscription-ID, Client-ID und Client Secret in Dawiso ein. Optional filtern Sie die Factories über eine JSON-Liste. Der geplante inkrementelle Sync hält alles aktuell, einschließlich der letzten RunsHistoryInDays.

Funktionen

Das bekommen Sie mit dem Konnektor für ADF

Katalog für Pipelines und Factories

Jede Data Factory, jede Pipeline, jede Aktivität, jeder Linked Service und jedes Dataset ist durchsuchbar, mit Verantwortlichen, Tags und dem Team, das die Integration betreut.
Abbildung von Aktivitäten und Datasets

Abhängigkeiten zwischen Aktivitäten und Verweise auf Datasets werden innerhalb jeder Pipeline abgebildet, und Linked Services verbinden jede Factory mit den eingelesenen Warehouse- und BI-Objekten.
Zeitpläne und Trigger sichtbar

Trigger, Zeitpläne und SLAs stehen neben der Pipeline, die sie auslösen. So hat die Frage, ob eine Tabelle für den Finanzabschluss aktuell genug ist, eine Antwort.
Laufhistorie und Aktualität

Die Laufhistorie von Pipelines und Triggern (standardmäßig 2 Tage, einstellbar) erscheint im Katalog, direkt neben den Assets, die die Pipeline gebaut hat.
Verantwortung und Zertifizierung

Verantwortliche und Tags aus ADF landen im Katalog. Stufen Sie eine Pipeline als zertifiziert ein oder markieren Sie eine als veraltet, und der Fachbereich sieht es.
Abhängigkeiten sichtbar

Bevor Sie einen Linked Service oder eine Pipeline ändern, sehen Sie, welche Aktivitäten, Datasets und Pipelines innerhalb der Factory auf ihn verweisen. Sekunden statt Tage.

Geschäftlicher Nutzen

Warum Teams den Konnektor für ADF aktivieren

-70 %
Schnellere Ursachenanalyse

Wenn ein Power-BI-Bericht veraltet ist, finden Sie die fehlgeschlagene ADF-Pipeline mit einer Suche, statt die Data Engineers zu fragen, die die Factory kennen.
10x
Schnellere Auswirkungsanalyse

Bevor Sie einen Linked Service ändern, sehen Sie, welche Pipelines, Aktivitäten und Datasets auf ihn verweisen. Sekunden statt Tage.
Prüfbereit
Nachvollziehbare Integration

Jede Factory, jede Pipeline, jeder Verantwortliche und jeder Lauf steht im Katalog neben den Warehouse- und BI-Assets aus Ihrem Stack, sodass Antworten für die Prüfung aus der Plattform kommen.

Bereit, Ihr ADF zu katalogisieren?

Den Konnektor richten Sie an einem Nachmittag ein. Ihren ersten Lineage-Graph sehen Sie noch am selben Tag.

Zur Dokumentation

Häufige Fragen

Noch Fragen? Sprechen Sie mit unserem Team ->

Was ist der Datenkatalog von Azure?

Der Katalog von Microsoft heißt heute Microsoft Purview (früher Azure Data Catalog). Dawiso ergänzt ihn plattformübergreifend: Es liest die Pipeline-Metadaten von Azure Data Factory nur lesend und bildet ab, auf welche Datasets und Linked Services jede Aktivität über Ihren Stack hinweg verweist.

Was sind Metadaten in ADF?

ADF-Metadaten beschreiben Pipelines, Aktivitäten, Datasets und Linked Services. Dawiso liest sie nur lesend und bildet die Abhängigkeiten zwischen Aktivitäten und die Verweise auf Datasets innerhalb jeder Pipeline ab, sodass sichtbar wird, worauf jede Aktivität verweist.

Wie lege ich in Azure einen Datenkatalog an?

Sie können Microsoft Purview nutzen oder Azure Data Factory mit Dawiso verbinden: einen nur lesenden Service Principal anlegen, die zu erfassenden Factories wählen, und Dawiso baut in wenigen Schritten einen durchsuchbaren Katalog aus Pipelines, Datasets und ihren Abhängigkeiten.

Welche Berechtigungen braucht Dawiso in ADF?

Einen Service Principal aus Microsoft Entra mit der eingebauten Rolle Reader, zugewiesen auf Subscription, Ressourcengruppe oder eine einzelne Factory. Reader ist durchgehend nur lesend. Dawiso ändert, startet und pausiert Ihre Pipelines nie.

Kopiert Dawiso unsere ADF-Daten?

Nein. Dawiso fragt die Azure Data Factory REST API (v2018-06-01) ausschließlich nach Metadaten ab: Definitionen von Factory, Pipeline, Aktivität, Linked Service, Dataset und Läufen. Die Daten auf Zeilenebene, die Ihre Pipelines bewegen, bleiben in Ihrer Azure-Subscription.

Wie werden die Abhängigkeiten der Pipelines abgebildet?

Aus den Abhängigkeiten zwischen Aktivitäten und den Verweisen auf Datasets innerhalb jeder Pipeline sowie aus den Verbindungsmetadaten der Linked Services. Diese verbinden ADF-Pipelines mit den eingelesenen Objekten aus Snowflake, ADLS, Synapse und Power BI.

Unterstützt der Konnektor Microsoft Fabric Data Factory?

Der Konnektor spricht Azure Data Factory v2 über dessen REST API an. Microsoft Fabric ist der Nachfolger der nächsten Generation; dafür gibt es bei Dawiso einen eigenen Microsoft-Fabric-Konnektor und eine Fabric-Metadatenanwendung. Den Weg zur Migration auf Fabric klärt Customer Success.