Konnektor für ETL / ELT

Der Datenkatalog für dbt, dem Ihr ganzes Team vertrauen kann.

Der Dawiso-dbt-Datenkatalog macht jedes Model, jeden Test und jeden Snapshot Ihres dbt-Projekts zu einem durchsuchbaren Inventar, mit Lineage von Models und Sources bis ins Warehouse.

Zur Dokumentation

Live-Konnektor Stabiler Konnektor

dbt

Dawiso

Nur Metadaten · Ihre Daten verlassen die Quelle nie

Typ: Framework für SQL-Transformationen
Auth: Token für ein Dienstkonto in dbt Cloud · Berechtigung Metadata Only
Sync: Geplant, inkrementell
Richtung: Nur lesend · Metadaten

Zuerst das Wichtigste

Was ist ein Konnektor?

Nur Metadaten Nur lesender Zugriff Inkrementeller Sync Systemübergreifende Lineage

Ein Konnektor ist die Brücke zwischen einem Werkzeug in Ihrem Stack und dem Katalog, der Ihnen einen einheitlichen Blick darauf gibt. Ist ein Konnektor eingerichtet, greift er nach Zeitplan auf das Quellsystem zu, liest die Metadaten aus - Schemas, Tabellen, Dashboards, Jobs, Verantwortlichkeiten, Data Lineage - und bildet sie im Katalog ab. Ihre eigentlichen Zeilen und Werte bleiben, wo sie sind.

Konnektoren sind der Grund, warum ein Datenkatalog Fragen wie „Welches Power-BI-Dashboard hängt von dieser Snowflake-Tabelle ab?“ oder „Wer verantwortet das orders-Topic in Kafka?“ beantworten kann - automatisch, ohne dass jemand eine Excel-Liste pflegen muss.

Drei Eigenschaften unterscheiden einen guten Konnektor von einem brüchigen: Er sollte nur lesend und sicher sein, er sollte inkrementell arbeiten, damit nicht bei jeder Aktualisierung ein vollständiger Neuscan nötig ist, und er sollte Data Lineage über Systemgrenzen hinweg auflösen, nicht nur innerhalb eines Werkzeugs.

Über die Plattform

Was ist dbt?

dbt (data build tool) ist das Framework für SQL-Transformationen, mit dem Analytics Engineers Datenmodelle direkt im Warehouse bauen, testen und dokumentieren. dbt Cloud legt Models, Sources, Tests und ihre Beziehungen über die Metadata API offen. Typische Ziele sind Snowflake, BigQuery, Databricks und Redshift.

Der dbt Explorer in dbt Cloud deckt die Models innerhalb eines dbt-Projekts ab. Nicht abgedeckt sind die Warehouse-Tabelle, in die das Model schreibt, der BI-Bericht, der sie nutzt, das Datenprodukt, für das der Fachbereich verantwortlich ist, und der Airflow DAG, der den Lauf angestoßen hat. Genau dort setzt der Dawiso-dbt-Datenkatalog an: nur lesend, nur Metadaten, und plattformübergreifend.

Architektur

So verbindet sich Dawiso mit dbt

Eine kleine, nur lesende Rolle aufseiten von dbt. Der Dawiso-Scanner holt die Metadaten nach Zeitplan. Alles landet in Ihrem Katalog, fachlich lesbar.

Quelle

dbt Cloud Account

Projekte und Environments
Models, Tests, Snapshots, Seeds
Sources und Exposures
Jobs und Laufhistorie

REST · JDBC

Dawiso-Scanner

Metadatenzugriff nur lesend

Schema- und Objekterkennung
Auflösung von Abhängigkeiten
SQL-Flow-Parsing (optional)
Sampling nach Opt-in

Intern

Katalog

Dawiso-Plattform

Durchsuchbare Metadaten
Data Lineage und Verantwortlichkeiten
Business Glossary
Richtlinien und Klassifizierungen

Verbindungsdetails

Protokoll: dbt Cloud Metadata API (GraphQL)
Authentifizierung: Token für ein Dienstkonto mit der Berechtigung Metadata Only · regionaler API-Endpunkt
Lineage: Beziehungen und Lineage von Models und Sources aus der dbt Cloud Metadata API; plattformübergreifend zusammengeführt mit Quellen aus Snowflake, BigQuery, Databricks und Power BI

Einrichtung

dbt in 4 Schritten verbinden

01

Token für ein Dienstkonto erzeugen

Öffnen Sie in dbt Cloud Your Profile > Service tokens > + Create service token. Weisen Sie die Berechtigung Metadata Only zu. Notieren Sie das Token; dbt zeigt es nur einmal an.
02

Regionalen API-Endpunkt wählen

Wählen Sie Ihren Endpunkt der Metadata API: US Prod 1, US Prod 2, EMEA Europe oder APAC Australia. Der Endpunkt gilt je Region; ein falscher Endpunkt lässt den Verbindungstest scheitern.
03

In Dawiso verbinden

Tragen Sie die API-URL, das Token des Dienstkontos und die Account-ID aus dbt Cloud ein. Wählen Sie Projekte, Environments und Jobs über reguläre Ausdrücke. Der Schalter für den reinen Produktivbetrieb filtert auf PROD Environments.
04

Ingestion starten

Der geplante inkrementelle Sync hält Models, Tests und Laufhistorie aktuell. Die Lineage von Models und Sources wird bei jeder Ingestion neu aus der dbt Cloud Metadata API aufgebaut.

Funktionen

Das bekommen Sie mit dem Konnektor für dbt

Katalog für Models und Tests

Jedes dbt Model, jeder Test, jeder Snapshot und jeder Seed ist durchsuchbar, mit Materialization, Verantwortlichen, Tags und dem Projekt, in dem es liegt.
Lineage von Models und Sources

Plattformübergreifende Lineage von einem Power-BI-Visual über dbt Models bis hinunter zur rohen Warehouse-Tabelle, aufgelöst aus der dbt Cloud Metadata API.
Tests und Contracts

Contracts und Testergebnisse eines dbt Models stehen im Katalog direkt neben dem Asset. So hat die Frage, ob eine Tabelle heute vertrauenswürdig ist, eine Antwort.
PII-Klassifizierung

Klassifizieren Sie eine Spalte einmal an einem dbt Model. Dawiso markiert jede nachgelagerte Warehouse-Spalte, jede View und jedes BI-Feld, das dieselben Daten führt.
Verantwortung und Zertifizierung

Verantwortliche und Tags aus dbt landen im Katalog. Stufen Sie ein Model als zertifiziert ein oder markieren Sie eines als veraltet, und der Fachbereich sieht es.
Jobs und Aktualität

Laufhistorie der Jobs und Zeitpunkte des letzten Baus erscheinen im Katalog, sodass Analysten wissen, ob das Model Stunden oder Tage alt ist.

Geschäftlicher Nutzen

Warum Teams den Konnektor für dbt aktivieren

-65 %
Weniger Rückfragen nach dem richtigen Model

Analysten finden das zertifizierte Mart-Model im Katalog, statt die Analytics Engineers zu fragen, welches Staging-Model auf den Umsatz abbildet.
10x
Schnellere Auswirkungsanalyse

Bevor Sie eine dbt Source ändern, sehen Sie genau, welche nachgelagerten Models, Warehouse-Views und BI-Dashboards von ihr abhängen. Sekunden statt Tage.
Prüfbereit
Nachvollziehbare Transformation

Jedes Model, jeder Test, jeder Verantwortliche und jeder Lauf steht im Katalog samt nachgelagerten Warehouse- und BI-Assets, sodass Antworten für die Prüfung aus der Plattform kommen und nicht aus Slack.

Bereit, Ihr dbt zu katalogisieren?

Den Konnektor richten Sie an einem Nachmittag ein. Ihren ersten Lineage-Graph sehen Sie noch am selben Tag.

Zur Dokumentation

Häufige Fragen

Noch Fragen? Sprechen Sie mit unserem Team ->

Hat dbt einen Datenkatalog?

dbt erzeugt eine Dokumentation und einen Katalog, sichtbar im dbt Explorer. Dawiso liest Metadaten zu Models, Sources und Tests über die dbt Cloud Metadata API und führt sie mit Warehouse- und BI-Metadaten zusammen, sodass die Lineage der Models über Ihren gesamten Stack reicht und nicht nur innerhalb von dbt.

Was ist der Unterschied zwischen dbt-Katalog und dbt Docs?

dbt Docs ist die erzeugte Dokumentationsseite, der Katalog sind die Metadaten dahinter. Dawiso liest Definitionen der Models, Tests und Lineage aus der dbt Cloud Metadata API und kombiniert sie mit dem Rest Ihrer Plattform in einem durchsuchbaren Katalog.

Welche Berechtigungen braucht Dawiso in dbt?

Ein Token für ein Dienstkonto in dbt Cloud mit der Berechtigung Metadata Only. Das Token liest Metadaten zu Projekt, Model, Test, Snapshot, Source, Job und Lauf über die dbt Cloud Metadata API (GraphQL). Durchgehend nur lesend.

Kopiert Dawiso unser dbt SQL oder unsere Daten?

Dawiso liest dbt-Metadaten über die dbt Cloud Metadata API ein. Die Beziehungen von Models und Sources tragen die Lineage, aber die Daten auf Zeilenebene, die Ihre dbt Models bauen, bleiben im Warehouse. Profiling ist pro Datenquelle optional.

Wie entsteht die Lineage in dbt?

Aus den Beziehungen von Models und Sources, die die dbt Cloud Metadata API offenlegt. Die plattformübergreifende Lineage führt dbt Models mit den eingelesenen Objekten aus Snowflake, BigQuery, Databricks und Power BI zusammen, sodass die Spur vom BI-Visual bis zur Rohquelle reicht.

Welche dbt-Versionen werden unterstützt?

Die jeweils aktuelle Version von dbt Cloud. Dawiso folgt der dbt Metadata API und wird regelmäßig nachgezogen. Vorausgesetzt werden ein dbt Cloud Account mit Developer-Lizenz und Administratorrechte, um das Token für das Dienstkonto zu erzeugen. Das Einlesen von dbt Core (nur CLI) steht auf der Roadmap; wenden Sie sich an Customer Success.