--- title: "dbt-Datenkatalog & Konnektor | Dawiso" description: "Der dbt-Konnektor von Dawiso macht Ihr Projekt zum durchsuchbaren Datenkatalog: Models, Tests, Snapshots und Lineage über die dbt Cloud Metadata API." url: "https://www.dawiso.com/de/connectors/dbt" language: "de" --- Konnektor für ETL / ELT # Der Datenkatalog für dbt, dem Ihr ganzes Team vertrauen kann. Der Dawiso-dbt-Datenkatalog macht jedes Model, jeden Test und jeden Snapshot Ihres dbt-Projekts zu einem durchsuchbaren Inventar, mit Lineage von Models und Sources bis ins Warehouse. [Demo buchen](https://www.dawiso.com/de/book-a-dawiso-demo) [Zur Dokumentation](https://help.dawiso.com/actual/dbt/) Live-Konnektor Stabiler Konnektor dbt Dawiso Nur Metadaten · Ihre Daten verlassen die Quelle nie **Typ** Framework für SQL-Transformationen **Auth** Token für ein Dienstkonto in dbt Cloud · Berechtigung Metadata Only **Sync** Geplant, inkrementell **Richtung** Nur lesend · Metadaten Zuerst das Wichtigste ## Was ist ein Konnektor? Nur Metadaten Nur lesender Zugriff Inkrementeller Sync Systemübergreifende Lineage Ein Konnektor ist die Brücke zwischen einem Werkzeug in Ihrem Stack und dem Katalog, der Ihnen einen einheitlichen Blick darauf gibt. Ist ein Konnektor eingerichtet, greift er nach Zeitplan auf das Quellsystem zu, liest die *Metadaten* aus - Schemas, Tabellen, Dashboards, Jobs, Verantwortlichkeiten, Data Lineage - und bildet sie im Katalog ab. Ihre eigentlichen Zeilen und Werte bleiben, wo sie sind. Konnektoren sind der Grund, warum ein Datenkatalog Fragen wie *„Welches Power-BI-Dashboard hängt von dieser Snowflake-Tabelle ab?“* oder *„Wer verantwortet das orders-Topic in Kafka?“* beantworten kann - automatisch, ohne dass jemand eine Excel-Liste pflegen muss. Drei Eigenschaften unterscheiden einen guten Konnektor von einem brüchigen: Er sollte **nur lesend und sicher** sein, er sollte **inkrementell** arbeiten, damit nicht bei jeder Aktualisierung ein vollständiger Neuscan nötig ist, und er sollte **Data Lineage über Systemgrenzen hinweg auflösen**, nicht nur innerhalb eines Werkzeugs. Über die Plattform ## Was ist dbt? dbt (data build tool) ist das Framework für SQL-Transformationen, mit dem Analytics Engineers Datenmodelle direkt im Warehouse bauen, testen und dokumentieren. dbt Cloud legt Models, Sources, Tests und ihre Beziehungen über die Metadata API offen. Typische Ziele sind Snowflake, BigQuery, Databricks und Redshift. Der dbt Explorer in dbt Cloud deckt die Models innerhalb eines dbt-Projekts ab. Nicht abgedeckt sind die Warehouse-Tabelle, in die das Model schreibt, der BI-Bericht, der sie nutzt, das Datenprodukt, für das der Fachbereich verantwortlich ist, und der Airflow DAG, der den Lauf angestoßen hat. Genau dort setzt der Dawiso-dbt-Datenkatalog an: nur lesend, nur Metadaten, und plattformübergreifend. 2016 Entstanden bei RJMetrics 4,2 Mrd. USD Bewertung in der Series D, Februar 2022 Apache 2.0 Open Source dbt Core Architektur ## So verbindet sich Dawiso mit dbt Eine kleine, nur lesende Rolle aufseiten von dbt. Der Dawiso-Scanner holt die Metadaten nach Zeitplan. Alles landet in Ihrem Katalog, fachlich lesbar. Quelle ### dbt Cloud Account - Projekte und Environments - Models, Tests, Snapshots, Seeds - Sources und Exposures - Jobs und Laufhistorie REST · JDBC Dawiso-Scanner ### Metadatenzugriff nur lesend - Schema- und Objekterkennung - Auflösung von Abhängigkeiten - SQL-Flow-Parsing (optional) - Sampling nach Opt-in Intern Katalog ### Dawiso-Plattform - Durchsuchbare Metadaten - Data Lineage und Verantwortlichkeiten - Business Glossary - Richtlinien und Klassifizierungen Verbindungsdetails **Protokoll** dbt Cloud Metadata API (GraphQL) **Authentifizierung** Token für ein Dienstkonto mit der Berechtigung Metadata Only · regionaler API-Endpunkt **Lineage** Beziehungen und Lineage von Models und Sources aus der dbt Cloud Metadata API; plattformübergreifend zusammengeführt mit Quellen aus Snowflake, BigQuery, Databricks und Power BI Einrichtung ## dbt in 4 Schritten verbinden 1. 01 ### Token für ein Dienstkonto erzeugen Öffnen Sie in dbt Cloud Your Profile > Service tokens > + Create service token. Weisen Sie die Berechtigung Metadata Only zu. Notieren Sie das Token; dbt zeigt es nur einmal an. 2. 02 ### Regionalen API-Endpunkt wählen Wählen Sie Ihren Endpunkt der Metadata API: US Prod 1, US Prod 2, EMEA Europe oder APAC Australia. Der Endpunkt gilt je Region; ein falscher Endpunkt lässt den Verbindungstest scheitern. 3. 03 ### In Dawiso verbinden Tragen Sie die API-URL, das Token des Dienstkontos und die Account-ID aus dbt Cloud ein. Wählen Sie Projekte, Environments und Jobs über reguläre Ausdrücke. Der Schalter für den reinen Produktivbetrieb filtert auf PROD Environments. 4. 04 ### Ingestion starten Der geplante inkrementelle Sync hält Models, Tests und Laufhistorie aktuell. Die Lineage von Models und Sources wird bei jeder Ingestion neu aus der dbt Cloud Metadata API aufgebaut. Funktionen ## Das bekommen Sie mit dem Konnektor für dbt - ### Katalog für Models und Tests Jedes dbt Model, jeder Test, jeder Snapshot und jeder Seed ist durchsuchbar, mit Materialization, Verantwortlichen, Tags und dem Projekt, in dem es liegt. - ### Lineage von Models und Sources Plattformübergreifende Lineage von einem Power-BI-Visual über dbt Models bis hinunter zur rohen Warehouse-Tabelle, aufgelöst aus der dbt Cloud Metadata API. - ### Tests und Contracts Contracts und Testergebnisse eines dbt Models stehen im Katalog direkt neben dem Asset. So hat die Frage, ob eine Tabelle heute vertrauenswürdig ist, eine Antwort. - ### PII-Klassifizierung Klassifizieren Sie eine Spalte einmal an einem dbt Model. Dawiso markiert jede nachgelagerte Warehouse-Spalte, jede View und jedes BI-Feld, das dieselben Daten führt. - ### Verantwortung und Zertifizierung Verantwortliche und Tags aus dbt landen im Katalog. Stufen Sie ein Model als zertifiziert ein oder markieren Sie eines als veraltet, und der Fachbereich sieht es. - ### Jobs und Aktualität Laufhistorie der Jobs und Zeitpunkte des letzten Baus erscheinen im Katalog, sodass Analysten wissen, ob das Model Stunden oder Tage alt ist. Geschäftlicher Nutzen ## Warum Teams den Konnektor für dbt aktivieren - -65 % ### Weniger Rückfragen nach dem richtigen Model Analysten finden das zertifizierte Mart-Model im Katalog, statt die Analytics Engineers zu fragen, welches Staging-Model auf den Umsatz abbildet. - 10x ### Schnellere Auswirkungsanalyse Bevor Sie eine dbt Source ändern, sehen Sie genau, welche nachgelagerten Models, Warehouse-Views und BI-Dashboards von ihr abhängen. Sekunden statt Tage. - Prüfbereit ### Nachvollziehbare Transformation Jedes Model, jeder Test, jeder Verantwortliche und jeder Lauf steht im Katalog samt nachgelagerten Warehouse- und BI-Assets, sodass Antworten für die Prüfung aus der Plattform kommen und nicht aus Slack. ## Bereit, Ihr dbt zu katalogisieren? Den Konnektor richten Sie an einem Nachmittag ein. Ihren ersten Lineage-Graph sehen Sie noch am selben Tag. [Demo buchen](https://www.dawiso.com/de/book-a-dawiso-demo) [Zur Dokumentation](https://help.dawiso.com/actual/dbt/) ## Häufige Fragen Noch Fragen? [Sprechen Sie mit unserem Team ->](https://www.dawiso.com/contact-us) **Hat dbt einen Datenkatalog?** dbt erzeugt eine Dokumentation und einen Katalog, sichtbar im dbt Explorer. Dawiso liest Metadaten zu Models, Sources und Tests über die dbt Cloud Metadata API und führt sie mit Warehouse- und BI-Metadaten zusammen, sodass die Lineage der Models über Ihren gesamten Stack reicht und nicht nur innerhalb von dbt. **Was ist der Unterschied zwischen dbt-Katalog und dbt Docs?** dbt Docs ist die erzeugte Dokumentationsseite, der Katalog sind die Metadaten dahinter. Dawiso liest Definitionen der Models, Tests und Lineage aus der dbt Cloud Metadata API und kombiniert sie mit dem Rest Ihrer Plattform in einem durchsuchbaren Katalog. **Welche Berechtigungen braucht Dawiso in dbt?** Ein Token für ein Dienstkonto in dbt Cloud mit der Berechtigung Metadata Only. Das Token liest Metadaten zu Projekt, Model, Test, Snapshot, Source, Job und Lauf über die dbt Cloud Metadata API (GraphQL). Durchgehend nur lesend. **Kopiert Dawiso unser dbt SQL oder unsere Daten?** Dawiso liest dbt-Metadaten über die dbt Cloud Metadata API ein. Die Beziehungen von Models und Sources tragen die Lineage, aber die Daten auf Zeilenebene, die Ihre dbt Models bauen, bleiben im Warehouse. Profiling ist pro Datenquelle optional. **Wie entsteht die Lineage in dbt?** Aus den Beziehungen von Models und Sources, die die dbt Cloud Metadata API offenlegt. Die plattformübergreifende Lineage führt dbt Models mit den eingelesenen Objekten aus Snowflake, BigQuery, Databricks und Power BI zusammen, sodass die Spur vom BI-Visual bis zur Rohquelle reicht. **Welche dbt-Versionen werden unterstützt?** Die jeweils aktuelle Version von dbt Cloud. Dawiso folgt der dbt Metadata API und wird regelmäßig nachgezogen. Vorausgesetzt werden ein dbt Cloud Account mit Developer-Lizenz und Administratorrechte, um das Token für das Dienstkonto zu erzeugen. Das Einlesen von dbt Core (nur CLI) steht auf der Roadmap; wenden Sie sich an Customer Success. ## Weitere Konnektoren entdecken dbt ist einer von über 30 Konnektoren. Bringen Sie Ihren gesamten Stack in den Katalog. - [Data Warehouse Snowflake](https://www.dawiso.com/connectors/snowflake) - [Data Lakehouse Databricks](https://www.dawiso.com/connectors/databricks) - [Business Intelligence Power BI](https://www.dawiso.com/connectors/power-bi) - [Business Intelligence Tableau](https://www.dawiso.com/connectors/tableau) - [Data Warehouse Google BigQuery](https://www.dawiso.com/connectors/google-bigquery) - [Data Warehouse Amazon Redshift](https://www.dawiso.com/connectors/amazon-redshift) [Alle Konnektoren ansehen](https://www.dawiso.com/de/connectors)