Konnektor für ETL / ELT

Der Datenkatalog für Keboola, dem Ihr ganzes Team vertrauen kann.

Der Dawiso-Keboola-Datenkatalog macht jedes Projekt, jeden Bucket und jede Transformation zu einem durchsuchbaren Inventar, mit Laufhistorie und nachgelagerter Lineage.

Zur Dokumentation

Live-Konnektor Stabiler Konnektor

Keboola

Dawiso

Nur Metadaten · Ihre Daten verlassen die Quelle nie

Typ: Plattform für Datenintegration
Auth: Keboola Storage API Token · auf Organisations- oder Projektebene
Sync: Geplant, inkrementell
Richtung: Nur lesend · Metadaten

Zuerst das Wichtigste

Was ist ein Konnektor?

Nur Metadaten Nur lesender Zugriff Inkrementeller Sync Systemübergreifende Lineage

Ein Konnektor ist die Brücke zwischen einem Werkzeug in Ihrem Stack und dem Katalog, der Ihnen einen einheitlichen Blick darauf gibt. Ist ein Konnektor eingerichtet, greift er nach Zeitplan auf das Quellsystem zu, liest die Metadaten aus - Schemas, Tabellen, Dashboards, Jobs, Verantwortlichkeiten, Data Lineage - und bildet sie im Katalog ab. Ihre eigentlichen Zeilen und Werte bleiben, wo sie sind.

Konnektoren sind der Grund, warum ein Datenkatalog Fragen wie „Welches Power-BI-Dashboard hängt von dieser Snowflake-Tabelle ab?“ oder „Wer verantwortet das orders-Topic in Kafka?“ beantworten kann - automatisch, ohne dass jemand eine Excel-Liste pflegen muss.

Drei Eigenschaften unterscheiden einen guten Konnektor von einem brüchigen: Er sollte nur lesend und sicher sein, er sollte inkrementell arbeiten, damit nicht bei jeder Aktualisierung ein vollständiger Neuscan nötig ist, und er sollte Data Lineage über Systemgrenzen hinweg auflösen, nicht nur innerhalb eines Werkzeugs.

Über die Plattform

Was ist Keboola?

Keboola ist eine verwaltete Plattform für den Datenbetrieb: Einlesen, Transformieren, Orchestrieren und Data Apps unter einem Dach, darunter nativer Speicher in Snowflake oder BigQuery. 2008 gegründet und von über 34.000 Fachleuten weltweit genutzt, sitzt sie zwischen den Quellsystemen und dem Warehouse und übernimmt die Arbeit, die sonst Airflow, dbt und Fivetran unter sich aufteilen.

Die eigene Oberfläche von Keboola katalogisiert Projekte, Buckets und Komponenten innerhalb von Keboola. Nicht abgedeckt sind die Warehouse-Tabelle, in die die Transformation geschrieben hat, der Power-BI-Bericht, der sie nutzt, und das Datenprodukt, für das der Fachbereich durchgängig verantwortlich ist. Genau dort setzt der Dawiso-Keboola-Datenkatalog an: nur lesend, nur Metadaten, und plattformübergreifend.

Architektur

So verbindet sich Dawiso mit Keboola

Eine kleine, nur lesende Rolle aufseiten von Keboola. Der Dawiso-Scanner holt die Metadaten nach Zeitplan. Alles landet in Ihrem Katalog, fachlich lesbar.

Quelle

Keboola-Stack

Projekte und Buckets
Tabellen und Spalten
Transformationen und Komponenten
Jobs und Laufhistorie

REST · JDBC

Dawiso-Scanner

Metadatenzugriff nur lesend

Schema- und Objekterkennung
Auflösung von Abhängigkeiten
SQL-Flow-Parsing (optional)
Sampling nach Opt-in

Intern

Katalog

Dawiso-Plattform

Durchsuchbare Metadaten
Data Lineage und Verantwortlichkeiten
Business Glossary
Richtlinien und Klassifizierungen

Verbindungsdetails

Protokoll: Keboola Management API + Storage API + Queue API (optional)
Authentifizierung: Storage API Token · auf Organisationsebene (alle Projekte) oder auf Projektebene · JSON mit mehreren Projekt-Tokens möglich
Lineage: Lineage von Bucket über Transformation zu Tabelle aus den Metadaten der Konfiguration; plattformübergreifend weiter nach Snowflake, BigQuery und Power BI über die dort eingelesenen Objekte

Einrichtung

Keboola in 4 Schritten verbinden

01

Art des Tokens wählen

Entscheiden Sie zwischen einem Token auf Organisationsebene (alle Projekte, später filterbar) und einem auf Projektebene (ein Projekt je Token, mehrere über ein JSON). Beide stammen aus Account Settings > Access Tokens.
02

Token erzeugen

Öffnen Sie in Keboola die Account Settings (Organisation) oder die Project Settings (Projekt). Klicken Sie auf + New token, vergeben Sie einen Namen (zum Beispiel DawisoToken), setzen Sie die Gültigkeit und notieren Sie den Wert; Keboola zeigt ihn nur einmal an.
03

In Dawiso verbinden

Tragen Sie die Management- und Storage-URL Ihres Keboola-Stacks ein (etwa https://connection.keboola.com), dazu das Token und optional die URL der Queue API, um die Laufhistorie der Jobs zu erfassen.
04

Ingestion starten

Filtern Sie Projekte über reguläre Ausdrücke (bei Tokens auf Organisationsebene) oder nutzen Sie das JSON mit mehreren Tokens. Der geplante inkrementelle Sync hält Buckets, Transformationen und Laufhistorie aktuell.

Funktionen

Das bekommen Sie mit dem Konnektor für Keboola

Katalog für Projekte und Buckets

Jedes Keboola-Projekt, jeder Bucket, jede Tabelle und jede Transformation ist durchsuchbar, mit Verantwortlichen, Tags und dem Team, das für das Datenprodukt zuständig ist.
Lineage der Transformationen

Lineage von den eingehenden Buckets über Transformationen in SQL, Python oder R bis zu den Ausgabetabellen, plattformübergreifend zusammengeführt mit Snowflake, BigQuery und Power BI.
Laufhistorie und Aktualität

Die Laufhistorie der Jobs (sobald die Queue API angebunden ist) und die Zeitpunkte des letzten Baus stehen im Katalog, direkt neben den Assets, die die Transformation gebaut hat.
PII-Klassifizierung

Klassifizieren Sie eine Spalte einmal. Dawiso markiert jede Keboola-Tabelle mit E-Mail-Adresse, IBAN oder amtlichen Ausweisnummern über alle Projekte und Stacks hinweg.
Verantwortung und Zertifizierung

Verantwortliche und Tags aus Keboola landen im Katalog. Stufen Sie eine Tabelle als zertifiziert ein oder markieren Sie eine als veraltet, und der Fachbereich sieht es sofort.
Auswirkungsanalyse

Bevor Sie eine Keboola-Transformation ändern, sehen Sie genau, welche nachgelagerten Tabellen, Dashboards und ML-Features von ihrer Ausgabe abhängen. Sekunden statt Tage.

Geschäftlicher Nutzen

Warum Teams den Konnektor für Keboola aktivieren

-65 %
Weniger Rückfragen nach der richtigen Tabelle

Analysten finden die zertifizierte Ausgabetabelle in Dawiso, statt die Data Engineers zu fragen, welcher Staging-Bucket auf den Umsatz abbildet.
10x
Schnellere Auswirkungsanalyse

Bevor Sie eine Keboola-Transformation ändern, sehen Sie genau, welche nachgelagerten Tabellen, Dashboards und ML-Features von ihrer Ausgabe abhängen. Sekunden statt Tage.
Prüfbereit
Nachvollziehbare Pipeline

Jedes Projekt, jeder Bucket, jede Transformation und jeder Lauf steht im Katalog samt den nachgelagerten Warehouse- und BI-Assets, sodass Antworten für die Prüfung aus der Plattform kommen.

Bereit, Ihr Keboola zu katalogisieren?

Den Konnektor richten Sie an einem Nachmittag ein. Ihren ersten Lineage-Graph sehen Sie noch am selben Tag.

Zur Dokumentation

Häufige Fragen

Noch Fragen? Sprechen Sie mit unserem Team ->

Hat Keboola einen Datenkatalog?

Keboola bringt einen eigenen Data Catalog mit, um Daten innerhalb von Keboola zu teilen. Dawiso weitet die Katalogisierung auf Ihren gesamten Stack aus: Es liest Keboola-Metadaten nur lesend und verbindet dessen Komponenten und Tabellen über durchgängige Lineage mit den nachgelagerten Warehouses, BI-Werkzeugen und Pipelines.

Wozu dient ein Datenkatalog?

Ein Datenkatalog macht jedes Dataset und jede Pipeline auffindbar, dokumentiert und vertrauenswürdig. Dawiso macht aus Keboola-Metadaten einen durchsuchbaren Katalog mit Verantwortlichkeiten, Klassifizierung und Lineage für das ganze Unternehmen.

Welche Berechtigungen braucht Dawiso in Keboola?

Ein Keboola Storage API Token. Auf Organisationsebene gilt es für alle Projekte (in Dawiso filterbar). Auf Projektebene gilt ein Token je Projekt; mehrere lassen sich über das JSON mit mehreren Tokens angeben. Tokens lassen sich nur lesend halten, indem Sie Access level: restricted setzen.

Kopiert Dawiso unsere Keboola-Daten?

Nein. Dawiso fragt die Keboola Management API, die Storage API und optional die Queue API ausschließlich nach Metadaten ab: Definitionen von Projekt, Bucket, Tabelle, Transformation, Komponente und Job. Die Daten auf Zeilenebene, die Ihre Transformationen bauen, bleiben im Speicher von Keboola.

Kann Dawiso mehrere Keboola-Projekte scannen?

Ja. Mit einem Token auf Organisationsebene wählen Sie die Projekte beim Einrichten der Datenquelle über reguläre Ausdrücke. Mit Tokens auf Projektebene listen Sie sie im JSON auf: ID, Name und Token je Projekt. Beide Wege stehen auf einer Verbindung nebeneinander.

Welche Keboola-Stacks werden unterstützt?

Alle öffentlichen Keboola-Stacks (etwa connection.keboola.com oder connection.eu-central-1.keboola.com). Das Verbindungsformular nimmt jede Management- und Storage-URL an, die in der offiziellen Dokumentation von Keboola steht. Private Installationen werden über die Dawiso Integration Runtime (DIR) eingelesen.