Konnektor für Data Warehouse

Der Datenkatalog für Redshift, dem Ihr ganzes Team vertrauen kann.

Der Redshift-Datenkatalog von Dawiso macht jede Datenbank, jedes Schema, jede Tabelle, jede View und jede Routine zu einem durchsuchbaren Inventar, mit Keys, Constraints und den abgebildeten Beziehungen zwischen den Objekten.

Zur Dokumentation

Live-Konnektor Stabiler Konnektor

Redshift

Dawiso

Nur Metadaten · Ihre Daten verlassen die Quelle nie

Typ: Cloud Data Warehouse
Auth: Benutzer und Passwort (Gruppe mit reinem Leserecht)
Sync: Geplant, inkrementell
Richtung: Nur lesend · Metadaten

Zuerst das Wichtigste

Was ist ein Konnektor?

Nur Metadaten Nur lesender Zugriff Inkrementeller Sync Systemübergreifende Lineage

Ein Konnektor ist die Brücke zwischen einem Werkzeug in Ihrem Stack und dem Katalog, der Ihnen einen einheitlichen Blick darauf gibt. Ist ein Konnektor eingerichtet, greift er nach Zeitplan auf das Quellsystem zu, liest die Metadaten aus - Schemas, Tabellen, Dashboards, Jobs, Verantwortlichkeiten, Data Lineage - und bildet sie im Katalog ab. Ihre eigentlichen Zeilen und Werte bleiben, wo sie sind.

Konnektoren sind der Grund, warum ein Datenkatalog Fragen wie „Welches Power-BI-Dashboard hängt von dieser Snowflake-Tabelle ab?“ oder „Wer verantwortet das orders-Topic in Kafka?“ beantworten kann - automatisch, ohne dass jemand eine Excel-Liste pflegen muss.

Drei Eigenschaften unterscheiden einen guten Konnektor von einem brüchigen: Er sollte nur lesend und sicher sein, er sollte inkrementell arbeiten, damit nicht bei jeder Aktualisierung ein vollständiger Neuscan nötig ist, und er sollte Data Lineage über Systemgrenzen hinweg auflösen, nicht nur innerhalb eines Werkzeugs.

Über die Plattform

Was ist Amazon Redshift?

Amazon Redshift ist das Cloud Data Warehouse von AWS. Massiv parallele Verarbeitung und spaltenorientierte Speicherung halten analytische Abfragen auch über Datenbestände im Petabyte-Bereich schnell. Handel, Fintechs und AWS-nahe Teams nutzen es als analytisches Rückgrat, oft zusammen mit S3, AWS Glue und QuickSight.

Der Glue Data Catalog deckt ab, was in S3 und Lake Formation liegt. Nicht abgedeckt sind der BI-Bericht, der die Redshift-Tabelle nutzt, das Datenprodukt, für das der Fachbereich verantwortlich ist, und die Richtlinie, die Security freigegeben hat. Genau dort setzt der Redshift-Datenkatalog von Dawiso an: nur lesend, nur Metadaten, und plattformübergreifend.

Architektur

So verbindet sich Dawiso mit Redshift

Eine kleine, nur lesende Rolle aufseiten von Redshift. Der Dawiso-Scanner holt die Metadaten nach Zeitplan. Alles landet in Ihrem Katalog, fachlich lesbar.

Quelle

Amazon-Redshift-Cluster

Datenbanken und Schemas
Tabellen und externe Tabellen
Views und materialisierte Views
Prozeduren und Funktionen

REST · JDBC

Dawiso-Scanner

Metadatenzugriff nur lesend

Schema- und Objekterkennung
Auflösung von Abhängigkeiten
SQL-Flow-Parsing (optional)
Sampling nach Opt-in

Intern

Katalog

Dawiso-Plattform

Durchsuchbare Metadaten
Data Lineage und Verantwortlichkeiten
Business Glossary
Richtlinien und Klassifizierungen

Verbindungsdetails

Protokoll: Redshift JDBC + INFORMATION_SCHEMA und die SVV-Views aus pg_catalog
Authentifizierung: Benutzer und Passwort · eigene Gruppe mit reinem Leserecht
Lineage: Primary Keys, Foreign Keys und Constraints werden aus INFORMATION_SCHEMA und den SVV-Views von pg_catalog aufgelöst und bilden die Beziehungen zwischen Tabellen, Views und Schemas ab

Einrichtung

Redshift in 4 Schritten verbinden

01

Gruppe mit reinem Leserecht anlegen

Führen Sie CREATE GROUP dawiso_integration_group aus und legen Sie darin einen eigenen Benutzer an. Das vollständige GRANT-Skript liefert Dawiso in der Dokumentation mit.
02

Zugriff auf die Metadaten vergeben

GRANT TEMP auf die Datenbank, USAGE auf information_schema und die Zielschemas, SELECT auf die SVV-Views in pg_catalog (svv_all_schemas, svv_table_info, svv_all_columns).
03

In Dawiso verbinden

Tragen Sie den Endpunkt des Redshift-Clusters (oder den DNS-Namen) ein, Port 5439, dazu Benutzer und Passwort. Wählen Sie je nach Netzwerkzugang die gemeinsame oder die private Verbindung.
04

Ingestion starten

Der geplante inkrementelle Sync hält Datenbanken, Schemas und Tabellen aktuell. Wiederholen Sie das GRANT-Skript für jede Datenbank und jedes Schema, das erfasst werden soll.

Funktionen

Das bekommen Sie mit dem Konnektor für Redshift

Katalog für Schemas und Tabellen

Jede Redshift-Datenbank, jedes Schema, jede Tabelle, View und Routine ist durchsuchbar, mit Spaltenbeschreibungen, Datentypen und Verantwortlichen.
Keys und Beziehungen

Primary Keys, Foreign Keys und Constraints werden aus den Katalogviews gelesen. So sind die Beziehungen zwischen Redshift-Tabellen, Views und Schemas abgebildet und durchsuchbar.
PII-Klassifizierung

Klassifizieren Sie eine Spalte einmal. Dawiso markiert jede Redshift-Spalte mit E-Mail-Adresse, IBAN oder amtlichen Ausweisnummern in allen Datenbanken und Schemas.
Verantwortung und Zertifizierung

Markieren Sie Tabellen als zertifiziert, veraltet oder in Prüfung. Verantwortliche sind im Katalog sichtbar und bleiben beim jeweiligen Redshift-Objekt.
Externe Tabellen inklusive

Externe Tabellen aus Spectrum werden neben den nativen Redshift-Tabellen katalogisiert. So bleibt die Lake-Seite Ihres Warehouse genauso durchsuchbar.
Nachweise für DSGVO und DORA

Sensible Spalten werden getaggt, und die Richtlinie folgt ihnen durch Views bis ins nachgelagerte BI, mit vollständigem Audit-Trail für die Aufsicht.

Geschäftlicher Nutzen

Warum Teams den Konnektor für Redshift aktivieren

-65 %
Weniger Rückfragen nach der richtigen Tabelle

Analysten finden die zertifizierte Gold-Tabelle in Dawiso, statt beim Datenteam zu fragen, welche Staging-View auf den Umsatz abbildet.
10x
Schnellere Auswirkungsanalyse

Bevor Sie eine Redshift-View ändern, sehen Sie genau, welche Tabellen, Dashboards und ML-Features von ihr abhängen. Sekunden statt Tage.
Nur lesend
Kein Risiko für die Produktion

Dawiso nutzt eine eigene Gruppe, die ausschließlich SELECT auf Metadaten-Views hat. Ihre Abfragen, Ihre Daten und Ihre Schreibpfade bleiben unberührt.

Bereit, Ihr Redshift zu katalogisieren?

Den Konnektor richten Sie an einem Nachmittag ein. Ihren ersten Lineage-Graph sehen Sie noch am selben Tag.

Zur Dokumentation

Häufige Fragen

Noch Fragen? Sprechen Sie mit unserem Team ->

Was ist der Datenkatalog von AWS?

Der AWS Glue Data Catalog speichert Tabellen- und Schemametadaten für S3 und Redshift Spectrum. Dawiso ergänzt die Schicht, die Glue nicht abdeckt: BI-Berichte, Business Glossary und Richtlinien, mit Keys, Constraints und den Beziehungen zwischen Objekten über Redshift und den Rest Ihres Stacks hinweg.

Was ist der Katalog in Redshift?

Redshift stellt Systemkatalogviews bereit (pg_catalog und die SVV-Views), die Datenbanken, Schemas und Tabellen beschreiben. Dawiso liest sie nur lesend und macht daraus einen fachlich lesbaren Katalog mit Keys, Constraints, Verantwortlichkeiten, Klassifizierung und Suche.

Wozu dient ein Datenkatalog?

Ein Datenkatalog macht jede Redshift-Tabelle auffindbar, dokumentiert und vertrauenswürdig: wer für sie verantwortlich ist, was sie bedeutet und woher sie stammt. Dawiso macht aus verstreuten Schemas einen durchsuchbaren Katalog für das ganze Unternehmen.

Welche Berechtigungen braucht Dawiso in Redshift?

Eine eigene Gruppe dawiso_integration_group mit TEMP auf die Datenbank, USAGE auf information_schema und die Zielschemas, dazu SELECT auf die SVV-Views in pg_catalog (svv_all_schemas, svv_table_info, svv_all_columns, svv_external_tables, svv_redshift_databases) und auf pg_proc. Durchgehend nur lesend.

Kopiert Dawiso unsere Redshift-Daten?

Nein. Dawiso fragt INFORMATION_SCHEMA und die Views in pg_catalog ausschließlich nach Metadaten ab. Die Daten auf Zeilenebene bleiben in Redshift. Profiling und Sampling von Spalten sind pro Datenquelle optional und laufen nie automatisch.

Wie bildet Dawiso die Beziehungen zwischen Redshift-Objekten ab?

Dawiso liest Primary Keys, Foreign Keys und Constraints aus INFORMATION_SCHEMA und den SVV-Views von pg_catalog und bildet daraus die Beziehungen zwischen Tabellen, Views und Schemas ab. So sind Abhängigkeiten über das ganze Cluster hinweg durchsuchbar.

Funktioniert es mit Redshift Serverless und privaten Clustern?

Ja. Für die Verbindung genügen Endpunkt, IP-Adresse oder interner DNS-Name des Clusters auf Port 5439. Für Cluster ohne Zugang aus dem öffentlichen Internet nutzen Sie die private Verbindung und leiten die Ingestion über die Dawiso Integration Runtime.