--- title: "Confluent Kafka: Datenkatalog & Konnektor | Dawiso" description: "Der Confluent-Kafka-Konnektor von Dawiso macht Ihre Confluent Cloud zum durchsuchbaren Datenkatalog: Topics, Stream Governance Schemas, Consumer Groups." url: "https://www.dawiso.com/de/connectors/confluent-kafka" language: "de" --- Konnektor für Streaming · Event-Plattform # Der Datenkatalog für Confluent, dem Ihr ganzes Team vertrauen kann. Der Confluent-Kafka-Datenkatalog von Dawiso macht Ihre Confluent Cloud zu einem durchsuchbaren Inventar: Cluster, Topics, Schemas aus Stream Governance und Consumer Groups. [Demo buchen](https://www.dawiso.com/de/book-a-dawiso-demo) [Zur Dokumentation](https://help.dawiso.com/actual/confluent-kafka/) Live-Konnektor Stabiler Konnektor Confluent Dawiso Nur Metadaten · Ihre Daten verlassen die Quelle nie **Typ** Verwaltete Kafka-Plattform **Auth** Confluent API Key und Secret (Cluster und Schema Registry) **Sync** Geplant, inkrementell **Richtung** Nur lesend · Metadaten Zuerst das Wichtigste ## Was ist ein Konnektor? Nur Metadaten Nur lesender Zugriff Inkrementeller Sync Systemübergreifende Lineage Ein Konnektor ist die Brücke zwischen einem Werkzeug in Ihrem Stack und dem Katalog, der Ihnen einen einheitlichen Blick darauf gibt. Ist ein Konnektor eingerichtet, greift er nach Zeitplan auf das Quellsystem zu, liest die *Metadaten* aus - Schemas, Tabellen, Dashboards, Jobs, Verantwortlichkeiten, Data Lineage - und bildet sie im Katalog ab. Ihre eigentlichen Zeilen und Werte bleiben, wo sie sind. Konnektoren sind der Grund, warum ein Datenkatalog Fragen wie *„Welches Power-BI-Dashboard hängt von dieser Snowflake-Tabelle ab?“* oder *„Wer verantwortet das orders-Topic in Kafka?“* beantworten kann - automatisch, ohne dass jemand eine Excel-Liste pflegen muss. Drei Eigenschaften unterscheiden einen guten Konnektor von einem brüchigen: Er sollte **nur lesend und sicher** sein, er sollte **inkrementell** arbeiten, damit nicht bei jeder Aktualisierung ein vollständiger Neuscan nötig ist, und er sollte **Data Lineage über Systemgrenzen hinweg auflösen**, nicht nur innerhalb eines Werkzeugs. Über die Plattform ## Was ist Confluent Kafka? Confluent Kafka ist die verwaltete Plattform für Apache Kafka, gebaut vom Unternehmen, das die ursprünglichen Entwickler von Kafka gegründet haben. Teams nutzen Confluent Cloud (oder Confluent Platform On-Premises), wenn sie Kafka ohne eigenen Broker-Betrieb wollen, mit Zusätzen darum herum: Stream Governance, Schema Registry, ksqlDB, RBAC und ein Stream Catalog, um Topics zu finden. Der Stream Catalog von Confluent kümmert sich um Topics innerhalb von Confluent. Nicht abgedeckt sind der Power-BI-Bericht, der die nachgelagerte Warehouse-Tabelle nutzt, und das Datenprodukt, für das der Fachbereich tatsächlich durchgängig verantwortlich ist. Genau dort setzt der Confluent-Kafka-Datenkatalog von Dawiso an: nur lesend, nur Metadaten, und plattformübergreifend. 2014 Von den Kafka-Entwicklern gegründet 963 Mio. USD Umsatz im Geschäftsjahr 2024 (NASDAQ:CFLT) Teil von IBM Übernommen im März 2026 Architektur ## So verbindet sich Dawiso mit Confluent Eine kleine, nur lesende Rolle aufseiten von Confluent. Der Dawiso-Scanner holt die Metadaten nach Zeitplan. Alles landet in Ihrem Katalog, fachlich lesbar. Quelle ### Confluent-Cloud-Umgebung - Cluster und REST-Endpunkt - Topics und Partitionen - Schemas aus Stream Governance - Consumer Groups und ACLs REST · JDBC Dawiso-Scanner ### Metadatenzugriff nur lesend - Schema- und Objekterkennung - Auflösung von Abhängigkeiten - SQL-Flow-Parsing (optional) - Sampling nach Opt-in Intern Katalog ### Dawiso-Plattform - Durchsuchbare Metadaten - Data Lineage und Verantwortlichkeiten - Business Glossary - Richtlinien und Klassifizierungen Verbindungsdetails **Protokoll** Confluent Cloud REST API + Schema Registry API **Authentifizierung** API Key und Secret für das Cluster · API Key und Secret für die Schema Registry · ACLs für das Dienstkonto **Lineage** Topics, Schemas und Consumer Groups werden aus den Cluster-Metadaten und der Schema Registry von Stream Governance katalogisiert, mit Verantwortlichkeiten und Schema-Versionen in Dawiso dokumentiert Einrichtung ## Confluent in 4 Schritten verbinden 1. 01 ### Cluster-ID und REST-Endpunkt holen Öffnen Sie in Confluent Cloud Cluster Overview > Cluster settings. Kopieren Sie die Cluster-ID und die URL des REST-Endpunkts und legen Sie beide für das Verbindungsformular bereit. 2. 02 ### API Key für das Cluster anlegen Erstellen Sie unter Cluster Overview > API keys einen API Key für ein Dienstkonto, mit ACLs für DescribeConfigs auf Cluster, Describe auf Consumer Group sowie Describe und DescribeConfigs auf Topic. 3. 03 ### API Key für die Schema Registry anlegen Kopieren Sie im Bereich Stream Governance API der Umgebung die Endpunkt-URL und erstellen Sie einen API Key samt Secret für die Schema Registry. Beide Paare werden gebraucht, um Topics und Schemas einzulesen. 4. 04 ### Verbinden und Ingestion starten Tragen Sie die Endpunkte und Zugangsdaten für Cluster und Schema Registry in Dawiso ein. Wählen Sie die Projekte über reguläre Ausdrücke, speichern Sie die Datenquelle und starten Sie die Ingestion. Der geplante inkrementelle Sync hält den Katalog aktuell. Funktionen ## Das bekommen Sie mit dem Konnektor für Confluent - ### Katalog für Topics und Cluster Jedes Topic über alle Confluent-Umgebungen hinweg ist durchsuchbar, mit Anzahl der Partitionen, Aufbewahrung, Verantwortlichen und dem Team, das den Producer gebaut hat. - ### Abgleich mit Stream Governance Schemas in Avro, Protobuf und JSON aus der Confluent Schema Registry, mit Versionshistorie und einer Ansicht der Unterschiede zwischen zwei Ständen. - ### Consumer Groups sichtbar Consumer Groups werden neben den Topics, aus denen sie lesen, in den Katalog übernommen. So ist klar, welche Gruppen an welchem Topic angemeldet sind. - ### PII in Events Klassifizieren Sie Schemafelder einmal. Dawiso markiert jedes Confluent-Topic mit E-Mail-Adresse, IBAN oder amtlichen Ausweisnummern über alle Cluster und Umgebungen hinweg. - ### Data Contracts Erheben Sie ein Schema zu einem Kontrakt. Blockieren Sie inkompatible Änderungen, bevor sie ausgeliefert werden, und benachrichtigen Sie die Abnehmenden, wenn sich der Kontrakt weiterentwickelt. - ### RBAC und ACLs sichtbar Cluster-ACLs und die Zuordnungen der Dienstkonten werden in den Katalog übernommen, sodass der Fachbereich sieht, wer wo was lesen darf. Geschäftlicher Nutzen ## Warum Teams den Konnektor für Confluent aktivieren - 0 ### Stille Ausfälle durch Schema-Änderungen Unterschiede zwischen Schema-Ständen und Benachrichtigungen an Consumer verhindern, dass eine Umbenennung in Protobuf über Nacht drei nachgelagerte Dienste lahmlegt. - -80 % ### Zeit bis zum richtigen Topic Neue Engineers fragen nicht mehr in Slack, welches Topic die Bestellereignisse führt. Sie suchen im Confluent-Kafka-Datenkatalog und lesen nach. - EU-tauglich ### Governance für Streaming Personenbezogene Daten, die durch Confluent fließen, werden klassifiziert, sind prüfbar und werden über Richtlinien verfolgt, genauso wie Daten, die in Ihrem Warehouse liegen. ## Bereit, Ihr Confluent zu katalogisieren? Den Konnektor richten Sie an einem Nachmittag ein. Ihren ersten Lineage-Graph sehen Sie noch am selben Tag. [Demo buchen](https://www.dawiso.com/de/book-a-dawiso-demo) [Zur Dokumentation](https://help.dawiso.com/actual/confluent-kafka/) ## Häufige Fragen Noch Fragen? [Sprechen Sie mit unserem Team ->](https://www.dawiso.com/contact-us) **Hat Confluent einen Datenkatalog?** Confluent Cloud bietet den Stream Catalog für Streaming-Metadaten. Dawiso holt Ihre Confluent-Topics, Schemas und Consumer Groups in denselben Katalog wie Ihre Warehouses und Ihr BI, mit Verantwortlichkeiten und Klassifizierung über den ganzen Stack. **Was sind Kafka-Metadaten?** Kafka-Metadaten umfassen Topics, Partitionen, Schemas und Consumer Groups; Confluent ergänzt Schema Registry und Stream Governance. Dawiso liest die Metadaten zu Topics und Schemas nur lesend und dokumentiert jedes Topic mit Verantwortlichen, Bedeutung und Schema-Versionen. **Was ist der Unterschied zwischen Kafka und Confluent Kafka?** Confluent Kafka ergänzt quelloffenes Kafka um Werkzeuge für Unternehmen: Schema Registry, Stream Governance, Konnektoren. Dawiso verbindet sich mit Confluent Cloud und katalogisiert Ihre Topics, Schemas und Consumer Groups neben dem Rest Ihrer Daten. **Welche Berechtigungen braucht Dawiso in Confluent?** Zwei Paare aus API Key und Secret. Eines für das Cluster, gebunden an ein Dienstkonto mit DescribeConfigs auf Cluster, Describe auf Consumer Group sowie Describe und DescribeConfigs auf Topic. Eines für die Schema Registry. Durchgehend nur lesend. **Liest Dawiso aus unseren Topics?** Nein. Der Standardmodus ist rein auf Metadaten beschränkt und läuft über die Confluent REST API und die Schema Registry von Stream Governance. Das Sampling eines Topics ist pro Datenquelle optional und läuft nie von allein. **Wie verhält sich Dawiso zum Confluent Stream Catalog?** Der Stream Catalog deckt Topics innerhalb von Confluent ab. Dawiso holt Confluent-Topics und Schemas in einen Katalog neben Ihre Warehouse- und BI-Assets, mit gemeinsamen Verantwortlichkeiten und gemeinsamer Klassifizierung. Beide können nebeneinander laufen; Dawiso liest ausschließlich Metadaten. **Unterstützt der Konnektor Confluent Platform On-Premises?** Das Verbindungsformular ist auf den REST-Endpunkt, die Schema Registry und die API-Key-Anmeldung von Confluent Cloud ausgelegt. Für Confluent Platform On-Premises wenden Sie sich an Customer Success; das Einlesen On-Premises läuft über die Dawiso Integration Runtime (DIR). ## Weitere Konnektoren entdecken Confluent ist einer von über 30 Konnektoren. Bringen Sie Ihren gesamten Stack in den Katalog. - [Data Warehouse Snowflake](https://www.dawiso.com/connectors/snowflake) - [Data Lakehouse Databricks](https://www.dawiso.com/connectors/databricks) - [Business Intelligence Power BI](https://www.dawiso.com/connectors/power-bi) - [Business Intelligence Tableau](https://www.dawiso.com/connectors/tableau) - [Data Warehouse Google BigQuery](https://www.dawiso.com/connectors/google-bigquery) - [Data Warehouse Amazon Redshift](https://www.dawiso.com/connectors/amazon-redshift) [Alle Konnektoren ansehen](https://www.dawiso.com/de/connectors)