--- title: "Apache Kafka: Datenkatalog & Konnektor | Dawiso" description: "Der Apache-Kafka-Konnektor von Dawiso macht Ihre Cluster zum durchsuchbaren Katalog: Broker, Topics und Consumer Groups, mit Lineage von Producer zu Consumer." url: "https://www.dawiso.com/de/connectors/apache-kafka" language: "de" --- Konnektor für Streaming · Event-Plattform # Der Datenkatalog für Kafka, dem Ihr ganzes Team vertrauen kann. Der Apache-Kafka-Datenkatalog von Dawiso macht jedes Cluster, jeden Broker, jedes Topic und jede Consumer Group zu einem durchsuchbaren Inventar, mit Lineage vom Producer bis zum Consumer. [Demo buchen](https://www.dawiso.com/de/book-a-dawiso-demo) [Zur Dokumentation](https://help.dawiso.com/actual/apache-kafka/) Live-Konnektor Stabiler Konnektor Kafka Dawiso Nur Metadaten · Ihre Daten verlassen die Quelle nie **Typ** Verteiltes Event-Streaming **Auth** SASL/PLAIN (JAAS) · technischer Benutzer mit ACLs **Sync** Geplant, inkrementell **Richtung** Nur lesend · Metadaten Zuerst das Wichtigste ## Was ist ein Konnektor? Nur Metadaten Nur lesender Zugriff Inkrementeller Sync Systemübergreifende Lineage Ein Konnektor ist die Brücke zwischen einem Werkzeug in Ihrem Stack und dem Katalog, der Ihnen einen einheitlichen Blick darauf gibt. Ist ein Konnektor eingerichtet, greift er nach Zeitplan auf das Quellsystem zu, liest die *Metadaten* aus - Schemas, Tabellen, Dashboards, Jobs, Verantwortlichkeiten, Data Lineage - und bildet sie im Katalog ab. Ihre eigentlichen Zeilen und Werte bleiben, wo sie sind. Konnektoren sind der Grund, warum ein Datenkatalog Fragen wie *„Welches Power-BI-Dashboard hängt von dieser Snowflake-Tabelle ab?“* oder *„Wer verantwortet das orders-Topic in Kafka?“* beantworten kann - automatisch, ohne dass jemand eine Excel-Liste pflegen muss. Drei Eigenschaften unterscheiden einen guten Konnektor von einem brüchigen: Er sollte **nur lesend und sicher** sein, er sollte **inkrementell** arbeiten, damit nicht bei jeder Aktualisierung ein vollständiger Neuscan nötig ist, und er sollte **Data Lineage über Systemgrenzen hinweg auflösen**, nicht nur innerhalb eines Werkzeugs. Über die Plattform ## Was ist Apache Kafka? Apache Kafka ist die quelloffene Plattform für Event-Streaming, die Daten in Echtzeit zwischen Systemen bewegt. Banken nutzen sie für Transaktionen, der Handel für Klickströme, die Industrie für Sensortelemetrie. Üblich sind Kombinationen mit einer Schema Registry für Avro oder Protobuf, mit Kafka Connect und mit nachgelagerten Warehouses wie Snowflake oder BigQuery. Kafka zu betreiben ist der einfache Teil. Der schwierige ist zu wissen, was durch Hunderte Topics fließt, wer dafür verantwortlich ist und welche Schemas sich letzte Nacht geändert haben: Producer liefern aus, Consumer brechen, und kein Katalog sagt Ihnen warum. Genau dort setzt der Apache-Kafka-Datenkatalog von Dawiso an: nur lesend, nur Metadaten, und plattformübergreifend. 80 % der Fortune 100 nutzen Kafka 5 Mio.+ Downloads insgesamt Open Source Lizenz Apache 2.0 Architektur ## So verbindet sich Dawiso mit Kafka Eine kleine, nur lesende Rolle aufseiten von Kafka. Der Dawiso-Scanner holt die Metadaten nach Zeitplan. Alles landet in Ihrem Katalog, fachlich lesbar. Quelle ### Kafka-Cluster - Broker und Cluster-Konfiguration - Topics und Partitionen - Producer und Consumer - ACLs und Konfigurationen REST · JDBC Dawiso-Scanner ### Metadatenzugriff nur lesend - Schema- und Objekterkennung - Auflösung von Abhängigkeiten - SQL-Flow-Parsing (optional) - Sampling nach Opt-in Intern Katalog ### Dawiso-Plattform - Durchsuchbare Metadaten - Data Lineage und Verantwortlichkeiten - Business Glossary - Richtlinien und Klassifizierungen Verbindungsdetails **Protokoll** Kafka Admin API **Authentifizierung** SASL/PLAIN mit JAAS-Datei · eigener technischer Benutzer · ACLs für Describe und Read **Lineage** Die Beziehungen von Producer über Topic zu Consumer werden aus den Metadaten der Consumer Groups und den Broker-ACLs aufgelöst; die nachgelagerte plattformübergreifende Lineage wird mit Warehouse- und dbt-Quellen zusammengeführt Einrichtung ## Kafka in 4 Schritten verbinden 1. 01 ### Technischen JAAS-Benutzer anlegen Legen Sie in kafka_server_jaas.conf einen PlainLoginModule-Eintrag für einen eigenen Benutzer an (zum Beispiel dawiso_technical_user). Geben Sie den Dateipfad über -Djava.security.auth.login.config an die Broker weiter. 2. 02 ### Nur lesende ACLs vergeben Vergeben Sie mit kafka-acls.sh die Rechte Describe und Read auf Topic '\*' sowie Describe und DescribeConfigs auf die Consumer Groups, die katalogisiert werden sollen. Durchgehend nur lesend. 3. 03 ### In Dawiso verbinden Tragen Sie die Bootstrap-Server und die Zugangsdaten ein. Die Verbindung wird in Sekunden gegen die Admin API geprüft. 4. 04 ### Ingestion starten Der geplante inkrementelle Sync hält Topics und Consumer Groups aktuell. Änderungen an einem Topic oder an der Verantwortung markieren nachgelagerte Consumer für die Auswirkungsanalyse. Funktionen ## Das bekommen Sie mit dem Konnektor für Kafka - ### Katalog für Topics und Cluster Jedes Topic über alle Cluster hinweg ist durchsuchbar, mit Anzahl der Partitionen, Aufbewahrung, Verantwortlichen und dem Team, das den Producer gebaut hat. - ### Schemas über Confluent Sie betreiben eine Schema Registry? Avro-, Protobuf- und JSON-Schemas werden samt Versionshistorie und Unterschieden über den eigenen Confluent-Kafka-Konnektor katalogisiert. - ### Lineage von Producer zu Consumer Sehen Sie, welche Dienste in ein Topic schreiben und welche nachgelagerten Jobs daraus lesen. Die Auswirkungsanalyse funktioniert beim Streaming genauso wie bei Tabellen. - ### PII in Events Klassifizieren Sie ein Topic einmal. Dawiso markiert jedes Topic mit E-Mail-Adresse, IBAN oder amtlichen Ausweisnummern über alle Cluster und Umgebungen hinweg. - ### Data Contracts Erheben Sie ein Topic zu einem Data Contract. Blockieren Sie inkompatible Änderungen, bevor sie ausgeliefert werden, und benachrichtigen Sie die Abnehmenden, wenn sich der Kontrakt weiterentwickelt. - ### Durchsatz und Aktualität Volumen je Topic, Lag je Consumer Group und der Zeitpunkt des letzten Schreibvorgangs erscheinen im Katalog, direkt neben den Verantwortlichen. Geschäftlicher Nutzen ## Warum Teams den Konnektor für Kafka aktivieren - 0 ### Stille Ausfälle durch Topic-Änderungen Verantwortlichkeiten, Data Contracts und Benachrichtigungen an Consumer verhindern, dass eine unangekündigte Änderung an einem Topic über Nacht drei nachgelagerte Dienste lahmlegt. - -80 % ### Zeit bis zum richtigen Topic Neue Engineers fragen nicht mehr in Slack, welches Topic die Bestellereignisse führt. Sie suchen im Apache-Kafka-Datenkatalog und lesen nach. - EU-tauglich ### Governance für Streaming Personenbezogene Daten, die durch Kafka fließen, werden klassifiziert, sind prüfbar und werden über Richtlinien verfolgt, genauso wie Daten, die in Ihrem Warehouse liegen. ## Bereit, Ihr Kafka zu katalogisieren? Den Konnektor richten Sie an einem Nachmittag ein. Ihren ersten Lineage-Graph sehen Sie noch am selben Tag. [Demo buchen](https://www.dawiso.com/de/book-a-dawiso-demo) [Zur Dokumentation](https://help.dawiso.com/actual/apache-kafka/) ## Häufige Fragen Noch Fragen? [Sprechen Sie mit unserem Team ->](https://www.dawiso.com/contact-us) **Hat Kafka einen Datenkatalog?** Kafka selbst hat keinen; Confluent ergänzt Schema Registry und Stream Catalog. Dawiso liest Ihre Topics nur lesend und verbindet die Streaming-Daten mit den nachgelagerten Warehouses und dem BI, sodass Lineage und Verantwortlichkeiten den ganzen Stack umspannen. Objekte der Schema Registry werden über den eigenen Confluent-Kafka-Konnektor katalogisiert. **Was sind Metadaten in Kafka?** Kafka-Metadaten umfassen Topics, Partitionen, Consumer Groups und Offsets. Dawiso liest die Metadaten zu Topics und Consumer Groups nur lesend, dokumentiert jedes Topic mit Verantwortlichen und Bedeutung und verfolgt, welche Systeme es erzeugen und lesen. **Welche Berechtigungen braucht Dawiso in Kafka?** Einen eigenen technischen SASL-Benutzer (zum Beispiel dawiso_technical_user) mit ACLs für Describe und Read auf Topic '\*' sowie Describe und DescribeConfigs auf die Consumer Groups, die katalogisiert werden sollen. Dawiso schreibt nie in Ihre Topics und liest nie aus ihnen. **Liest Dawiso aus unseren Topics?** Nein. Der Standardmodus ist rein auf Metadaten beschränkt und läuft über die Kafka Admin API. Das Sampling eines Topics ist pro Datenquelle optional, läuft nur, wenn Sie es ausdrücklich einschalten, und startet nie von allein. **Wie werden Producer und Consumer verknüpft?** Aus den Metadaten der Consumer Groups auf den Brokern, aus den Broker-ACLs und aus der plattformübergreifenden Lineage, wenn das Topic Quelle oder Ziel eines eingelesenen dbt- oder Warehouse-Objekts ist. Manuelle Zuordnungen lassen sich in Dawiso kuratieren. **Welche Kafka-Distributionen werden unterstützt?** Apache Kafka mit SASL/PLAIN-Authentifizierung. Das Verbindungsformular verlangt Bootstrap-Server und einen über JAAS definierten Benutzer. Für Confluent Cloud und Confluent Platform nutzen Sie den eigenen Confluent-Kafka-Konnektor, der den Confluent-REST-Endpunkt und die Stream Governance API anspricht. ## Weitere Konnektoren entdecken Kafka ist einer von über 30 Konnektoren. Bringen Sie Ihren gesamten Stack in den Katalog. - [Data Warehouse Snowflake](https://www.dawiso.com/connectors/snowflake) - [Data Lakehouse Databricks](https://www.dawiso.com/connectors/databricks) - [Business Intelligence Power BI](https://www.dawiso.com/connectors/power-bi) - [Business Intelligence Tableau](https://www.dawiso.com/connectors/tableau) - [Data Warehouse Google BigQuery](https://www.dawiso.com/connectors/google-bigquery) - [Data Warehouse Amazon Redshift](https://www.dawiso.com/connectors/amazon-redshift) [Alle Konnektoren ansehen](https://www.dawiso.com/de/connectors)