Use Cases für Change Data Streams Change Data Streams erstellen Change Data Capture mit Kafka (Connect) Demo. #Debezium

Größe: px

Ab Seite anzeigen:

Download "Use Cases für Change Data Streams Change Data Streams erstellen Change Data Capture mit Kafka (Connect) Demo. #Debezium"

Katrin Sabine Gerstle
vor 5 Jahren
Abrufe

1 Streaming von Datenbankänderungen mit Debezium Gunnar Morling

2 Agenda Use Cases für Change Data Streams Change Data Streams erstellen Change Data Capture mit Kafka (Connect) Debezium Demo

3 Gunnar Morling Open Source Software Engineer bei Red Hat Debezium Hibernate Spec Lead für Bean Validation 2.0 Weitere Projekte: ModiTect, MapStruct

4 Change Data Capture Worum geht's? Event-Stream mit allen Daten- und Schemaänderungen einer DB DB 1 Apache Kafka?

5 CDC Use Cases Datenreplikation Daten aus einer DB an eine andere übertragen Analytics-System oder DWH befüllen DB 2 Daten an andere Teams übermitteln Apache Kafka DB 1

6 CDC Use Cases Microservice-Architekturen Propagation von Daten zwischen verschiedenen Services ohne Kopplung Jeder Service hält lokal seine optimierte Datensicht Order Item Stock App App App Lokale DB Lokale DB Lokale DB Auch: Monolithenextraktion Stock-Änderungen Item-Änderungen

7 CDC Use Cases Weitere Caches aktualisieren oder invalidieren Aktualisierung von Volltext-Indices via Elasticsearch, Solr etc. CQRS Read-Modelle Streaming Queries UI-Live-Updates

8 Change Streams erstellen

9 Wie Change Streams erstellen? Mögliche Ansätze Dual Write Fehlerbehandlung? Race Conditions möglich Polling Wie veränderte Datensätze finden? Wie Löschungen erkennen?

10 Wie Change Streams erstellen? Die Lösung: Monitoring der DB DB trägt Änderungen in Log-Dateien ein und aktualisiert dann die Tabellen Verwendet für Transaktions-Recovery, Replikation etc. Log-Dateien = Perfekte Basis für CDC MySQL: Binlog; Postgres: Write-Ahead Log; MongoDB Op Log Transparent für schreibende Applikationen Verzögerungen möglich, aber keine Inkonsistenzen

11 Apache Kafka Perfekte Basis für CDC-Pipelines Messages haben einen Key Garantierte Ordnung (pro Partition) Persistent und pull-basiert Log Compaction Horizontale Skalierbarkeit

12 Kafka Connect Framework für Source- und Sink-Konnektoren Offset-Verwaltung Typsystem und Schema-Support Clustering Großes Ökosystem von Konnektoren

13 CDC-Topologie mit Kafka Connect MySQL Apache Kafka Postgres

14 CDC-Topologie mit Kafka Connect MySQL Kafka Connect Apache Kafka Kafka Connect Postgres

15 CDC-Topologie mit Kafka Connect MySQL DBZ MySQL DBZ PG Kafka Connect Apache Kafka Kafka Connect Postgres

16 CDC-Topologie mit Kafka Connect MySQL DBZ MySQL DBZ PG Kafka Connect Apache Kafka ES Connector Kafka Connect Elasticsearch Postgres

17 CDC-Event-Struktur Schlüssel (PK der Tabelle) und Wert Payload: Vorher-/Nachher-Zustand, Source-Info JSON Avro Lesbar Verbose Optional: Schema in jeder Nachricht Kompakte Binärrepräsentation Nutzt Confluent Schema Registry { } "schema": {... }, "payload": { "before": null, "after": { "id": 1004, "first_name": "Anne", "last_name": "Kretchmar", " ": "annek@noanswer.org" }, "source": { "name": "dbserver1", "server_id": 0, "ts_sec": 0, "file": "mysql bin ", "pos": 154, "row": 0, "snapshot": true, "db": "inventory", "table": "customers" }, "op": "c", "ts_ms": }

18 Initiale Snapshots TX Logs können zum Startzeitpunkt des Konnektors unvollständig sein Erstellung eines Snapshots der Tabellen (übermittelt INSERT-Events) Danach Lesen der Logs

19 Debezium-Konnektoren MySQL Postgres MongoDB Oracle (Tech Preview, XStream-basiert) SQL Server (Tech Preview) Geplant Cassandra? MariaDB?

20 Debezium Aktuell: 0.8/0.9 (basierend auf Kafka 2.0) Einheitliche Eventstruktur Umfangreiche Typunterstützung (PostGIS etc.) Nutzbar auf Amazon RDS Monitoring via JMX Gemeinsame Optionen (Filter etc.) Im Produktiv-Einsatz bei Trivago, WePay, BlaBlaCar und anderen Rege Community

21 Demo

22 Message-Transformationen Bearbeitung einzelner Events via SMTs Use Cases: Extraktion Konvertierung Routing Anwendbar auf Source- oder Sink-Seite Verfügbar in Debezium: Logical Table Router Event Flattening SMT

23 Demo

24 Ausblick Debezium 0.9 Weiterentwicklung Oracle und SQL Server Alternative zu XStreams für Oracle Debezium 0.x Installation via OpenShift-Servicekatalog Reactive Streams-Support Caching via Infinispan Debezium 1.x Standalone Server, Support für Kinesis, Pulsar etc. Event-Aggregation, Bausteine für deklarativen CQRS-Support

Zusammenfassung Debezium: CDC für diverse DBs Transparentes Aufsetzen von Change Data Streams Funktioniert zuverlässig auch im Fehlerfall Keine

25 Zusammenfassung Debezium: CDC für diverse DBs Transparentes Aufsetzen von Change Data Streams Funktioniert zuverlässig auch im Fehlerfall Keine "Dual-Write"-Problematik Clients setzen nach Ausfall am letzten Offset fort Alles ist Open Source (Apache License v2) Contributions herzlich willkommen!

26 Probiert es selber aus Docker-Images für alle Komponenten Umfangreiches Tutorial Docker Compose Set-up Anleitung für OpenShift Strimzi (Kafka auf Kubernetes/OpenShift)

Ressourcen Website: http://debezium.io/ Quellcode, Beispiele, Compose-Set-up etc. https://github.

27 Ressourcen Website: Quellcode, Beispiele, Compose-Set-up etc. Diskussionen, Hilfe #!forum/debezium Roadmap

Ähnliche Dokumente

Data Pipelines mit zentralem Kosmos Kafka. Markus Bente

Data Pipelines mit zentralem Kosmos Kafka Markus Bente @trivadis doag2018 Mit über 650 IT- und Fachexperten bei Ihnen vor Ort. 16 Trivadis Niederlassungen mit über 650 Mitarbeitenden. Erfahrung aus mehr