Aktuelle SE Praktiken für das WWW

Transkript

1 Aktuelle SE Praktiken für das WWW SQL vs. NoSQL W. Mark Kubacki

2 Gliederung Zusammenfassung Entstehungsgeschichte SQL vs. NoSQL Systemarchitekturen und Wachstumsmuster SQL NoSQL Überblick und Einsatzbeispiele Verteilte Datenbanken SE Praktiken W. Mark Kubacki: SQL vs. NoSQL

3 Zusammenfassung SQL vs. NoSQL ist eine Bewegung Unzufriedener Ignoranten? Kritik an SQL und an relationalen DBMS die Datenbank gibt es nicht aber mehr Auswahl spezielle Einsatzgebiete DB für eine Datenstruktur wählen, nicht umgekehrt. W. Mark Kubacki: SQL vs. NoSQL

4 Entstehungsgeschichte NoSQL ist nicht neu, SQL ist es 90 er: SQL vs. Objektorientierte dedizierte Datenbanken Schlüssel/Wert Speicher 1979: dbm, sdbm, BerkeleyDB neu: hauptspeicherbasierte DBs verteilte DBs W. Mark Kubacki: SQL vs. NoSQL

5 Entstehungsgeschichte Webanwendungen große Datenmengen heiße Daten response time (günstige) Skalierbarkeit einfache Einbindung Cloud Computing Grenzen von MySQL, PostgreSQL und Co. Rackspace 2009: Was machen wir? W. Mark Kubacki: SQL vs. NoSQL

6 Systemarchitekturen Skalierbarkeit Skalabilität Horizontale Vertikale W. Mark Kubacki: SQL vs. NoSQL

7 Systemarchitekturen - 1:1 Anwendungsserver Datenbank Frontend Backend W. Mark Kubacki: SQL vs. NoSQL

8 Systemarchitekturen n:1 Datenbank W. Mark Kubacki: SQL vs. NoSQL

9 Systemarchitekturen n:m(1) Master 3 Spiegel (nur Lesen) W. Mark Kubacki: SQL vs. NoSQL

10 Systemarchitekturen - Verbesserungsideen Daten aufteilen Partitionieren Sharding Verteilte Datenbank nutzen Backend von Frontend entkoppeln Lastkurve glätten W. Mark Kubacki: SQL vs. NoSQL

11 Partitionierung Server A Server B Vertikale ~ ID Name Alter Abteilung 1 Alpha 25 A 2 Beta 26 A 3 Gamma 27 B 4 Delta 28 A 5 Epsilon 29 B 6 Zeta 30 B ID muss ergänzt werden Horizontale ~ ID Name Alter Abteilung 1 Alpha 25 A 2 Beta 26 A 3 Gamma 27 B 4 Delta 28 A 5 Epsilon 29 B 6 Zeta 30 B W. Mark Kubacki: SQL vs. NoSQL

12 Datenaufteilung Horizontale Partitionierung Sharding SQL so nicht mehr möglich Datenverwaltung in Anwendung Weiteres Wachstum? Mehr DB-Server? Schemaänderungen? Konfigurationen? W. Mark Kubacki: SQL vs. NoSQL

13 Systemarchitekturen Warum nicht gleich eine bessere Lösung? W. Mark Kubacki: SQL vs. NoSQL

14 SQL Relationale Datenbanken SQL Verwaltung Abfrage Transformation Programme in PL/SQL etwa PostgreSQL: andere Sprachen W. Mark Kubacki: SQL vs. NoSQL

15 SQL SQL ist kompliziert eine zusätzliche Sprache Wir brauchen keine Transaktionen. Funktioniert jetzt nicht mehr. JOIN, JOIN, LEFT JOIN was mit wem? Sowieso nicht einheitlich, Sprache X schon. W. Mark Kubacki: SQL vs. NoSQL

16 RDBMS sind langsam? Datenorganisation festes Schema Speicherung in Zeilen (?) Row-./. Column(ar)-./. Correlation-Stores Person Name Abteilung 100 Alpha A 101 Beta A OID 1 2 Person OID Name OID Abteilung Alpha 1 A Beta 2 A W. Mark Kubacki: SQL vs. NoSQL

17 RDBMS sind unflexibel? Schemaänderungen bei Columnar schnell DBMS = DB + Management System Storage kann getauscht werden SQL bleibt RDBMS bedeutet nicht zwingen auch SQL! MonetDB: SQL, MAL, MIL, Xpath W. Mark Kubacki: SQL vs. NoSQL

18 Eigene Erfahrungen Amazon Xlarge, MySQL: Zeilen/s 50ms mindestens pro Leseoperation mit Schlüssel/Wert Speicher (Tokyo Cabinet): SQL in die Anwendung schieben Zeilen/s <<1ms pro Leseoperation Komprimierung möglich W. Mark Kubacki: SQL vs. NoSQL

19 NoSQL W. Mark Kubacki: SQL vs. NoSQL

20 NoSQL Datenstruktur? O(1), O(log N), O(N²)? Verteilt? Schema-Äquivalenz? Foreign Keys, Trigger? Abfragesprache? Schnittstellen zur primären Sprache? W. Mark Kubacki: SQL vs. NoSQL

21 NoSQL Demo: Datenstrukturen W. Mark Kubacki: SQL vs. NoSQL

22 NoSQL - Datentransformation Mitarbeiter ID Name Alter 1 Alpha 25 2 Beta 26 3 Gamma 27 4 Delta 28 Mitarbeiter_1:Name Mitarbeiter_2:Name Mitarbeiter_3:Name Mitarbeiter_4:Name Alpha Beta Gamma Delta Mitarbeiter_1 Name Alpha Mitarbeiter_2 Name Beta Mitarbeiter_3 Name Gamma Mitarbeiter_4 Name Delta W. Mark Kubacki: SQL vs. NoSQL

23 NoSQL Einsatzbeispiele (1) A1 A2 A3 A4 Nginx Q1 Queue GET Redis oder MySQL Q2 Q3 Kommentar-Handler Kommentar-Prozessor(en) A Kommentare werden mit einem konstanten Text beantwortet. Q Sie werden in die Queue geschrieben, aus der sich die Prozessoren bedienen. Q3 Im Erfolgsfall wird die Seite ergänzt, gerendert und in die DB geschrieben. GET Nginx bedient sich bei Lesezugriffen direkt aus der Datenbank. W. Mark Kubacki: SQL vs. NoSQL

24 NoSQL Einsatzbeispiele (2) Static Cache / Memcachedb / Redis / Terracota Ehcache gewöhnliches Backend W. Mark Kubacki: SQL vs. NoSQL

25 NoSQL Einsatzbeispiele (2) Nginx 4 Anwendung 3 Redis oder MySQL ,9 Nginx 5 Redis oder MySQL 8 Schritte 5-10 nur wenn 3 keine Seite. Schritt 10 liegt außerhalb des kritischen Pfades. Anwendung 10 1 Anfrage 2 Anfrage weitergereicht 3 Anwendung an DB 4 Rohdaten 5 gerenderte Seite 6 Antwort auf Anfrage 1 Anfrage 2 Nginx liest Redis 3 gerenderte Seite direkt aus Redis 4 Antwort auf Anfrage 5 Anfrage weitergereicht 6-7 (nicht abgebildet) Anwendung kommuniziert mit Datenbank 8 gerenderte Seite 9 Antwort auf Anfrage 10 gerenderte Seite wird in Redis gespeichert W. Mark Kubacki: SQL vs. NoSQL

26 NoSQL Einsatzbeispiele (2) Datenstrukturen: Queue Schlüssel/Wert Hashliste Effizienz: Zugriff in O(1) statt O(log N) Kapazität Frontends KVS W. Mark Kubacki: SQL vs. NoSQL

27 NoSQL Verteilte Datenbanken Es gibt auch verteilte RDBMS mit SQL! eigentliche Verteilung Föderation Man zahlt pro CPU oder Rechner. W. Mark Kubacki: SQL vs. NoSQL

28 NoSQL Verteilte Datenbanken Brewer s Cap Theorem: Consistency, Availability, Tolerance to network Partitions. Theorem: You can have at most two of these properties for any shared-data system. W. Mark Kubacki: SQL vs. NoSQL

29 NoSQL Verteilte Datenbanken Consistency Partition Tolerance Availability Nicht: System Sondern: Algorithmus! W. Mark Kubacki: SQL vs. NoSQL

30 NoSQL Verteilte Datenbanken W. Mark Kubacki: SQL vs. NoSQL

31 SE Praktiken Objekt-Relational Mapper Model strikt von anderem trennen strikt! Mehr als eine DB/DBMS? Wo liegt die Hauptlast? Kritischer Pfad! W. Mark Kubacki: SQL vs. NoSQL

32 SE Praktiken Requirements Engineering: Was erfordern die Geschäftsprozesse des Kunden? Eventual Consistent Business? W. Mark Kubacki: SQL vs. NoSQL

33 SE Praktiken W. Mark Kubacki: SQL vs. NoSQL

34 SQL vs. NoSQL Webanwendungen Last, Interaktivität SQL langsam?, kann viel, RDBMS NoSQL Datenstrukturen, Optimierungen mehr Aufwand in der Anwendung leichter einfache Operationen umzusetzen Programmierer Ausbildung, Fähigkeiten W. Mark Kubacki: SQL vs. NoSQL