SQL oder NoSQL. Steffen Krause Technical

Größe: px

Ab Seite anzeigen:

Download "SQL oder NoSQL. Steffen Krause Technical"

Irmela Auttenberg
vor 6 Jahren
Abrufe

1 SQL oder NoSQL die Auswahl derrichtigenrichtigen Datenbankplattform fürdie Cloud Steffen Krause Technical

2 Das richtige Werkzeug Wenn man nur einen Hammer hat sieht jedes Problem wie ein Nagel aus

4 Das universelle Systemdiagramm

5 Ihr Stack Load Balancer Application Tier Database tier

6 Ihr Stack der Sorgen Load balancer Sicherheit, Skalierung, Verfügbarkeit Application tier Sicherheit, Innovation, Skalierung, Performance, Verfügbarkeit Database tier Sicherheit, Innovation, Skalierung, Transaktionen, Performance, Persistenz, Verfügbarkeit, Kenntnisse..

7 Spektrum der Optionen SQL NoSQL Do it yourself Vollständig verwaltet

8 Wo ist das Problem? CAP Theorem

9 CAP Theorem Consistency Availability Partition ii Tolerance Wähle 2 beliebige aus *

10 OL(T?)P

11 Anwendungsfall: Relational

13 Transaktionen Konto A Konto B Kontoauszug A Kontoauszug B Image Credit:

14 ACID A Atomicity C Consistency I Isolation D Durability

15 Komplexes Schema

16 Flexibler, standardisierter Zugriff ETL APP A APP C APP B

17 Point in Time Recovery Restore hier Mo Mi Fr So Di Do Sa Mo Di Do Sa Mo Mi Fr So

18 Demo: Point tin Time Recovery

19 Skalierung Vertikale Skalierung RAM, CPU usw.

20 IOPS

21 Optionen Relational Do it Yourself Vollständig verwaltet Jede relationale x64/x86 Datenbank die Sie wollen Relational Database Service (RDS) Oracle SQL Server MySQL Postgres MariaDB DB2 Sybase

22 Demo: Provisioned i diops GE

23 Best Practices: RDBMS auf AWS Verwenden Sie mehrere Availability Zones RDS bietet MultiAZ füroracle Oracle, PostgreSQL undmysql Verwenden Sie Provisioned IOPs Bis zu für RDS Bis zu 4000 für EBS Volumes Striping (RAID 0) möglich für mehr Backup nach S3 Verwendung von DB Snapshots oder EBS Snapshots oder direktes S3 Backup wenn unterstützt (z.b. Oracle RMAN) Verwenden Sie geeignete Instanztypen > m3, c3, m2 Skalierung hoch/runter innerhalb von 5 20 Minuten durch Änderung des Instanztyps t

24 Anwendungsfall: NoSQL

25 Massives Scale Out

26 Flexibles Schema 2 Wochen später

27 Niedrige Latenz

28 NoSQL B A Basically Available S Soft state E Eventually consistent * Aber einige NoSQL Datenbanken bieten voll transaktionale Schreiboperationen

29 Scaling Horizontales Scaling RAM, CPU usw.

30 Typen von NoSQL Datenbanken Stark vereinfacht, ohne Memory Caches & Analytische Datenbanken Schlüssel Wert Schlüssel Spalte Spalte Spalte Schlüssel Wert Schlüssel Spalte Spalte Spalte z.b. Riak z.b. DynamoDB, Cassandra Schlüssel Schlüssel z.b. MongoDB, ClouchDB { document : JSON } { document : JSON } Node Node Node Node z.b. Neo4j Node + diverse andere Typen

31 NoSQL Datenbanken auf AWS Whitepaper dokumentieren NoSQL Datenbanken auf AWS Couchbase on AWS Riak on AWS MongoDB on AWS Für persistente Datenbanken: Cluster aus Hoch IOPS Instanzen I2 Instanzenhaben bis zu Write IOPs Instance Store Disks, wenn Cluster redundant ist

32 NoSQL Datenbank DynamoDB NoSQL Datenbank mit provisioniertem Durchsatz Hohe, vorhersagbare Performance Vollständig verteilte, fehlertolerante Architektur Deployment & Administration App Services Compute Storage Database Networking AWS Global Infrastructure Feature Provisionierter Durchsatz Vorhersagbare Performance Starke Konsistenz Fehlertolerant Monitoring Sicher Elastic MapReduce Details Lese/Schreibdurchsatz einfach nach Bedarf erhöhen und vermindern Durchschnittliche Latenz im einstelligen Millisekunden Bereich durch SSDs Sicheres Lesen der aktuellsten Werte Daten repliziert über mehrere Availability Zones Integration mit CloudWatch Integration mit AWS Identity and Access Management (IAM) Integration mit Elastic MapReduce (Hadoop) für komplexe Analysen oder große Datenmengen

33 Demo: Flexibles Schema & NoSQL Performance

34 Data Warehousing Reporting & Analytics

35 Komplexes Schema

36 Komplexes Schema OK hatten wir schon: Relational (RDSoder EC2) OK, hatten wir schon: Relational (RDS oder EC2) Wenn die Datenmenge nicht zu groß ist

37 Spaltenbasierte Datenbanken Image credit:

38 Warum? Aggregationen Slktiität Selektivität Image credit: Komprimierung

39 Verteiltes Data Warehouse JDBC/ODBC 10 GigE (HPC) Ingestion Backup Restore

40 Amazon Redshift Redshift Schnelle und performante Analyse großer Datenmengen 1/10der Kosten einestraditionellen Data Warehouse Automatisches Deployment & Administration Deployment & Administration App Services Compute Storage Database Networking AWS Global Infrastructure Feature Skalierung Niedrige Kosten Columnstore Fehlertolerant Vollständig verwaltet Sicher Kompatibel Details Skaliert von Terabytes bis Petabytes Preise ab US$999/TB/Jahr Spaltenweise Speicherung optimiert für DWH Workloads Automatische Ersetzung von Nodes & Disks, Automatisches Backup nach S3 Automatisches OS & Software Patching RedshiftDatenkönnen verschlüsselt werden Kompatibel mit populären BI Tools über ODBC und JDBC Treiber

41 Demo: Columnstore und Spaltenbasierte Komprimierung w

42 Nett, aber... Geht das nicht schneller?

43 Was macht eine Datenbank so langsam?

44 In Memory cr1.8xlarge und i2.8xlarge haben 244 GB RAM! Image Copyright by StuSeeger

45 2*2 Arten Nur In Memory z.b. Rowstore Columnstore Hybrid mit On disk z.b.

46 Demo: SAP HANA

47 Elastic MapReduce Halt, was ist mit Hadoop? Viele Kunden verwenden Hadoop für DWH artige Workloads Weil das lange Zeit die einzige skalierbare, kostengünstige g Möglichkeit war In vielen Fällen ist ein relationaler DWH Dienst für DWH Workloads schneller und preiswerter Hadoop/EMR ist erste Wahl für komplexe Berechnungen auf großen Datenmengen Auch für explorative oder ETL artige Jobs

48 Sind wir jetzt fertig?

49 Es muss nicht immer eine Datenbank sein

50 Storage Strukturiert Komplexe Abfragen SQL Amazon RDS (MySQL, Oracle, SQL Server, PostgreSQL) Data Warehouse Amazon Redshift Search Amazon CloudSearch Strukturiert Einfache Abfragen NoSQL Amazon DynamoDB Cache Amazon ElastiCache (Memcached, Redis) Unstrukturiert Eigene Abfragen Hadoop/HDFS Unstrukturiert keine Abfragen Cloud Storage Amazon Elastic MapReduce (EMR) Amazon S3 Amazon Glacier

51 Gering Amazon S3 Amazon Glacier Str ruktur Hoch Amazon ElastiCache Amazon DynamoDB Amazon RDS Amazon EMR Amazon Redshift Hoch Hoch Niedrig Niedrig Abfragerate Kosten/GB Latenz Datenmenge Niedrig Niedrig Hoch Hoch

52 Elasti Cache Amazon DynamoDB Amazon RDS Cloud Search Amazon Redshift Amazon EMR (Hive) Amazon S3 Amazon Glacier Mittlere ms ms ms,secsec ms,secsec sec,min sec,min,h ms,sec,minsec min hrs Latenz rs (~ Größe) Datenmenge GB GB TBs GB TB GB TB TB PB GB PB GB PB GB PB (unbegrenzt) (3 TB Max) (1.6 PB max) (~nodes) (unbegrenzt) (unbegrenzt) Elementgröße B KB KB (64 KB max) KB (1 MB max) KB (64 Kmax) KB MB KB GB (5 TB max) GB (40 TB max) KB (~ Zeilengröße) Abfragerate Sehr Hoch Sehr Hoch Hoch Hoch Niedrig Niedrig Niedrig Sehr Hoch (unbe Sehr Niedrig (unbegrenzt) grenzt) Kosten ($/GB/Monat) $$ $ Dauerhaftigkeit Niedrig Mittel Sehr Hoch Hoch Hoch Hoch Hoch Sehr Hoch Sehr Hoch

Beispiel Datenarchitektur Join via Facebook Add a Skill Page Web Servers + MS SQL Server in RDS Raw Data Amazon S3 User Action Trace Events Invite Friends Gt Get Data Aggregated Data Amazon Redshift

53 Beispiel Datenarchitektur Join via Facebook Add a Skill Page Web Servers + MS SQL Server in RDS Raw Data Amazon S3 User Action Trace Events Invite Friends Gt Get Data Aggregated Data Amazon Redshift Amazon S3 Raw Events Excel Data Analyst Tableau EMR Hive Scripts Process Content Process log files with regular expressions to parse out the info we need. Processes cookies into useful searchable data such as Session, UserId, API Security token. Filters surplus info like internal varnish logging. Internal Web

54 Zusammenfassung Wählen Sie das richtige Werkzeug für die Aufgabe Ihre Wahl: Relational oder NoSQL Verwenden Sie RDS für Prototyping und hochwertige Daten Verwenden Sie Amazon DynamoDB für hochperformante, persistente, kostengünstige Speicherung Verwenden Sie Redshift für skalierbares, kostengünstiges Data Warehousing Ihre Wahl: Do it yourself oder voll verwaltet Verwaltete Dienste ermöglichen Ihnen den Fokus auf die eigentliche Aufgabe

55 Ressourcen Getting started with Free Tier: 25 US$ creditsfür neue Kunden: Facebook: Webinare: aws/events/ amazon aws/events/ Slides: Diese Präsentation:

56 WE ARE HIRING! Amazon Web Services wächst in Deutschland Wir suchen technische Sales Consultants Entwickler (m/w) in: Berlin München Wir suchen Software Entwickler (m/w) in: Dresden Berlin Bewerben Sie sich noch heute und wachsen Sie mit uns! amazon

Ähnliche Dokumente

Skalierbare Webanwendungen

Skalierbare Webanwendungen Thomas Bachmann Lead Software Architect & CIO Mambu GmbH Twitter: @thobach Anwendungsbeispiel Hohe Nichtfunktionale Anforderungen Sicherheit Vertraulichkeit Integrität Verfügbarkeit