Seminar Cloud Data Management WS09/10. Tabelle1 Tabelle2

Transkript

1 Seminar Cloud Data Management WS09/10 Tabelle1 Tabelle2 1

2 Einführung DBMS in der Cloud Vergleich verschiedener DBMS Beispiele Microsoft Azure Amazon RDS Amazon EC2 Relational Databases AMIs Was gibt es noch? HadoopDB Wie geht es weiter? 2

3 Einführung 3

4 Disaster Recovery High Availability Quelle: Microsoft 4

5 Quelle: Microsoft 5

6 vollständige Kontrolle über das System Unabhängigkeit gegenüber Dritten Daten bleiben im Unternehmen Datenschutz Vorteile teure Hardware Lizenzgebühren Platzbedarf Mitarbeiterschulungen Verantwortung für DR und HA Patches einspielen Skalierung planen Performanz- und Stabilitätstests Nachteile 6

7 Quelle: Microsoft 7

8 keine Kosten für Softund Hardware u.u. Patches und DR durch Dienstleister neuere oder bessere Software SLAs kein voller Systemzugriff eigene Administration Mitarbeiterschulungen monatliche Gebühren Abhängigkeit vom Internet und Dienstleister Verantwortung für HA bleibt Performanztests Datenschutz Vorteile Nachteile 8

9 FT - Fault Tolerance Quelle: Microsoft 9

10 keine Kosten für Soft- und Hardware Patches durch Dienstleister kein/kaum Administrationsaufwand DR und HA SLAs optimierte Technik, bessere Skalierung Performanzsteigerung per Mausklick Daten mehrfach repliziert kein Fachwissen nötig kein voller Systemzugriff monatliche Gebühren Abhängigkeit vom Internet und Dienstleister Verantwortung für Performanztests Datenschutz Vorteile Nachteile 10

11 DBMS in der Cloud Tabelle1 Tabelle2 11

12 Frameworks Google: MapReduce Apache: Hadoop Facebook: Hive Key-Value-Stores Google: BigTable Amazon: SimpleDB Facebook: Cassandra RDBMS in der Cloud Microsoft: SQL Azure Amazon RDS Virtuelle Maschinen Hybridsysteme HadoopDB 12

13 Daten in mehreren Durchgängen vorverarbeiten (Map) und zusammenfassen (Reduce) Beispiel: Worthäufigkeit 1. Parallel Texte durchgehen (Map) 2. Ergebnisse austauschen 3. Wortanzahl aufsummieren (Reduce) Aufgabe in Teilaufgaben zerlegen: dynamische Lastverteilung Parallelverarbeitung möglich Fehlerresistend Analyse teilstrukturierter Daten kein DBMS 13

14 DS besteht aus Index und Attributen weniger Features zugunsten der Performanz keine Joins, keine FKs, kein ACID, keine Transaktionen Synergien mit Cloud-Dateisystemen direkt für hohe Skalierbarkeit entwickelt skaliert fast linear auf 1000te Rechner i.d.r. nicht normalisiert Verwendung: Log-Daten (im PetaBytes-Bereich) DWH Quelle für MapReduce 14

15 fast alle SQL-Funktionen nutzbar Joins, Grouping, FKs, Stored Procedures, Caching, Trigger RDBMS weit verbreitet größtenteils standardisiert ACID-Eigenschaften Daten normalisiert Relationen abbildbar viele Anwendungsgebiete CRM, WaWi, Buchhaltung 15

16 Indexstrukturen und FKs erhöhen Datenmenge ACID erschwert Clustering und Parallelisierung nicht für Clouds optimiert Skalierbarkeit auf 100te Rechner nie vorgesehen Grundannahmen: Fehler selten, High-End-Server, Performanz vor Fehlertoleranz häufig in VMs betrieben normale BS (Linux, Unix, Windows) keine Synergien mit verteilten Cloud-Dateisystemen keine dynamische Lastverteilung auf beliebig viele Rechner Ausnahme: SQL Azure, (Amazon RDS) 16

17 Beispiele 17

18 direkte Integration in Azure Plattform Quelle: Microsoft 18

19 basiert auf SQL-Server nahezu vollständiger Befehlssatz für Betrieb in Microsoft-Cloud optimiert in Azure Plattform integriert Datenzugriffe prinzipiell wie bei lokalem DBMS nutzt Lastkontrolle und Replikationen der Cloud bis zu 3 Replikate pro Instanz Globaler Load Balancer verteilt Zugriffe bei Ausfall springt andere Instanz ein Fehlertoleranz 19

20 Zugriffe von extern (außerhalb Cloud) oder intern möglich bis 10 GB pro Instanz, mehrere buchbar keine automatische Partitionierung wie bei K-V-S (aber geplant) Parallelisierung durch mehrere DB-Instanzen Implementierung in Anwendung selbst (manuell durch Programmierer) Abrechnung nach Anzahl, Speicherplatz, Transaktionen Technischer Hintergrund unbekannt, wahrscheinlich VMs 20

21 vollständiges MySQL 5.1 DBMS Teil der Amazon Web Services Steuerbar mit API-Calls/WebServices nur lückenhafte Integration in Cloud Replikation noch in Planung regelmäßige Back-Ups im Amazon S3, als Recovery einsetzbar Betrieb in variabler VM (Max. 68 GB RAM, 8 Cores mit 4 GHz) Skalierung und Abrechnung wie bei SQL Azure 21

22 AMIs (Amazon Machine Image) als VM in EC2 betrieben zahlreiche Varianten verschiedener DBMS ausführbar IBM DB2, Oracle Database 11g, MS SQL Server, MySQL mehr Konfigurationsaufwand mehr Verantwortung beim Admin Integration in Cloud geringer 22

23 Was gibt es noch? 23

24 Ansatz: Vorteile von MapReduce und RDBMS kombinieren Such-/Filteralgorithmen im RDBMS i.d.r. schneller als eigene Implementierungen Ziel: Clustering und Lastkontrolle des RDMBS umgehen Daten in Cloud verteilt Partitionierung global bekannt Anfragen an Instanzen aufteilen Parallelverarbeitung Geeignet für Nur-Lese-Zugriffe 24

25 entwickelt an Yale University Open Source Projekt Aufbau MySQL oder PostgreSQL-Instanzen auf Rechnern Hadoop als Kommunikationslayer SQL-2-Hadoop-Connector auf jedem Knoten Funktionsweise Hadoop erstellt globalen Ausführungsplan delegiert möglichst viel Arbeit ab (Teil-) Ergebnisse in Hadoop aufbereiten Vorteile Parallelverarbeitung in RDBMS Fehlertoleranz von Hadoop Geschwindigkeit von RDBMS 25

26 Wie geht es weiter? 26

27 Trend derzeit in die Cloud EaaS Zukünftig: spezielle Cloud-RDBMS und/oder Cloud- Erweiterungen von RDBMS Hybridansatz mit MapReduce weiterentwickelt VMs in der Cloud eher weniger 27

28 Vielen Dank für Ihre Aufmerksamkeit! Zeit für Diskussionen! 28