Oracle Exadata Storage Server Überblick

Transkript

1 <Insert Picture Here> Oracle Exadata Storage Server Überblick Martin Gosejacob STU Oracle Deutschland GmbH

2 Herausforderung Performance Engpaß I/O-Bandbreite DWH Implementierungen sind oft beschränkt durch die I/O-Bandbreite zwischen Datenbankserver und Plattensubsystem Engpaß bei Prozessorleistung und Anbindung im Storage Array Begrenzte Anzahl von Host Bus Adaptern im Server Komplexe und bzgl. I/O-Leitsung unterdimensionierte I/O-Infrastrukturen Killer-Queries können nicht ausgeführt werden 2

3 Engpaß I/O-Bandbreite: Lösungsansatz Hinzufügen von Leitungen Vergrößern der Leitungen Weniger Daten transportieren Parallele Architektur 5-fach schneller als konventionelle Anbindungen Datenbearbeitung und filterung im Plattensubsystem 3

4 Exadata neuer Architekturansatz Löst den Engpaß der I/O-Bandbreite Exadata transportiert weniger Daten Ausführung der Anfrage in der Exadata- Zelle drastische Reduktion des übertragenen Datenvolumens Redukltion der CPU-Belastung auf dem Server Exadata besitzt mehr Leitungen Modulare n als Baustein des Storage Grids Bandbreite skaliert mit der Kapazität Exadata besitzt größere Leitungen InfiniBand Interconnect überträgt Daten 5-fach schneller als Fibre Channel Exadata bewegt viel weniger Daten viel schneller! 4

5 Oracle Exadata Storage Server Optimierter Plattenspeicher für Oracle Datenbanken Extreme I/O- und SQL-Performance Kombination von Hardware und Software Hardware von Software von 5

6 HP Exadata Storage Server Hardware Exadata Storage Server Baustein des Exadata Storage Grid Bis zu 1GB/Sek I/O-Bandbreite pro Zelle HP DL180 G5 2 Intel quad-core Prozessoren 8GB RAM Dual-port 4X DDR InfiniBand Netzwerkkarte 12 SAS oder SATA Platten Software vorinstalliert Oracle Exadata Storage Server Software Oracle Enterprise Linux HP Management Software Hardware Garantie 3 YR Parts/3 YR Labor/3 YR On-site 24X7, 4 Hour response 6

7 Skalierbarkeit Bis zu 18 Zellen in einem Rack Hinzufügen von Racks für weitere Skalierung Verbindung jeder Zelle zu 2 Infiniband Switches (Redundanz) SAS 450 Userdaten pro Rack: 97TB SATA 1000 Userdaten pro Rack: 216TB Spitzendurchsatz pro Rack: 18GB/Sek Infiniband Links zwischen den Racks für hohen Durchsatz 8

8 Paralleles Storage Grid Zusammenfassung von n in einem parallelen Storage Grid Skalierbarkeit Automatische Datenverteilung zwischen Zellen durch ASM Transparente Umverteilung bei Hinzufügen bzw. Entfernen von Zellen Datendurchsatz skaliert lienear mit der Kapazität Verfügbarkeit Spiegelung der Daten über Zellen Tranparente Toleranz gegenüber Platten- bzw. Zellenfehler Einfachheit Arbeitet transparent Keine Anpassung der Anwendung 4 GB/sec 8 GB/sec 16 GB/sec Exadata Bandbreite skaliert linear zur Kapazität 9

9 Exadata Vorteile Extreme Performance 10- bis 100-fache Performance-Steigerung Mehr Leitungen zu den Daten Parallele Architektur Größere Leitungen zu den Daten 5-fach schneller Weniger Daten transportieren Datenbearbeitung und filterung Extreme Skalierbarkeit Datendurchsatz skaliert linear mit dem Datenvolumen Einfache Bedienung und Quality of Service Hochverfügbarkeit und Absicherung Disaster Recovery, Backup, Point-in-time Recovery, Daten Validierung, Encryption 10

10 HP Oracle Database Machine Vorkonfiguriertes High Performance Data Warehouse 8 DL360 Oracle Datenbank Server 2 quad-core Intel Xeon, 32GB RAM Oracle Enterprise Linux Oracle RAC 14 n (SAS oder SATA) Bis zu 21 TB Userdaten auf SAS Bis zu 46 TB Userdaten auf SATA 4 InfiniBand Switches 1 Gigabit Ethernet Switch Tastatur, Video, Maus Hardware Hinzufügen von Racks für extreme Skalierbarkeit 11

11 Exadata Konfiguration Single-Instance Datenbank RAC Datenbank InfiniBand Switch/Network Jede ist ein eigenständiger Server mit Plattenspeicher, auf dem die Exadata Software läuft Verteilung der Databanken über mehrere n Datenbankerweiterung für die Zusammenarbeit mit der intelligenten Praktisch keine Beschränkung der Zellenanzahl im Grid 12

12 Exadata Architektur Single-Instance Datenbank DB Server DB Server RAC Datenbank DB Server DB Instanz DBRM ASM DB Instanz DBRM ASM DB Instanz DBRM ASM Enterprise Manager InfiniBand Switch/Netzwerk idb Protokoll über InfiniBand mit Path Failover OEL CELLSRV IORM MS RS OEL CELLSRV IORM MS RS OEL CELLSRV IORM MS RS Cell Control CLI 13

13 Smart Scan Technologie n nutzen die Smart Scan Technologie, um die Datenmenge zu reduzieren, die der Datenbankserver bearbeiten müsste Auslagerung der Auswertung von Prädikaten Liefert nur relevante Zeilen/Spalten zurück Join Filter Incremental Backup Filter Anlegen von Files Reduzierung des Datenvolumens ist sehr groß Üblicherweise 10-fache Reduzierung Vollständige Transparenz Selbst bei Zellen- oder Plattenausfall während der Abfrage Beispiel: Telefongesellschaft sucht Kunden, die mehr als 200,- für einen einzelnen Anruf ausgegeben haben Die Informationen über diese Premiumkunden belegen 2MB in einer 1TB großen Tabelle 14

14 Herkömmliche Berechnung ❶ SELECT customer_name FROM calls WHERE amount > 200; ❷ Table Extents Identified ❸ I/Os Issued ❻ Rows Returned ❺ DB Host reduces terabyte of data to 1000 customer names that are returned to client ❹ I/Os Executed: 1 terabyte of data returned to hosts Mit traditionellem Speicher wird die Intelligenz der Datenbank nur auf dem Host genutzt Ein großer Prozentsatz der Daten wird durch die Datenbank gar nicht genutzt Die nicht genutzten Daten verbrauchen Ressourcen und beeinträchtigen so die Performance anderer Abfragen 15

15 Exadata Smart Scan Berechnung ❶ SELECT customer_name FROM calls WHERE amount > 200; ❷ Smart Scan Constructed And Sent To Cells ❸ Smart Scan identifies rows and columns within terabyte table that match request ❻ Rows Returned ❺ Consolidated Result Set Built From All Cells ❹ 2MB of data returned to server Nur die relevanten Spalten customer_name und benötigten Zeilen where amount > 200 werden zurückgeliefert CPU-Last für die Auswertung der Prädikate wird ausgelagert Auslagerung des Datenscans setzt CPU-Ressourcen auf dem Host frei und vermeidet einen Großteil des unproduktiven Kommunikationsaufwandes 16

16 Zusätzliche Smart Scan Funktionalität Join Filter Star Join Filter wird in der ausgeführt Prädikate von Dimensionstabellen werden in Filter umgewandelt, mit denen die Faktentabelle gescannt wird Beispiel - Select alle Verkäufe aller italienischen Weine Items werden gescannt, um die Item-Nummer der italienischen Weine zu ermitteln Die Item Nummer wird für einen Bloom-Filter verwendet Dieser Filter wird durch die Zellen während des Scans der Sales- Tabelle verwendet, um die Verkäufe italienischer Weine zu ermitteln Backups I/O für inkrementelle Backups ist effizienter, da nur die geänderten Blöcke zurückgegeben werden Create Tablespace (Anlegen von Files) 17

17 Exadata Storage Grid I/O Resource Management Datenbank A Datenbank B..... Storage Switch/Network Datenbank C Mit herkömmlichem Plattenspeicher ist die Verwaltung von Shared Storage problematisch, da kein Gleichgewicht zwischen Benutzern auf einer Datenbank und Benutzern mehrerer Datenbanken, die auf das gleiche Storage-Subsystem zugreifen, hergestellt werden kann Isolierung von Hardware, um Trennung sicherzustellen Exadata I/O Resource Management stellt die Einhaltung benutzerdefinierter SLAs sicher Koordination und Priorisierung verschiedener Gruppen/Klassen innerhalb einer Datenbank und zwischen Datenbanken 18

18 Exadata I/O Resource Management DW und Mixed Workload Umgebungen Benutzergruppen einer Datenbank nutzen Anteile des I/O-Durchsatz Beispiel: Interaktiv: 50% der I/O-Ressourcen Berichte: 30% der I/O-Ressourcen ETL: 20% der I/O-Ressourcen Datenbank Server 19

19 Exadata I/O Resource Management Multi-Database OLTP Environment Verschieden Datenbanken nutzen Anteile des I/O-Durchsatzes Datenbank A: 33% der I/O-Ressourcen Datenbank B: 67% der I/O-Ressourcen Kombination der Benutzergruppen und Datenbanken für die Nutzung der I/O-Ressourcen Datenbank A: Reporting: 60% der I/O-Ressourcen ETL: 40% der I/O-Ressourcen Datenbank B: Interaktiv: 30% der I/O-Ressourcen Batch: 70% der I/O-Ressourcen Das Resource Management wird auf den n durchgeführt Datenbank A (Single-Instance) Datenbank B (RAC) 20

20 Exadata Ausbau des Storage Grid Dynamische virtualisierte Speicherverwaltung mit Automatic Storage Management (ASM) Einfache Verteilung und Freigabe von Ressourcen im Enterprise Storage Grid Datenbanklast wird für optimale Performance über alle Exadata- Zellen verteilt Flexible Konfiguration für Performance und Verfügbarkeit Single-Instance Datenbank InfiniBand Switch/Network RAC Datenbank 21

21 Beispiel: Exadata Storage Layout Cell Disk Cell Disk Eine Cell Disk ist die Einheit einer physikalischen Platte innerhalb einer Automatische Erkennung und Aktivierung 22

22 Beispiel: Exadata Storage Layout Grid Disks Grid Disk Cell Disks werden logisch in Grid Disks partitioniert Grid Disk ist die von ASM als ASM Disk allokierte Einheit Mindestens eine Grid Disk pro Cell Disk Kann verwendet werden, um hot, warm oder cold Bereiche einer Cell Disk zu allokieren 23

23 Beispiel: Exadata Storage Layout ASM Disk Groups und Spiegelung Hot ASM Disk Group Cold ASM Disk Group Hot Hot Hot Hot Hot Hot Cold Cold Cold Cold Cold Cold Zwei ASM Disk Groups Eine für die aktiven ( hot ) Bereiche der Datenbank Eine für die weniger aktiven ( cold ) Bereiche der Datenbank ASM Striping verteilt I/O gleichmässig über die Disk Group ASM Spiegelung zum Schutz vor Plattenfehlern 24

24 Beispiel: Exadata Storage Layout ASM Spiegelung und Failure Groups ASM Failure Group ASM Failure Group Hot Hot Hot Hot Hot Hot Cold Cold Cold Cold Cold Cold ASM Disk Group ASM Spiegelung gegen Plattenfehler ASM Failure Groups gegen Zellenfehler 25

25 Exadata Storage Verwaltung Enterprise Manager Administration Datenbank und ASM Exadata Storage Plug-in Enterprise Manager Grid Control Plug-in zum Überwachen und Verwalten der n Umfangreiches CLI Lokale n Verwaltung Lights-out Management Remote Verwaltung der Hardware 26

26 Data Protection - Lösungen Keine Single Points of Failure durch Exadata Storage Architektur Hardware Assisted Resilient Data (HARD) im Exadata Storage Schutz vor Datenkorruption Data Guard bietet Schutz vor Katastrophen und Datenkorruption Automatische Pflege der Datenbank-Kopie Flashback bietet Schutz vor Anwenderfehlern Snapshot-Technologie, um auf den Zeitpunkt vor dem Fehler zurückspulen zu können Recovery Manager (RMAN) für Platten-Backup Archivierung und Schutz vor Korruption Verbindung mit Oracle Secure Backup (OSB) oder 3 rd -Party Backupsoftware möglich 27

27 Exadata Koexistenz und Migration Datenbanken können herkömmlichen Plattenspeicher und n gleichzeitig benutzen Tablespaces transparent für die Applikation auf Exadata oder traditionellem Speicher Smart Scan Operationen nur in Tablespaces, die vollständig in Exadata- Zellen liegen Online Migration mit ASM möglich Migration mittels RMAN oder Data Guard Exadata Datenbank Server Non-Exadata Online Migration 28

28 Exadata verändert die Datenbank-Welt Exadata vereint Stärke (HP Hardware) und Intelligenz (Oracle Software) Neuer Architekturansatz Datenbank-Intelligenz und parallele Skalierung auf Plattenspeicher-Ebene Benutzung aktueller Standard Hardware Behebt alle Engpässe einer High- Performance Abfrageberechnung Dramatische Performance-Verbesserung Nahtlose Integration in existierende Datenbank-Umgebungen 29

29 Exadata Vorteile Extreme Performance 10- bis 100-fache Performance-Steigerung Mehr Leitungen zu den Daten Parallele Architektur Größere Leitungen zu den Daten 5-fach schneller Weniger Daten transportieren Datenbearbeitung und filterung Extreme Skalierbarkeit Datendurchsatz skaliert linear mit dem Datenvolumen Einfache Bedienung und Quality of Service Hochverfügbarkeit und Absicherung Disaster Recovery, Backup, Point-in-time Recovery, Daten Validierung, Encryption 30

30 Oracle Data Warehouse Plattform Brainy Software Materialized Views Brawny Hardware Multi- Dimensional Calculations Analytics Statistics Data Mining Intelligent Query Processing Bitmap Indexes Partition Elimination Star Query Optimization DW Services Data Integration Bulk ETL + Real-Time ETL Data Quality Metadata Management Extensible Repository Lineage and Impact Analysis Parallel Execution Scalable Data Management Partitioning RAC Automatic Storage Mgmt Compression Administration Workload Mgmt Self-Tuning Reference Configurations Scalable Hardware Infrastructure Optimized Warehouse Exadata Database Machine Exadata Storage Server Security Virtual Private Database Database Vault 31

31 32