Future Trends DWH Infrastruktur. Dipl.-Ing. Michael Ahrens Principal Solution Architect & SAP Technology Consultant

Transkript

1 Future Trends DWH Infrastruktur Dipl.-Ing. Michael Ahrens Principal Solution Architect & SAP Technology Consultant

2 Einleitung Storage Bottleneck Storage limitiert Applikationsperformance Limitierung Storage zu Server durch Storage Subsystem Bottlenecks im Storage Array SAN Bottlenecks Random I/O Bottlenecks durch physikalische Plattengeschwindigkeit I/O Bandbreite schränkt DWH Performance stark ein Random I/O Bottlenecks beschränken OLTP Performance

3 Einleitung Exadata Technologie Rechenintensive Verarbeitung Datenbankserver Rechen- und Speicherintensive - Verarbeitung wird im DB server durchgeführt Vollparallele Joins und Aggregate Bandbreitenintensives Suchen & Lesen Exadata Storage Server IO-intensives Suchen wird im Storage Server durchgeführt Exadata Smart Scans und Exadata Storage Indizes filtern für die Query irrelevante Daten heraus Zusammenarbeit von Datenbankserver und Exadata Zellen um SQL auszuführen Exadata Zelle ist intelligenter Storage und kein Datenbankknoten

4 Einleitung Exadata Technologie Single-Instance Database RAC Database InfiniBand Switch/Network Exadata Zelle Exadata Zelle Exadata Zelle Exadata Zellen als einzelne Storage Server mit Platten und Exadata Software Verteilung der Oracle Datenbanken über mehrere Exadata Zellen Datenbankerweiterungen für Kommunikation mit Exadata Storage Server Praktisch keine Limitierung der Anzahl der Exadata Zellen im Storage Grid

5 Einleitung Ist die Database Maschine ein Toaster (Appliance)? Nein! Die Database Maschine ist nicht einfach ein Toaster, sondern eher eine Bäckerei mit allen Möglichkeiten Oracle Exadata ist die klassische marktführende Oracle Datenbank mit einer besonders optimierten Hardware.

6 Produktüberblick Exadata Database Machine Exadata Storage Server Optimierter Storage für Oracle Extreme I/O und SQL Performance Hardware und Software Exadata Storage Server Software Exadata Database Machine Vorkonfiguriert Hohe Performance Well-balanced Appliance-Ansatz Oracle Database 11.2

7 Hardware Storage Server X2-2, X2-8 Oracle Exadata Storage Server Hardware Oracle X4275 Server 2 x 6-Core Intel Xeon E5670 Prozessoren 24GB RAM Dual-port 4X QDR (40Gb/s) InfiniBand card Disk Optionen 12 x 600 GB SAS disks (7.2 TB gesamt) => HS HS heißt High Speed 12 x 2TB SATA disks (24 TB gesamt) => HC HC heißt High Capacity 4 x 96 GB Oracle Flash PCIe Cards (384 GB gesamt) Zentraler Baustein des massiv parallelen Storage Grid Bis zu 1.5 GB/sec Rohdaten Bandbreite pro Zelle Bis zu 75,000 IOPS mit Smart Flash Cache Software vorinstalliert Oracle Exadata Storage Server Software Oracle Enterprise Linux Treiber, Utilities Zentraler Ansprechpartner Oracle 3 Jahre, 24 x 7, 4 Std. Reaktionszeit

8 Exadata Software Features Exadata Smart Flash Cache Transparentes Caching von Hot Data auf den 4 Flash Cards PCI Express für hohen Durchsatz Keine Beschränkung durch Disk Controller Smart Caching Smarter als bekannter LRU Algorithmus Kein Überlauf des Caches Automatismus Caching kann durch Anwendungen optimiert werden 4 x 96 GB Flash Cards

9 Oracle Database 11g Release 2 und Flash Technologie Flash Cache Vorteile Memory Dimm F20 PCIe 96GB Flash 15K SAS Disk Weniger Platten Einfachere Storagesysteme Bessere Antwortszeit Geringerer Stromverbrauch Hoher ROI Optimaler Ansatz Großteil der Daten auf günstigen Platten Transparenter Zugriff auf Hot data auf Flash Vermeidung Controller Engpaß durch Nutzung flash cards anstelle von Flash Disks Flash Cards im Exadata Storage Hohe Bandbreite, low Latency Interconnect 15k SAS Disk F20 PCIe 96GB Flash Speichern großer Datenmengen Aber: Beschränkung auf 250 i/o s pro Sekunde Speichern geringer Datenmengen Aber: Sehr hohe i/o Rate >> i/o s pro Sekunde Tape

10 Hardware Database Server X2-2 Oracle Exadata Database Server Hardware Oracle X4170 Server 2 x 6-Core Intel Xeon E5670 Prozessoren 96GB RAM Dual-port 4X QDR (40Gb/s) InfiniBand card 2 x 10Gbit Ethernet Disk Optionen 8 x 600 GB SAS disks (4.8 TB gesamt) => HS 8 x 2TB SATA disks (16 TB gesamt) => HC Oracle Database Software vorinstalliert Oracle Enterprise Linux oder Oracle Solaris 11 Treiber, Utilities Zentraler Ansprechpartner Oracle 3 Jahre, 24 x 7, 4 Std. Reaktionszeit

11 Hardware Database Server X2-8 Oracle Exadata Database Server Hardware Oracle X4800 Server 8 x 8-Core Intel Xeon E7560 Prozessoren 1TB RAM 4 x Dual-port 4X QDR (40Gb/s) InfiniBand card 8 x 10Gbit Ethernet Disk Optionen 8 x 600 GB SAS disks (4.8 TB gesamt) => HS 8 x 2TB SATA disks (16 TB gesamt) => HC Oracle Database Software vorinstalliert Oracle Enterprise Linux oder Oracle Solaris 11 Treiber, Utilities Zentraler Ansprechpartner Oracle 3 Jahre, 24 x 7, 4 Std. Reaktionszeit

12 Hardware Infiniband Netzwerk Einheitliches InfiniBand Netzwerk Verbindung zu Exadata Zellen RAC Interconnect Externe Anschlüsse (optional) Hohe Leistung bei geringer Latenz 80 Gb/s Bandbreite pro Link (40 Gb/s pro Richtung) SAN-Effizienz : Zero copy, buffer reservation Einfache Administration ähnlich einem IP Netzwerk Protokolle Zero-copy Zero-loss Datagram Protocol (ZDP RDSv3) Internet Protocol over InfiniBand (IPoIB) Datacenter InfiniBand Switch 36

13 Hardware Full Rack 8 Oracle X4170 M2 Database Server Oder 2 Oracle X4800 Database Server 14 Exadata Storage Server 14 * 12 * 600GB SAS Platten (100TB gesamt) oder 14 * 12 * 2TB SATA Platten (336TB gesamt) und 14 * 4 * 96GB Oracle Flash PCIe Cards (5,3TB gesamt) 3 Oracle Datacenter InfiniBand Switch port Managed QDR (40Gb/s) Switch 1 Admin Cisco Ethernet Switch 4948 Keyboard, Video, Mouse (KVM) Hardware Redundante Power Distributions Units (PDUs) Zentraler Ansprechpartner Oracle 3 Jahre, 24 x 7, 4 Std. Reaktionszeit Skalierbarkeit durch Hinzufügen weiterer Racks!

14 Exadata Software Features Exadata Storagelayout und ASM Exadata Storage Zelle Eine X4275 4x Oracle Flash PCIe F20 12x 600 GB SAS oder 2TB SATA 16 Celldisks Eine Griddisk entspricht genau einer ASM disk 1 Celldisks Sys Area Griddisk 1 ASM disk 1 Griddisk n ASM disk n

15 Exadata Software Features Exadata Storagelayout und ASM ASM Failure Group Exadata Storage Zelle Exadata Storage Zelle ASM Failure Group Hot Hot Hot Hot Hot Hot Cold Cold Cold Cold Cold Cold Griddisk 1 Griddisk n Griddisk 1 Griddisk n ASM Striping für Gleichverteilung I/O ASM Spiegelung gegen Plattenfehler ASM Failure Groups gegen Zellenfehler ASM Disk Group

16 Exadata Software Features Exadata I/O Resource Management Reserviert für unterschiedliche Datenbanken den jeweiligen Anteil am gesamten I/O Beispiel Inter-Datenbank Plan: Database A: 33% der I/O Bandbreite Database B: 67% der I/O Bandbreite Ungenutzte Bandbreite kann von DB A genutzt werden Oder DB B hat geringere Priorität als DB A Z.B. Test- oder Entwicklungs-DB Database A (Single-Instance) 33% 67% Database B (RAC) Innerhalb jeder Datenbank Priorisierung gemäß DB Resource-Plan

17 Integriertes End to End monitoring Von der Applikation über das Datacenter zum Support Grid Control OpsCenter My Oracle Support Application Operations Data Center Operations Oracle Support Exadata 17

18 Exadata Management Oracle Enterprisemanager OPS Center Einheitliches, durchgängiges, automatisiertes Lifecyle-Management Virtuelle und physikalische Systeme in einem Tool Virtuelle Systeme Physikalische Systeme effizientes Management über alle Systeme schnelle Deployments weniger Downtime sprawl unter Kontrolle 2010 Oracle Corporation Proprietary and Confidential 18

19 Komplettes und integriertes Manageme Oracle Enterprisemanager OPS Center Maintain Remote Management - Telemetry Phone Home - Proactive Support My Oracle Support Integration Enterprise Manager Grid Control Deploy Provisioning of Firmware, OS, Middelware, and Applications Clone and Scale-out OpsCenter Manage End-to-End Diagnostics - Service Levels - Root Cause Configuration Mgmt - Change Tracking Patch Automation - Firmware, OS Monitor Application-to-Disk Exadata Monitoring Integration - System, Switch, Storage Energy Utilization and Impact Test Functional Testing Load Testing Test Management 19

20 Exadata Management Oracle Enterprisemanager OPS Center Netzwerk discovery von Servern, Betriebssystemen und Virtuelle Maschinen Support von zahlreichen Protokollen Oracle Service Tag SNMP SSH IPMI Automatisches Inventory CPU Memory Software payload Intelligentes gruppieren von Systemen

21 Exadata Management Oracle Enterprisemanager OPS Center End-to-End Monitoring Hardwaremonitoring ohne Agenten Stromverbrauch Hardware status Temperatur Lüftergeschwindigkeit Spannung OS Überwachung der wichtigsten Statistiken Load CPU Memory History

22 Exadata Management Oracle Enterprise Manager Grid Control OEM Agent SQLPlus

23 Exadata Management Oracle Enterprise Manager Grid Control Exadata Plugin Management Cluster Exadata Plugin Cell cli Cell cli Cell cli Cell cli Database Management Single Instance RAC Dataguard RMAN

24 Exadata Management Oracle Enterprise Manager Grid Control OEM Grid Control kann ohne Funktionserweiterungen zum Management des ASM s und der Datenbankinstanzen im Exadata verwendet werden. OEM Grid Control kann durch Management Packs, Konnektoren und System Monitoring Plugins erweitert werden. ( Provisioning and Patch Automation Pack for Database ( Exadata Storage Server Plug-in from (

25 Exadata Maximum Availability Archtitecture (MAA) Komplette, offene, integrierte Verfügbarkeit Exadata ist in sich hochverfügbar Keine Single Points of Failure in Exadata Storage Architektur Oracle Automatic Storage Management (ASM) Schutz vor Platten- und Zellen-Ausfällen Datenspiegelung über Zellen hinweg Oracle Real Application Clusters (RAC) Redundante Infiniband Strecken (Disk, Interconnect) und Switches

26 Exadata Maximum Availability Archtitecture (MAA) Extended RAC Real Application Clusters HA Management Real Application Clusters ASM Fast Recovery Area LAN Infiniband 10 Gigabit Ethernet ASM Fast Recovery Area Infiniband max. 100m freigegebene Kabel 10 Gigabit Ethernet max. 40 Km Veränderung der Performance

27 Exadata Maximum Availability Archtitecture (MAA) Desaster Recovery Data Guard Real Application Clusters Sync / Async Redo Transport Active Data Guard ASM Fast Recovery Area Schutz vor Server Fehlern Storage Fehlern Netzwerk Fehlern RZ Fehlern HA Management WAN Data Guard Echtzeit Standby offen für queries Korrektur menschlichen Versagens Datenbank-, Tabellen-, Zeilen, Transaktionsebene Online Indizierung und Tabellenredefinition Online patching und upgrades

28 Exadata Maximum Availability Archtitecture (MAA) Bi-Direct Desaster Recovery Golden Gate Wird direkt auf dem DB System installiert Überwacht den Datenbestand Änderungen am Datenbestand werden transaktionssicher auf das Zielsystem übertragen Das Ganze funktioniert bidirektional

29 Exadata Maximum Availability Archtitecture (MAA) Bi-Direct Desaster Recovery Golden Gate Capture: Committed changes are captured (and can be filtered) as they occur by reading the transaction logs. Trail files: Stages and queues data for routing. Pump: Distribute data for routing to multiple targets. Route: Data is compressed, encrypted for routing to targets. Read/Write Workload Delivery: Applies data with transaction integrity, transforming the data as required. Read/Write Workload Pump LAN / WAN / Capture Source Trail Internet Target Trail Delivery Pump (TCP/IP) Source Database(s) Delivery Target Trail Bi-directional Source Trail Capture Target Database(s)

30 Exadata Backup Exadata Backup Grundlagen Backupserver Hält die Backup DB Steuert die Backupzycklen Kann auch Mediaserver sein Mediaserver Steuert die Backupmedien Tape, Disks, Worm usw. Network Data Management Protocol (NDMP) Entwickelt für Systeme ohne Backupclients NAS

31 Exadata Backup Exadata Backup Client Legato Networker EMC Muss auf der Database Machine installiert werden. Netzwerk basiertes Backup Netbackup Symantec Muss auf der Database Machine installiert werden. Netzwerk basiertes Backup Tivoli Storage Manager IBM Muss auf der Database Machine installiert werden. Netzwerk basiertes Backup

32 Exadata Backup Exadata Backup Strategie Empfohlene Oracle Backup Strategie Einmaliges Level 0 Image Copy = Basis Backup Tägliches Erstellen von inkrementellen Level 1 Backups Nur geänderte Blöcke werden geschrieben Geänderte Blöcke werden bereits auf den Exadata Zellen identifiziert und nur diese zum Datenbank Server gesendet Das inkrementelle Backup des Tages wird mit dem existierenden Backup aktualisiert (Merge) Der RMAN Katalog sollte außerhalb der Database Maschine gespeichert werden

33 Exadata Backup Exadata Variante 1 Exadata Full Rack Backup Server 10 Gbit Ethernet Backupserver Administration Mediaserver Administration Backupclient SW Installation 10Gbit Database Machines Media Server Mehrere RMAN Datenströme mittels Backupclient Backupclient schreibt über das Netzwerk Media Server schreibt Backupclientdaten auf Tape

34 Exadata Backup Exadata Variante 2 Oracle Database Machine Oracle X4170 Oracle Secure Backup Management Server StorageTek SL500 Infiniband Quad Data Rate Network Zwei Oracle x4275 Oracle Secure Backup Server Brocade GB FC SAN Mehrere RMAN Datenströme via TCP/IP tunneled über IB Media Service tracks, konvertiert RMAN daten in Fibre channel Blöcke Zu jedem RMAN Datenstrom gehört ein Tape Laufwerk 2010 Oracle Corporation Proprietary and Confidential 34

35 Exadata Backup Exadata Variante 3 Exadata Full Rack RMAN Backup to Disk S7320 NDMP 40Gbit Infiniband N* J4400 NFS oder iscsi 40 Gbit Infiniband Storageappliance Modular Erweiterbar Clusterbar Raidschutz Mehrere RMAN Datenströme via TCP/IP tunneled über IB RMAN schreibt die Datenströme in Backupfiles auf dem OpenStorage gespeichert NDMP fähige Backupsoftware schreibt die RMAN Backupfiles auf Tape

36 S7000 Exadata Backup Exadata eine Appliance passt zur Database Maschine Oracle StorEdge S7320 NAS 1 8-Core Intel 2.4GHz Prozessor up to 72GB RAM per Node Dual-port 4X QDR (40Gb/s) InfiniBand card Disk Optionen je J x 300 GB SAS disks (7.2 TB gesamt) 24 x 500 GB SATA disks (12 TB gesamt) 24 x 1TB SATA disks (24 TB gesamt) 24 x 2TB SATA disks (48 TB gesamt) Maximal 4 * J4400

37 Exadata Siteplanning Exadata Anforderungen an die Infrastruktur Bauliche Anforderungen Wege System Standort Bodenausschnitte Servicefläche Anforderung an die Umgebung Temperatur Relative Luftfeuchte Kühlung und Luftströmung Stromversorgung Netzwerkrichtlinien Oracle Enterprise Installation Standards (EIS) Site Audit Report

38 Exadata Siteplanning Exadata Full Rack Anforderungen Power Cooling Airflow: front-to-back (subject to actual data center environment) Physical Dimensions Weight Max 14 kw (14,3 kva) Typical 9.6 kw (9.9 kva) Max 48,600 BTU/hr Typical 32,800 BTU/hr Max ~2200 CFM Typical ~950 CFM (H) x (W) x (D) 1998mm (H) x 600mm (W) x 1200mm (D) 2171 lbs (986.8 kg) Operating Temperature Operating temperature/humidity: 5 ºC to 35 ºC (41 ºF to 95 ºF), 10% to 90% relative humidity, non-condensing IP addresses Network Drops External Connectivity Altitude Operating: Up to 3,048 m, max. ambient temperature is de-rated by 1 C per 300 m above 900 m 22 (InfiniBand Network) 68 (Ethernet Network - assuming single cluster) Minimum 10 network drops 8 (up to 24 ) Ethernet Ports At least 12 InfiniBand Ports

39 Exadata Siteplanning Exadata Netzwerk Anforderungen Management Netzwerk Wird an das Firmennetzwerk angeschlossen Innerhalb der Oracle Database Machine sind alle Server, ILOM und die Switche selber an den Ethernet Switch verbunden Von dort führt eine Verbindung nach außen Änderungen sind nicht erlaubt KVM Netzanschluss Client Netzwerk Bietet Anschluss an das Firmennetz für den Zugriff der Clients InfiniBand Netzwerk Privates Netzwerk zwischen Datenbank Rechnern und Exadata Zellen Oracle RAC Cluster Interconnect Zusätzliche Netzwerke Die Datenbank Rechner haben zusätzliche Netzwerkkarten

40 Exadata Siteplanning Exadata Netzwerk Diagramm Management/ILOM Client Netzwerk Zusätzliches Netzwerk 1 Zusätzliches Netzwerk 2 Privates Infiniband Netzwerk

41 Exadata Anlieferung Exadata Container

42 Exadata Anlieferung Exadata der Weg in das Rechenzentrum. Rack Dimensionen Höhe: 2000 mm! Breite: 600 mm Tiefe: 1200 mm Servicefläche Gewicht Quarter Rack: 342 kg Half Rack: 550 kg Full Rack: 987 kg Maximale Neigung 6 Bi Mobile Gabelstapler

43 Exadata Anlieferung Exadata der Weg in das Rechenzentrum.

44 Exadata Installation Exadata HW/OS Installation EIS Installation ist in der Regel nach 4 Stunden fertig. Vorkonfiguration im Fertigungswerk Keine Transportschäden

45 Fragen & Antworten