DOAG SIG Database, Köln, 18. Juni

Transkript

1 DOAG SIG Database, Köln, 18. Juni

2 <Insert Picture Here> HP Oracle Database Machine mit I/O Resource Management als Integrationsplattform nutzen Frank Schneede, Senior System Berater BU Database Technologies, Oracle Deutschland GmbH DOAG SIG Database, Köln,

3 Agenda Exadata IORM Motivation und Einführung Exadata I/O Scheduling Steuerung I/O für verschiedene Workloads innerhalb einer DB Steuerung I/O für mehrerer Datenbanken Steuerung I/O für unterschiedliche Workload-Typen Demonstration <Insert Picture Here> DOAG SIG Database, Köln, 18. Juni

4 HP Oracle Database Machine Full Rack Vorkonfiguriertes High Performance Data Warehouse 8 DL360 Oracle Database Server 2 quad-core Intel Xeon, 32GB RAM Oracle Enterprise Linux Oracle RAC 14 Exadata Storage Zellen (SAS or SATA) Bis 21 / 46 TB unkomprimierte Benutzerdaten (SAS / SATA) 4 InfiniBand Switches 1 Gigabit Ethernet Switch Keyboard, Video, Mouse (KVM) Hardware Hardware Garantie 3 YR Parts/3 YR Labor/3 YR On-site 24X7, 4 Hour Reaktionszeit Hinzufügen von Racks für nahezu unbegrenzte Skalierung! DOAG SIG Database, Köln, 18. Juni

5 Skalierbarkeit Exadata Storage Server Bis zu 18 Zellen in einem Rack Hinzufügen von Racks für weitere Skalierung Verbindung jeder Zelle zu 2 Infiniband Switches (Redundanz) SAS 450 Gesamtkapazität pro Rack: 97TB SATA 1000 Gesamtkapazität pro Rack: 216TB Spitzendurchsatz pro Rack : 18GB/s Infiniband Links zwischen den Racks für hohen Durchsatz DOAG SIG Database, Köln, 18. Juni

6 HP Oracle Database Machine Half Rack Vorkonfiguriertes High Performance Data Warehouse 4 DL360 Oracle Database Server 2 quad-core Intel Xeon, 32GB RAM Oracle Enterprise Linux Oracle RAC 7 Exadata Storage Zellen (SAS or SATA) Bis 10.5 / 23 TB unkomprimierte Benutzerdaten (SAS / SATA) 2 InfiniBand Switches 1 Gigabit Ethernet Switch Keyboard, Video, Mouse (KVM) Hardware Hardware Garantie 3 YR Parts/3 YR Labor/3 YR On-site 24X7, 4 Hour Reaktionszeit Skalierbar bis max. 2 DBM Half Rack! DOAG SIG Database, Köln, 18. Juni

7 Exadata Kapazitäten Raw Storage User Data Data Bandwidth HP Exadata Storage Server Hardware SAS 5.4 TB 1.5 TB 1 GB/s HP Exadata Storage Server Hardware SATA 12 TB 3.3 TB 0.75 GB/s HP Oracle Database Machine Hardware SAS Full Rack 76 TB 21 TB 14 GB/s HP Oracle Database Machine Hardware SATA Full Rack 168 TB 46 TB 10.5 GB/s HP Oracle Database Machine Hardware SAS Half Rack 38 TB 10.5 TB 7 GB/s HP Oracle Database Machine Hardware SATA Half Rack 84 TB 23 TB 5.25 GB/s Raw Storage: Total raw disk capacity, computed as (# disks x disk capacity) User Data: Space for end-user data, computed after mirroring and after allowing space for database structures such as temp, logs, undo, and indexes. User data capacity is uncompressed; with compression, 2x to 4x more data can often be stored. Actual user data capacity varies by application DOAG SIG Database, Köln, 18. Juni

8 HP Oracle Database Machine Einsatz als Konsolidierungsplattform Die HP Oracle Database Machine ist ein mächtiges, hochgradig skalierbares System! Einsatz als Konsolidierungsplattform mit dem Ziel: Getätigte Investition bestmöglich nutzen Einsparpotentiale durch Administration weniger Systeme realisieren Einhaltung der SLAs für alle Projekte sicherstellen DOAG SIG Database, Köln, 18. Juni

9 Exadata als shared storage Exadata Storage kann verschieden Lastprofile (Workloads) und mehrere Datenbanken unterstützen Reduzierung Administrationskosten Effiziente Ausnutzung des Exadata Storage Herausforderung: Friedliche Koexistenz der Workloads: ETL Jobs vs. DSS Abfrage Performance Sales DWH vs. Finance DWH Exadata bietet eine außergewöhnliche Abfrage Performance, jedoch kann eine einzelne Abfrage die gesamte zur Verfügung stehende I/O Bandbreite belegen! Nicht-priorisierte Abfragen können die Performance anderer kritischer Abfragen negativ beeinflussen! Anschaulich gemacht. DOAG SIG Database, Köln, 18. Juni

10 Ad-Hoc Queries I/O Bandbreiten Dilemma bei paralleler Nutzung Production Database 500 MB/sec Benötigte Bandbreite: MB/sec Jedes Speichersystem hat begrenzte I/O Bandbreite. Wenn die benötigte Bandbreite zu groß wird, kommt es zum Performanceengpass! Benötigte Bandbreite: = 2300 MB/sec Verfügbare I/O Bandbreite: 1200 MB/sec Critical Reports 1000 MB/sec Reports Development Database Benötigte Bandbreite: 800 MB/sec Storage Network Storage DOAG SIG Database, Köln, 18. Juni

11 I/O Bandbreiten Steuerungsmöglichkeiten mit I/O Resource Management Production Database MB/sec IORM bietet die Möglichkeit, I/O Bandbreiten zwischen unterschiedlichen Workloads und Datenbanken aufzuteilen Ad-Hoc Queries Critical Reports 1000 MB/sec Benötigte Bandbreite: MB/sec Benötigte Bandbreite: = 1200 MB/sec Verfügbare I/O Bandbreite: 1200 MB/sec Reports Development Database Benötigte Bandbreite: MB/sec Storage Network Storage DOAG SIG Database, Köln, 18. Juni

12 Steuerung I/O Bandbreiten Traditionelle Lösungsmöglichkeiten Sizing des shared storage nach größmöglicher Last Sehr teuer! Auslagern kritischer Anwendungen auf dedizierten Storage Was geschieht mit Sicherungen und ETL-Vorgängen? Hoher Administrationsaufwand! Sehr teuer! Verlagerung unkritischer Aufgaben auf Zeiten geringer Auslastung Umständlich! Das funktioniert mit Oracle Exadata auch, aber es geht noch wesentlich besser! DOAG SIG Database, Köln, 18. Juni

13 Steuerung I/O Bandbreiten Wunschzettel Aufteilung der Storage Performance 70% zu 30% zwischen Finanz- und Vertriebs-DWH Priorisierung der Produktionsdatenbanken vor Test- und Entwicklungsdatenbanken Priorisierung der OLTP-Benutzerlast vor Wartungsarbeiten Schutz des Storage Systems vor Überlastung durch ETL-Jobs Priorisierung des Apply-Prozesses vor read-only Abfragen auf den Standby Datenbanken Priorisierung von kritischem I/O wie z. B. Controlfile I/O Automatisches Herabsetzen der Priorität für ASM Rebalance und RMAN Jobs Wie soll das funktionieren? DOAG SIG Database, Köln, 18. Juni

14 Exadata I/O Resource Management Der Durchsatz in traditionellem Storage wird gesteuert nach FIFO-Prinzip Definition von Timeouts Für die Umsetzung des Wunschzettels wird ein neuer, ausgeklügelter I/O Scheduler benötigt, der zusätzlich die Anforderungen der verschiedenen Lastprofile berücksichtigt! Der Exadata I/O Resource Manager führt I/O-Operationen auf Grundlage Ihrer Priorisierung und der Regeln für die Ressourcennutzung aus! DOAG SIG Database, Köln, 18. Juni

16 I/O Scheduling mit traditionellem Storage I/O Scheduler sind black boxes Steuerung unmöglich! I/O Requests werden nach FIFO-Algorithmus abgearbeitet Eventuell Steigerung Platteneffizienz durch Umordnung der Requests Disk Queue RDBMS I/O Requests Traditional Storage Server H L H L L L High-Priority Workload Low-Priority Workload DOAG SIG Database, Köln, 18. Juni

17 I/O Scheduling mit Exadata Exadata führt die I/O Requests auf Basis der Priorisierung durch den Benutzer aus Exadata kann I/O Requests hintenan stellen, um zu verhindern, dass eine niedrig priorisierte Last die Platten blockiert Exadata High-Priority Workload Queue Disk Queue RDBMS I/O Requests H L L L L I/O Resource Manager H L H H Low-Priority Workload Queue DOAG SIG Database, Köln, 18. Juni

18 Benutzung der Resource Plans Exadata begrenzt die Anzahl der offenen I/O Requests Erzeugt genug I/O für effiziente Plattenperformance Limitierung schützt vor Blockade der Platten durch low-priority Workload Internes Queueing nachfolgender I/O Requests Exadata nutzt Benutzer Resource-Plan zum Dequeue des I/O Request Exadata Priority DSS Consumer Group Queue Disk Queue RDBMS I/O Requests P DDDD I/O Resource Manager P D P P DSS Consumer Group Queue DOAG SIG Database, Köln, 18. Juni

19 Konfiguration Konfiguration von Consumer Groups und Resource Plans in der datenbank dbms_resource_manager PL/SQL Package Resource Manager im Enterprise Manager Verwendung für CPU und I/O Resource Management! Festlegung unterschiedlicher Pläne Z. B. nach Tageszeit, für Notfall-Wartungen, für Arbeitszeitfenster Aktivierung über init.ora Parameter resource_manager_plan Nur ein Plan darf zur Zeit aktiv sein Job Scheduler für automatische Aktivierung DOAG SIG Database, Köln, 18. Juni

21 I/O Resource Manager Konfiguration Ablauf in zwei Schritten: 1. Gruppierung von User Sessions mit identischen Performancevorgaben in Consumer Groups 2. Anlegen eines Resource Plan, der die Priorisierung der I/O Requests festlegt DOAG SIG Database, Köln, 18. Juni

22 Anlegen Consumer Group Consumer Groups für jeden Workload enlegen, also Priority DSS Consumer Group DSS Consumer Group Maintenance Consumer Group Zuordnung von User Sessions zu Consumer Groups definieren (Basis: Attribute der User Session) Mapping Rules Consumer Groups service = PRIORITY Priority DSS Oracle username = LARRY Oracle username = DEV client program name = ETL DSS function = BACKUP query has been running > 1 hour Maintenance DOAG SIG Database, Köln, 18. Juni

23 Exadata I/O Resource Management Beispiel: Anlegen Intra Database Plan Intra-Datenbank Pläne für Bandbreitenaufteilung für Workloads innerhalb einer Datenbank Konfiguration auf der Datenbank: 1. Zuordnung Session / Consumer-Group 2. Anlegen Database Resource Plan 3. Berechtigungen Benutzer 4. Aktivieren Database Resource Plan Konfiguration im Exadata Storage: 5. Aktivieren IORM DOAG SIG Database, Köln, 18. Juni

24 Beispiel intra-db Plan Schritt 1: Zuordnung Sessions zu Consumer Groups begin dbms_resource_manager.create_pending_area(); -- Create consumer groups dbms_resource_manager.create_consumer_group('priority_group', 'Priority queries'); -- Map 'priority' service to 'priority_group' dbms_resource_manager.set_consumer_group_mapping( - dbms_resource_manager.oracle_service, 'priority', 'priority_group'); dbms_resource_manager.submit_pending_area(); end; / DOAG SIG Database, Köln, 18. Juni

25 Anlegen Resource Plan Priority-Based Plan Ratio-Based Plan Priority 1: Priority DSS Priority 2: DSS Priority 3: Maintenance Priority DSS 60% DSS 30% Maintenance 10% Hybrid Plan Level 1 Level 2 Priority DSS 100% DSS 80% Maintenance 20% DOAG SIG Database, Köln, 18. Juni

26 Beispiel intra-db Plan Schritt 2: Anlegen Resource Plan BEGIN dbms_resource_manager.create_pending_area(); -- Create resource plan dbms_resource_manager.create_plan('dw_plan', 'Plan for data warehouse'); dbms_resource_manager.create_plan_directive('dw_plan', 'priority_group', mgmt_p1 => 100); dbms_resource_manager.create_plan_directive('dw_plan', 'maintenance_group', mgmt_p2 => 20); dbms_resource_manager.create_plan_directive('dw_plan', 'other_groups', mgmt_p2 => 80); dbms_resource_manager.submit_pending_area(); END; / Hier: priority_group erhält oberste Priorität, freie Ressourcen werden im Verhältnis 80/20 aufgeteilt zwischen maintenance_group und other_groups. DOAG SIG Database, Köln, 18. Juni

27 Beispiel intra-db Plan Schritt 3: Berechtigung für Benutzer einrichten Begin dbms_resource_manager.create_pending_area(); dbms_resource_manager_privs.grant_switch_consumer_group( grantee_name => 'dss', group_name => 'priority_group', grant_option => FALSE); dbms_resource_manager_privs.grant_switch_consumer_group( grantee_name => 'etl', group_name => 'maintenance_group', grant_option => FALSE); dbms_resource_manager.submit_pending_area(); end; / Hier: Verhindern, dass ein Benutzer die Consumer Group selbst wechseln kann. DOAG SIG Database, Köln, 18. Juni

28 Beispiel intra-db Plan Schritt 4: Aktivieren intra-db Plan SQL> alter system set resource_manager_plan = 'iormplan' sid='*'; System altered. Wichtig: Setzen des Plans mit dynamischem init.ora Parameter auf allen Instanzen! DOAG SIG Database, Köln, 18. Juni

29 Beispiel intra-db Plan Schritt 5: Aktivieren IORM auf Exadata Storage ~]# cellcli -e "list iormplan detail" name: cell1_iormplan catplan: dbplan: status: inactive ~]# cellcli -e "alter iormplan active" IORMPLAN successfully altered Wichtig: Auf allen Exadata Zellen mit dcli aktivieren! IORM ist defaultmäßig deaktiviert! DOAG SIG Database, Köln, 18. Juni

31 Exadata I/O Resource Management Beispiel: Steuerung mehrerer Datenbanken Aufgabe: Effiziente Nutzung von Exadata Storage mit folgenden Randbedingungen 1. Aufteilung zwischen verschiedenen Produktionsdatenbanken 2. Keine Beeinflussung der Produktion durch Test, Entwicklung Sales Data Warehouse Exadata Storage Finance Data Warehouse Customer Service Standby Database Sales Development Database Sales Test Database DOAG SIG Database, Köln, 18. Juni

32 Exadata I/O Resource Management Beispiel: Steuerung mehrerer Datenbanken Inter-database Plan allokiert Ressourcen für jede Datenbank Aufteilung zwischen Produktionsdatenbanken Verteilung freier Ressourcen zwischen Test- und Entwicklungsdatenbanken Konfiguration und Aktivierung der inter-database Pläne mittels CellCLI Inter-Database Plan Database Level 1 Level 2 Level 3 Sales Production Data Warehouse 80% Finance Production Data Warehouse 20% Customer Service Standby Database 100% Sales Test Database 50% Sales Development Database 50% DOAG SIG Database, Köln, 18. Juni

33 Exadata I/O Resource Management Beispiel: Benutzung inter-database Plan 1. Auswählen einer Datenbank mit dem inter-database Plan 2. Auswählen einer Consumergroup dieser Datenbank mit deren intra-database Plan DOAG SIG Database, Köln, 18. Juni

34 Exadata I/O Resource Management Beispiel: Steuerung mehrerer Datenbanken Sales Data Warehouse Priority DSS Consumer Group Queue Exadata Cell Sales Database P P DDD Sales-Priority Finance Database DSS Consumer Group Queue Finance Data Warehouse Priority DSS Consumer Group Queue P DDDD I/O Resource Manager Finance-Priority DSS Consumer Group Queue DOAG SIG Database, Köln, 18. Juni

35 Exadata I/O Resource Management Anlegen Inter Database Plan Inter-Database Pläne für Bandbreitenaufteilung zwischen verschiedenen Datenbanken Inter-Database Resource Pläne auf jeder Zelle konfigurieren Inter-Database Pläne können mit intra-database Plänen angelegt werden Inter-Database Pläne zur Steuerung von Datenbanken Intra-Database Pläne zur Steuerung von Consumergroups innerhalb der Datenbank DOAG SIG Database, Köln, 18. Juni

36 Beispiel inter-db Plan: Aktivieren inter-db Plan CellCLI> alter iormplan dbplan = ((name = production, level = 1, allocation = 100), - (name = test, level = 2, allocation = 80), - (name = other, level = 2, allocation = 20)) IORMPLAN successfully altered CellCLI> alter iormplan active IORMPLAN successfully altered CellCLI> list iormplan detail name: catplan: dbplan: status: cell4_iormplan name=production,level=1,allocation=100 name=test,level=2,allocation=80 name=other,level=2,allocation=20 active inter-database Plan: production höchste Prio, freie Ressourcen Aufteilung 80/20 test und other DOAG SIG Database, Köln, 18. Juni

38 Exadata I/O Resource Management Verschiedene Workloads Aufgabe: Unterschiedliche Datenbanken auf Exadata Storage Unterschiedliche Workloads auf den Datenbanken Ziel: Priorisierung des Workloads abhängig vom Typ, nicht von der verursachenden Datenbank Database Sales Production Finance Production Sales Development Consumer Group Priority DSS DSS Maintenance Priority DSS DSS Maintenance Priority DSS DSS ETL Workload Type kritisch einigermaßen kritisch unkritisch kritisch einigermaßen kritisch unkritisch unkritisch unkritisch unkritisch DOAG SIG Database, Köln, 18. Juni

39 Exadata I/O Resource Management Ressourcenpläne für verschiedene Workloads Category Plan für jede Kategorie Die Kategorie ist ein Attribut der Consumergroup Konfiguration und Aktivierung des Category Plans mittels CellCLI Priority-Based Category Plan Priority 1: Critical Priority 2: Somewhat Critical Priority 3: Not Critical DOAG SIG Database, Köln, 18. Juni

40 Exadata I/O Resource Management Beispiel: Benutzung category Plan 1. Auswählen der Kategorie mit dem category plan 2. Auswählen einer Datenbank mit dem interdatabase Plan Nur Datenbanken mit Workloads der betreffenden Kategorie werden berücksichtigt! 3. Auswählen einer Consumergroup dieser Datenbank mit deren intra-database Plan Nur Consumergroups der betreffenden Kategorie werden berücksichtigt! DOAG SIG Database, Köln, 18. Juni

41 I/O Resource Management Was stand auf dem Wunschzettel? Aufteilung der Storage Performance 70% zu 30% zwischen Finanz- und Vertriebs-DWH Inter-Database Plan Priorisierung der Produktionsdatenbanken vor Test- und Entwicklungsdatenbanken Inter-Database Plan Priorisierung der OLTP-Benutzerlast vor Wartungsarbeiten Category Plan Schutz des Storage Systems vor Überlastung durch ETL-Jobs Intra-Database Plan Priorisierung des Apply-Prozesses vor read-only Abfragen auf den Standby Datenbanken IORM Automatismus Priorisierung von kritischem I/O wie z. B. Controlfile I/O IORM Automatismus Automatisches Herabsetzen der Priorität für ASM Rebalance und RMAN Jobs IORM Automatismus DOAG SIG Database, Köln, 18. Juni

43 Demovideo Exadata IORM DOAG SIG Database, Köln, 18. Juni

44 I/O Resource Management (IORM) Auswirkungen primärer Job allein beide Jobs, ohne IORM beide Jobs, mit IORM Einfluß durch zweiten Job primärer Job Performance Nutzen durch IORM Zeit Ausgangssituation Performanceeinbruch durch zweiten Job DOAG SIG Database, Köln, 18. Juni

45 Oracle Exadata IORM - Zusammenfassung Alleinstellungsmerkmal das kann kein anderes Storage System! Strategie bekannt vom DB Resource Management Begrenzung I/O Ressourcen zwischen mehreren Datenbanken und Storage Notwendig bei Konsolidierung zur Einhaltung SLA DOAG SIG Database, Köln, 18. Juni

46 Fragen & Antworten DOAG SIG Database, Köln, 18. Juni