Performance Management und Hochverfügbarkeit im Lebenszyklus von Enterprise-Anwendungen an praktischen Beispielen mit Oracle

Transkript

1 Performance Management und Hochverfügbarkeit im Lebenszyklus von Enterprise-Anwendungen an praktischen Beispielen mit Oracle Thomas Budich Thomas Kober 9. Juni 2015

2 Agenda 1 Vorstellung 2 Stakeholder / Anforderungen 3 Software-Lebenszyklus 4 Performance Tuning 5 Performance Tuning - Beispiele 6 Hochverfügbarkeit - Beispiele 2

3 Vorstellung 3

4 Demandware SaaS Softwareanbieter für weltweite E-Commerce-Shopsysteme Kunden sind lediglich mit Weiterentwicklung und Anpassung ihres Shops beschäftigt. New York Stock Exchange seit 2012 Hochverfügbar und Performance Entwicklung neuer Funktionalität Production Development Entwicklung neuer Features Bearbeitung der Business Daten Staging Sandbox Sandbox Sandbox Sandbox Sandbox Sandbox 4

5 Three Tier Architecture Content Delivery Network WebServer WebServer WebServer AppServer AppServer AppServer AppServer AppServer 5

6 Demandware 2004 von Stephan Schambach gegründet 10 Niederlassungen Plattform derzeit in 49 Ländern über 17 Datenzentren vertreten 6

7 Stakeholder / Anforderungen 7

8 Stakeholder User Interface Geschäftslogik Plattform Business User Entscheider Projektmanager Nutzer Netzwerk Storage Betriebssystem Server Datenbank Webserver Entwickler Administrator 8

9 Anforderung: Datenbank(un)abhängigkeit Abhängig Unabhängig Nutzung optimierter Features Geringer Testaufwand Große Kundenbasis Einfache Integration Einfache Architektur Speziell Generisch 9

10 Anforderung: Hochverfügbarkeit Maximale Hochverfügbarkeit Einfache Hochverfügbarkeit Betriebskosten Geschäftskosten Reputation Geringe Komplexität Einfache Prozesse 10

11 Software-Lebenszyklus 11

12 Software-Lebenszyklus langfristige generische Lösung kompatibel rollback-fähig risikoarm Bug Fixes Produkt Projekt Betrieb Migration kurzfristige spezielle Lösung Bug Fixes Extract, Transform, Load 12

13 DB-Umgebungen in der Software-Herstellung Produkt Projekt Betrieb Migration Development Build / Auto Test Integration LoadTest / Produktion Einfache Installation Wenig Ressourcen Einfache manuelle Wartung Automatische Installation Wenig Ressourcen Automatische Wartung Viele Features Performance Produktionsnahe Daten Hosts Konfiguration Patch Level Performance HA Backup / Recovery Monitoring Alerting Security 13

14 Software Produzenten Produkt Grundlegende Architektur APIs Allgemeine Business Logik Module Vertikale Lösungen Allgemeine Integrationen Partner Wiederkehrende Probleme im Projektgeschäft Projekt Spezielle Kundenwünsche Integration Migration 14

15 Performance Tuning 15

16 Feedback Loops Messen Umsetzen Analysieren Definieren 16

17 Feedback Loops / Software Komponenten 17

18 Messen - Werkzeuge Xceptance LoadTest U M D A 18

19 Messen - Werkzeuge Xceptance Benchmark Trend Report U M D A 19

20 Messen Werkzeuge Grafana / Graphite U M D A 20

21 Analysieren / Messen - Werkzeuge Oracle Enterprise Manager Database Control U M D A Web Interface um Oracle DBs zu verwalten Liefert Informationen zu Performance und Status von DBs Administrative Tasks: - Schema Objekte (Tabellen, Sichten, Indexe, ) - Benutzer, Speicher und Plattenspeicher - Backup und Recovery - Import und Export von Daten Logon: https://<hostname>:1158/em 21

22 Analysieren / Messen - Werkzeuge Oracle Enterprise Manager Database Control U M D A Top Aktive Sessions 22

23 M Analysieren - Werkzeuge U A 1. SQL Ausführungsplan D SQL*Plus, SQL Developer, Oracle Enterprise Manager (OEM) Benutzung: - SET AUTOTRACE... - explain plan for <SQL> plan.sql 23

24 Analysieren - Werkzeuge 2. AWR, ASH oder ASH-Simulation (S-ASH) U M D A AWR - Automatic Workload Repository Performance-Daten-Sammler für: - Warteereignisse - Active Session History (ASH) Statistiken o CPU und Waits im Sekundentakt - Ressourcenverbrauch: OS, Sessions, Objekte und SQLs - Basis für andere Werkzeuge Response Time (time/trx) Queue Time (Waiting) Service Time (CPU) Arrival Rate (trx/time) Response Time ash1.png S-ASH: github.com/pioro/orasash, 24

25 M Definieren U A D Antwortszeit Reduzierung der Antwortzeit des Add To Cart -Zugriffs um mindestens 5% Produktimport im Update-Mode von 100k Produkten innerhalb von 30min Beschleunigung der Startupzeiten der Applikationsserver auf 40s im Produktionsmodus Ressourcen Eliminierung der Dateizugriffe auf JSP-Dateien während der Ausführung von Shop-Zugriffen 25

26 Umsetzung - Lösungsfindung U M A D Anforderungen Ressourcen vs. Antwortzeit Wartbarkeit vs. Performance Generisch vs. Speziell Prozesse Businessprozesse Betriebsprozesse Architektur Content Delivery Network Webschicht Applikationsschicht Datenschicht 26

27 Umsetzung - Lösungsfindung U M A D Infrastruktur Betriebssystem Netzwerk Storage Technologien Relational Database Key Value Store Document Store In Memory Ressourcen Netzwerk Speicher CPU 27

28 Performance Tuning - Beispiele 28

29 Schema Design: Tabellen und Datentypen Problem: Erstellung des DB- Schemas mit >500 Tabellen durch >80 Entwickler Lösung: Generische Frameworks - Objektrelationale Abbildung - Initialisierung - Lokalisierung - Migration - Import und Export - Datenreplikation attr.sql, attr_lob.sql 29

30 Schema Design: Indexe Tabelle Probleme: 1. Vollständige Tabellen absuchen 2. Laden von Massendaten wenn Indexe vorhanden Index Lösungen: 1. Indexe (B-tree Struktur) anlegen, Aber: erhöhte Kosten, erschwerte Migration 2. Indexe ausschalten, Daten laden, Indexe einschalten fbi.sql 30

31 Schema Design: Suche Problem: Auswahl der Suche und der geeigneten Indexstrukturen Lösungen: - like Suche nach ähnlichen Mustern o... [NOT] LIKE... [ESCAPE.. ], Muster kann Spezialzeichen enthalten o Keine Indexbenutzung, wenn führendes Zeichen % oder _ - regexp_like Regular Expression Matching o REGEXP_LIKE (source, pattern [, match_parameter ]) - Oracle Text integrierte Volltextrecherche der DB - Externe Suche Apache Lucene, Apache Solr, ElasticSearch,... ctx.sql 31

32 Schema Design: Integritätsbedingungen Probleme: 1. Laden von Massendaten 2. Reihenfolge der DMLs bei Fremdschlüssel- und Eindeutigkeitsbedingung Lösung: 1. Massendaten laden mit ausgeschalteten Integritätsbedingungen 2. Sofortige oder verzögerte Integritätsbedingungen o Prüfung sofort nach dem SQL oder beim Commit der Transaktion def_con.sql, dis_con.sql 32

33 Verschiedenes JDBC und SQL Problem: - JDBC Connection Pool und Firewall Lösung: - sqlnet.expire_time - oder aktives keep alive des Clients Problem: - Exakte Query-Zeilenzahl für Pagination bei großen Datenmengen Lösung: - Count mit analytischer Klausel - count over() as rowcount count_over.sql 33

34 Verschiedenes JDBC und SQL Problem: - Wiederkehrende Produktimporte: Massendaten in Tabellen Einmischen - Wenn beim INSERT Versuch ein Eindeutigkeitsfehler auftritt, wird ein UPDATE angewendet. Lösung: - MERGE (SQL:2003 / 2008) o when not matched then insert... o when matched then update... o Nur noch ein einziges und effizienteres SQL-Kommando o Leichter zu warten merge.sql 34

35 Partitionierung Probleme: Tabellen mit Massendaten Verwaltung: erschwerte administrative Tätigkeiten Leistung: schlechte DML- und Abfragegeschwindigkeit Lösung: - Partitionierung die Unterteilung von Tabellen und Indexen in kleinere Stücke mit effizienter Speicherverwaltung und verbesserter Zugriffsleistung, Arten: o RANGE, HASH, LIST, INTERVAL, REFERENCE und Kombinationen o z.b. RANGE bei Datum part.sql 35

36 Parallelität und Batchverarbeitung Problem: - Grenzen in sequentieller Verarbeitung erreicht Lösungen: - Paralleles RDBMS-SQL: aufteilen in parallele Operationen o Parallel Query/SQL, Parallel Query/DML und Parallel Query/DDL - Do It Yourself (DIY) Parallelität o Oracle unterstützt Multiuser-Situationen, Client kann also parallele Verarbeitung (Threads) mit der DB starten - JDBC-Batch Datenmanipulation para.sql, orphan_del_parallel.png 36

37 Hochverfügbarkeit - Beispiele 37

38 Hochverfügbarkeit und Skalierbarkeit Problem: - Hochverfügbarkeit und - Disaster Recovery und - Skalierbarkeit Eine Lösung: - Oracle Real Application Clusters (RAC) o Verfügbarkeit o Skalierbarkeit o Lastverteilung o Hohe Performance 38

39 Hochverfügbarkeit RAC Standalone RAC - Simple Cluster - Extended Cluster (größere Distanz <100km) o Kein Schutz gegen erweiterte Katastrophen RAC im Multi Datacenter - Data Guard (standby sites) - Streams / Golden Gate o Datenreplikation, Bi-direktionale Replikation, Datentransformation, Teilmengen, heterogene Plattformen Site A <100km Site B 39

40 HA Von Einfach bis zum Maximum Produktion Klon Backup Move Restore Site A Data Guard Site B Global Data Services (GDS) Streams GoldenGate Recovery Manager (RMAN) Active Data Guard 12c: Far Sync, naher Standby Primär Standby Database Sync oder Async Single Instanz DB Multiple aktiv-aktiv DBs (RAC) Primär Far-Sync Sync Async Standby 40

41 Fast Connection Failover Problem: Transparenter Verbindungs-Failover Lösung: Fast Connection Failover (FCF) o Demo.java o Universal Connection Pool (UCP) + FCF + Oracle Notification Service (ONS) setfastconnectionfailoverenabled(true) + setonsconfiguration( ) - Simulation Knotenausfall: srvctl stop instance -d RAC -i rac1 rac2 o o Instance name connected: rac1! SQLRecoverableException: ORA-01089: immediate shutdown in progress Connection retry necessary failover Instance name connected: rac2! - Erweiterung: nur gültige JDBC Connections o o FCFCheckConOnBorrowDemo.java setvalidateconnectiononborrow(true)! 41

42 Karriere Demandware/Jena Markus Wille Senior Recruiter Talent Acquisition EMEA +49 (0) Vielen Dank Thomas Budich Thomas Kober 42

43 Fragen und Antworten? 43