Konsolidierung einer Data Mart Farm auf eine ExaData X 2-2

Transkript

1 Konsolidierung einer Data Mart Farm auf eine ExaData X 2-2 Oliver Scheibe, Jens Albrecht, Marc Fiedler GfK Retail and Technology GmbH Nürnberg, Deutschland

2 Agenda 1 GfK Retail and Technology 2 Evaluation ExaData 3 4 Inbetriebnahme ExaData Fazit

3 GFK Gruppe: 3 Sekoren Custom Research Retail and Technology Media 3 Quelle Point of Consumers and Physicians Point of Sales Point of Media Services Maßgeschneiderte Studien und kontinuierliche Datenerhebung Kontinuierliche Datenerhebung Maßgeschneiderte Studien und kontinuierliche Datenerhebung Umsatz Anteil am Gesamtumsatz in Prozent 787 Millionen Euro 61% 371 Millionen Euro 29% EUR 133 million 10% Ergebnis 1) Anteil am Gesamtergebnis in Prozent 63 Millionen Euro 34% 114 Millionen 61% 16 Millionen Euro 8% Marge 2) 8,0% 30,7% 11,7% Zahlen von 2010; ohne Sonstige 1) Angepasstes operatives Ergebnis 2) Verhältnis des angepassten operativen Ergebnisses zum Umsatz in Prozent

4 Portfolio der GfK Retail and Technology 4 Consumer Electronics IT Entertainment Fashion Stationery DIY/ Lighting SDA Beobachtung von Produkten aus über 400 Warengruppen in mehr als Geschäften und gut 90 Ländern Photo Optics Telecom Mobile Content Gardening Tourism Automotive

5 Portfolio der GfK Retail and Technology 5 Consumer Electronics IT Entertainment Fashion Stationery DIY/ Lighting SDA Monatsproduktion: Batch Erstellung von Berichten in Excel, ASCII, Powerpoint (inklusive 2 Mio. Charts) Onlinezugriff durch über interne and externe Benutzer weltweit Photo Optics Telecom Mobile Content Gardening Tourism Automotive

6 Portfolio der GfK Retail and Technology 6 Consumer Electronics IT Entertainment Fashion Stationery DIY/ Lighting SDA Herausforderung: Abertausende komplexe Berichte Großvolumige Panels wie Fashion und Tourismus Berichte über große Datenmengen wie weltweite Reports und "Total Store Reporting" Photo Optics Telecom Mobile Content Gardening Tourism Automotive

7 StarTrack ( System To Analyse and Report on TRACKing data) Prozess Überblick 7 Berichtsproduktion & Export Dateneingang & Identifikation Datenaufbereitung & Berichterstellung Client Data Marts (Online Access) Datenausschnitt Client Datamart Client Datamart Client Data Mart Online Zugang IDAS Release QC Publish Reporting Base Export Data Marts (Batch Exports) GSE Clients Master Data Management Datenausschnitt Client Datamart Client Datamart Export Data Mart Batch Jobs Files

8 StarTrack Server Infrastruktur Central Reporting Database Final Database for report production Oracle 11.2 ExaData V2 8x2x4 Cores 8x72 GB = 576 GB RAM 5 TB Flash Storage 50 TB High Speed Disk Storage Client Data Mart Servers Server farm for high performance online access; each server has a shadow server for offline data updates and availability 2x32 HP/Dell Blades with 8/12 CPU Cores and 48/96 GB Main Memory; Oracle 10.2 and Application Server SW 8 Exadata Reporting Base Batch Export Servers Server farm for production of QV, charts and specialized file formats Farm of 80 HP/Dell Blades each with 8 CPU Cores and 32 GB Main Memory, Oracle 10.2 and Export Server Software Großflächige Lade- und Entladeprozesse machen stabiles Reporting unmöglich

9 StarTrack Server Infrastruktur Central Reporting Database Final Database for report production Oracle 11.2 ExaData V2 8x2x4 Cores 8x72 GB = 576 GB RAM 5 TB Flash Storage 50 TB High Speed Disk Storage Trennung Lese- und Schreibprozesse Datenausschnitt aus Sektor (z.b. Telecom) wichtigste Daten im Cache vorhalten Client Data Mart Servers Server farm for high performance online access; each server has a shadow server for offline data updates and availability 2x32 HP/Dell Blades with 8/12 CPU Cores and 48/96 GB Main Memory; Oracle 10.2 and Application Server SW 9 Exadata Reporting Base Batch Export Servers Server farm for production of QV, charts and specialized file formats Farm of 80 HP/Dell Blades each with 8 CPU Cores and 32 GB Main Memory, Oracle 10.2 and Export Server Software

10 StarTrack Server Infrastruktur Central Reporting Database Final Database for report production Oracle 11.2 ExaData V2 8x2x4 Cores 8x72 GB = 576 GB RAM 5 TB Flash Storage 50 TB High Speed Disk Storage Client Data Mart Servers Server farm for high performance online access; each server has a shadow server for offline data updates and availability 2x32 HP/Dell Blades with 8/12 CPU Cores and 48/96 GB Main Memory; Oracle 10.2 and Application Server SW 10 steigende Datenvolumen Exadata Fusionsberichte - Berichte über mehrere Sektoren gewinnen an Bedeutung Reporting Data Marts skalieren Base bei gleichzeitigem Zugriff schlecht Batch Export Servers Bewirtschaftungsproblematik Server farm for production of QV, charts and specialized file formats Farm of 80 HP/Dell Blades each with 8 CPU Cores and 32 GB Main Memory, Oracle 10.2 and Export Server Software

11 StarTrack Server Infrastruktur Central Reporting Database Final Database for report production Oracle 11.2 ExaData V2 8x2x4 Cores 8x72 GB = 576 GB RAM 5 TB Flash Storage 50 TB High Speed Disk Storage Client Data Mart Servers Server farm for high performance online access; each server has a shadow server for offline data updates and availability 2x32 HP/Dell Blades with 8/12 CPU Cores and 48/96 GB Main Memory; Oracle 10.2 and? Application Server SW 11 Exadata Reporting Base Batch Export Servers Server farm for production of QV, charts and specialized file formats Kann die ExaData eine stabile Antwortperformance liefern? Farm of 80 HP/Dell Blades each with 8 CPU Cores and 32 GB Main Memory, Oracle 10.2 and Export Server Software

12 Agenda 1 GfK Retail and Technology 2 Evaluation ExaData 3 4 Inbetriebnahme ExaData Fazit

13 Machbarkeitsanalyse Lasttest Generierung 13 1 Request Application Application Server Application Server Application Server Server GSE Clients 1 Response n SQLs 1 Tag Workload mit 1,3 Mio. SQLs in 80 parallelen Sessions n SQLs pro Request in mehreren Datenbanksessions Protokollierung der SQL-Abfragen durch den Applicationserver Data Mart Data Mart Data Mart Data Mart

14 Data Mart Farm versus ExaData 14 Hardwarekennzahlenvergleich Merkmal Data Mart Farm ExaData 2.0 ExaData X 2-2 RAM /GB SGA /GB Cores Gesamtlaufzeit SQLs der Workload in min 3406????

15 Data Mart Farm versus ExaData 15 Workload-Testreihe Test Data Mart Farm uncompr. 80 compr. 80 compr. 40 compr.80+4 Beschreibung Baseline auf allen aktiven Data Marts mit maximal 80 gleichzeitigen Leseprozessen 80 Leseprozesse auf unkomprimierten Daten 80 Leseprozesse auf komprimierten Daten 40 Leseprozesse auf komprimierten Daten 80 Lese- & 4 Schreibprozesse auf komprimierten Daten

16 Laufzeit in Minuten Testreihe Tageslast-Workload 16 Baseline Data Marts Workload auf ExaData V Ad hoc Faktor 2 0 Data Marts uncompr. 80 compr. 80 compr. 40 compr

17 Laufzeiten in Sekunden Testreihe ausgewählte Reports Data Mart ExaData 10 0 Reportausführungen

18 Testreihe ausgewählte Reports 18 6 Knoten ExaData mit je 10 GB SGA stehen einem Data Mart mit 70 GB SGA gegenüber. Daten auf dem Data Mart sind auf einen Warengruppenausschnitt begrenzt. Zugriff auf die Daten ist über Hints stark reglementiert. SQL-Ausführungszeit auf der ExaData stellt nur einen Teil der Reportgesamtlaufzeit dar.

19 Wirtschaftlichkeitsbetrachtung Dutzende von Data Marts auf eine ExaData konsolidieren 19 Central Reporting Database Final Database for report production Oracle 11.2 ExaData V2 8x2x4 Cores 8x72 GB = 576 GB RAM 5 TB Flash Storage 50 TB High Speed Disk Storage Wie hoch sind die Kosten? Client Data Mart Servers Server farm for high performance online access; each server has a shadow server for offline data updates and availability 2x32 HP Proliant Blades with 8 CPU Cores and 48 GB Main Memory; Oracle 10.2 and Application Server SW Exadata Reporting Base TCO bleibt stabil: - vielfältige Wartungsaufgaben sind teuer - Anzahl der CPU-Cores schrumpfen (416-> 96)

20 Fazit Evaluation 20 Pro ExaData Es können viele Reports gleichzeitig ohne merklichen Performanceverlust ausgeführt werden. Mit Parallelisieren (über Auto DOP) können Reports deutlich beschleunigt werden. OLTP-Komprimierung ermöglicht schnelleres Lesen. Weniger operativer und administrativer Aufwand im Vergleich zur Data Mart Farm. Kontra ExaData In serieller Ausführung und fehlender Gleichzeitigkeit sind Reports nicht schneller als auf der angepassten Data Mart Farm.

21 Agenda 1 GfK Retail and Technology 2 Evaluierung ExaData 3 4 Inbetriebnahme ExaData Fazit

22 Oracle GfK RT 22 Optimizer

23 Gesamtlaufzeit in Minuten GfK Retail and Technology Konsolidierung einer Data Mart Farm auf ExaData Oliver Scheibe November 3, 2011 Auswirkungen OFE auf Workload AUTO MANUAL OPTIMIZER_FEATURES_ENABLE

24 Oracle GfK RT 24 OLTP Compression Optimizer

25 GfK Retail and Technology Konsolidierung einer Data Mart Farm auf ExaData Oliver Scheibe 03 November 2011 Komprimierung der Panel-Daten 25 8 TB allokierter Storage aktuelles Jahr + sechs Jahre Back Data 30% Wachstumsrate pro Jahr 24x7 Ladeprozess gleichzeitige Lese- und Schreibprozesse Write many read many (WMRM) HCC (hybrid columnar compression) für die aktuellen Daten nicht geeignet (viele Reworks ) Direct path loads notwendig um HCC einzusetzen nicht brauchbar ohne automatischen Reorganisationsprozess

26 GfK Retail and Technology Konsolidierung einer Data Mart Farm auf ExaData Oliver Scheibe 03 November 2011 Komprimierung der Panel-Daten 26 OLTP compression KONTRA PRO kein klassischer OLTP workload (mass data transfer) DELETE /INSERTs im Schnitt um Faktor 1,5 langsamer kostenpflichtige Option durchschnittlicher Komprimierungsfaktor von 3 Abfragen auf den komprimierten Daten laufen dafür Faktor 3 bis 4 schneller

27 GfK Retail and Technology Konsolidierung einer Data Mart Farm auf ExaData Oliver Scheibe 03 November 2011 Oracle GfK RT 27 OLTP Compression Optimizer Auto DoP

28 GfK Retail and Technology Konsolidierung einer Data Mart Farm auf ExaData Oliver Scheibe 03 November 2011 AutoDOP Funktionsweise 28

29 GfK Retail and Technology Konsolidierung einer Data Mart Farm auf ExaData Oliver Scheibe 03 November 2011 Laufzeit in Minuten Testreihe PARALLEL_DEGREE_LIMIT PARALLEL_DEGREE_LIMT PARALLEL_FORCE_LOCAL=FALSE PARALLEL_FORCE_LOCAL=TRUE

30 GfK Retail and Technology Konsolidierung einer Data Mart Farm auf ExaData Oliver Scheibe 03 November 2011 Testreihe PARALLEL_DEGREE_LIMIT 30 PARALLEL_DEGREE_LIMIT = 8 Laufzeiten bei PARALLEL_FORCE_LOCAL=FALSE durchgängig zehn Prozent besser

31 GfK Retail and Technology Konsolidierung einer Data Mart Farm auf ExaData Oliver Scheibe 03 November 2011 Gesamtlaufzeit in Minuten Vergleich AutoDOP und manuelles Parallelisieren AUTO 8 MANUAL 8

32 Gesamtlaufzeit in Minuten GfK Retail and Technology Konsolidierung einer Data Mart Farm auf ExaData Oliver Scheibe 03 November 2011 Testreihe PARALLEL_MIN_TIME_THRESHOLD PARALLEL_MIN_TIME_THRESHOLD

33 GfK Retail and Technology Konsolidierung einer Data Mart Farm auf ExaData Oliver Scheibe 03 November 2011 Testreihe PARALLEL_MIN_TIME_THRESHOLD 33 Für den Lasttest ist ein kleiner Wert von PARALLEL_MIN_TIME_THRESHOLD optimal. Bei einem zu kleinem Wert für PARALLEL_MIN_TIME_THRESHOLD wird allerdings eine Klasse von SQLs parallelisiert, bei denen der Ausführungsplan zu extrem langen Laufzeiten führt, bzw. der Overhead des Parallelisierens zu groß wird. => PARALLEL_MIN_TIME_THRESHOLD=20

34 GfK Retail and Technology Konsolidierung einer Data Mart Farm auf ExaData Oliver Scheibe 03 November 2011 Oracle GfK RT 34 OLTP Compression Optimizer Auto DoP RAC

35 GfK Retail and Technology Konsolidierung einer Data Mart Farm auf ExaData Oliver Scheibe 03 November 2011 Grenzen der ExaData - Reportausführung über mehrere Instanzen 35 Request Application Server GSE Client DB SERVICE über mehrere Knoten

36 GfK Retail and Technology Konsolidierung einer Data Mart Farm auf ExaData Oliver Scheibe 03 November 2011 Grenzen der ExaData - Reportausführung über mehrere Instanzen Reportausführsdauer schwankt zwischen 40 und 300 s 36 Request Application Server GSE Client DB SERVICE over ALL nodes

37 GfK Retail and Technology Konsolidierung einer Data Mart Farm auf ExaData Oliver Scheibe 03 November 2011 Grenzen der ExaData - Reportausführung über mehrere Instanzen 37 Request Application Server GSE Client DB SERVICE über einen Knoten

38 GfK Retail and Technology Konsolidierung einer Data Mart Farm auf ExaData Oliver Scheibe 03 November 2011 Grenzen der ExaData - Reportausführung über mehrere Instanzen Reportausführsdauer konstant bei 30 s 38 Request Application Server GSE Client DB SERVICE over ALL nodes DB SERVICE over ONE node

39 GfK Retail and Technology Konsolidierung einer Data Mart Farm auf ExaData Oliver Scheibe 03 November 2011 Grenzen der ExaData - Reportausführung über mehrere Instanzen 39 Dieses Beispiel legt nahe, einen Report möglichst nur auf einem Knoten auszuführen. => PARALLEL_FORCE_LOCAL=TRUE Um BLOCK SHIPPING und BLOCK CONTENTION zu vermeiden, sollten die Daten knotenaffin abgefragt werden. Dies wird durch die Übertragung der Sektor-Struktur der Data Marts auf Services von Oracle erzielt. Deshalb wird pro Sektor ein Service eingerichtet, der auf ein oder zwei Knoten beschränkt wird.

40 GfK Retail and Technology Konsolidierung einer Data Mart Farm auf ExaData Oliver Scheibe 03 November 2011 Oracle GfK RT 40 ExaData No Index Approach OLTP Compression Optimizer Auto DoP RAC

41 GfK Retail and Technology Konsolidierung einer Data Mart Farm auf ExaData Oliver Scheibe 03 November 2011 Potential der ExaData am Beispiel eines TSR Reports Nicht alle Reports profitieren von den Indexzugriffen. Beispiel TSR ( Total Store ) viele Warengruppen über Sektorgrenzen hinweg. Zum Test wurde aus einem Report ein exemplarisches SQL ausgewählt, welches mit unterschiedlichen SQL- Hints ausgeführt wurde: 1. Original Hint (mit INDEX-Hints) 2. Original Hint ohne INDEX-Hints 3. Original-Hint ohne INDEX-Hints mit NO_INDEX- Hints 4. Orginal-Hint ohne INDEX-Hints mit FULL-Hints Neben den SQL-Hints wird der Parallelitätsgrad variiert. 41

42 Sekunden GfK Retail and Technology Konsolidierung einer Data Mart Farm auf ExaData Oliver Scheibe 03 November 2011 Potential der ExaData am Beispiel eines TSR Reports SQL Laufzeiten mit unterschiedlichen Hints FULL_HINT NOINDEX_HINT ohne_index_hint INDEX_HINT Grad der Parallelisierung

43 Agenda 1 GfK Retail and Technology 2 Evaluation ExaData 3 4 Inbetriebnahme ExaData Fazit

44 Fazit Alle Kunden wurden auf die ExaData umgestellt. Die Auslastung der ExaData liegt in Hochlasttagen bei maximal 60% der CPU-Kerne. Aussage Robert Spieler (Leiter StarTrack Support): Ich kann nur eine subjektive Meinung geben. Wir empfinden die Performance grundsätzlich als stabil. Fazit: Wir spüren keine signifikante Verbesserung, waren aber meist schon auf einem ganz ordentlichen Niveau. => Die ExaData X 2-2 kann mit den hochspezialisierten Data Marts konkurrieren. Das Potential der ExaData ist noch nicht ausgeschöpft. 44

45 Oracle GfK RT 45 OLTP Compression Oracle 11g and ExaData = viele ergänzende Funktionen Es reicht nicht ExaData aus die eigenen Anwendungen einfach auf RAC Optimizer auf die ExaData No Index umzuziehen um das Potential der ExaData voll Approach zu nutzen! Auto DoP Migration auf ExaData = Analyse, Test => Performance

46 Fazit ExaData ist auch nur ein RAC Patch-Erfahrungen Hardwareausfälle Zusammenarbeit mit Oracle 46

47 GfK Retail and Technology Konsolidierung einer Data Mart Farm auf ExaData Oliver Scheibe 03 November Thank you. Any questions?