Skalierbare Hardund Software für ein modernes Smart-Meterfähiges. Jens Maier, Robotron Maik Sandmann, Oracle Steffen Reißig, Robotron

Transkript

1 Skalierbare Hardund Software für ein modernes Smart-Meterfähiges EDM-System Jens Maier, Robotron Maik Sandmann, Oracle Steffen Reißig, Robotron Radebeul,

2 Agenda Anforderungen für Smart Meter fähige EDM-Systeme Technische Umsetzung Software und Hardware Oracle Engineered Systems Beispiel: Oracle Exadata für Smart Meter

3 Smart-Meter-fähiges EDM-System Anforderungen an ein modernes EDM-System sind in den letzten Jahren beständig (teilweise explosionsartig) gewachsen Das ecount/esales-system deckt alle wichtigen Funktionen der Energiemarktteilnehmer ab Mit dem RollOut von Smart Meter ist mit einem erhöhtem Datenaufkommen zu rechnen Neue Auswertemöglichkeiten/ Auswerteinhalte (DW, Mining, Analysen, Nutzerverhalten) der quantitativ und qualitativ großen Datenmenge möglich Datensicherheit wichtig

4 Smart-Meter-fähiges EDM-System Sind die bestehende Installationen dafür vorbereitet? Ist die Hardware ausreichend? Sind weitere, neue Systeme notwendig?

5 Agenda Anforderungen für Smart Meter fähige EDM-Systeme Technische Umsetzung Software und Hardware Oracle Engineered Systems Beispiel: Oracle Exadata für Smart Meter

6 Abbildung auf systemtechnische Anforderungen Massendatenverarbeitung in definierten, kurzen Zeitzyklen Sehr schnelles IO System notwendig (Durchsatz und Wartezeiten), u. U. auch dedizierte Hohe CPU Leistung für single Thread und Parallelität notwendig (Einzelthreadperformace und CPU Anzahl ) Parallelität und Konfigurierbarkeit sichern CPU und IO Parallelität ist vorausgesetzt HW Parallele Konfiguration der Prozesse/Jobs nach Lastanforderung Applikation Überschneidung mit User und Systemprozessen Reserven (Auslastung Hardware) einkalkulieren und vorhalten

7 Abbildung auf systemtechnische Anforderungen Skalierbarkeit Investitutionsschutz Entscheidende Komponente! Per Software (OS, Basis-SW, Applikation) und Hardware Unterstützung von vertikale und horizontale Skalierung Lösung nach individueller und zeitlich gestaffelter Anforderung damit möglich Hochverfügbarkeit (prinzipielle Anforderung) Absicherung der zentralen Lösung per Redundanz Individuelle Lösungen mit Oracle HA Architekturen möglich RAC Unterstützung Kostenminimierung als zentrale Aufgabe

8 Systemtechnische Architekturkomponenten für hochperformante EDM-Systeme Leistungsfähiges IO System verwenden - mit Flash Cache oder SSD Storage, erweiterbar, viele parallele Storage Units, schnelle + konfliktfreie Serveranbindung, db_flash_cache_size Schnelle Single CPU (Taktung, Typ) und ausreichende Anzahl Cores nach gewünschter und konfigurierter Prozessparallelität Skalierbares SMP oder Kombination aus SMP/RAC Schnelles Bussystem, besonders bei RAC (InfiniBand) für high throughput, low latency Große, möglichst mehrstufige Caches verwenden (viel Hauptspeicher SGA/PGA groß, u.u. second level Caches verwenden) Individuelle Prozesse individuelles Tuning

9 Systemtechnische Architekturkomponenten für hochperformante EDM Systeme Leistungsfähiges IO System verwenden - mit Flash Cache oder SSD Storage, erweiterbar, viele parallele Storage Units, schnelle + konfliktfreie Serveranbindung, db_flash_cache_size Schnelle Single CPU (Taktung, Typ) und ausreichende Anzahl Cores nach gewünschter und konfigurierter Prozessparallelität Skalierbares SMP oder Kombination aus SMP/RAC Schnelles Bussystem, besonders bei RAC (InfiniBand) für high throughput, low latency Große, möglichst mehrstufige Caches verwenden (viel Hauptspeicher SGA/PGA groß, u. U. second level Caches verwenden) Individuelle Prozesse individuelles Tuning

10 Robotron-Optimierungen für Smart Meter Smart Meter Systemtest, Untersuchung und Optimierungen: bei Robotron mit skalierender Oracle Architektur (Exadata) SMP (symmetrisches Multiprozessorsystem) Tuning mit positiver Auswirkung auf parallele DB-Architekturen (Oracle Real Application Cluster RAC, horizontale Skalierung) Keine speziellen Codeänderung für Smart Meter oder RAC vorgenommen Konfigurationen und Tuning auf Basis der bekannten Oracle Standard Software (Oracle Datenbank 11gR2)

11 Optimierungen Parallelisierung durch eine Parallelisierung von Prozessen bzw. Jobs kann der Durchsatz der Abarbeitung signifikant erhöht werden Beispiel parallele Abarbeitung des robotron*ecount-jobs Gesamtplausi täglich führt zu deutlicher Performance-Steigerung Relative Einfluss auf die Gesamt-Performance: sehr hoch Für SMP oder RAC Architekturen sinnvoll Übernahme in Produktcodebasis per KM

12 Optimierungen Änderung Nutzung DBMS_LOCK robotron*e count benutzt für das zeilenweise Sperren von Tabelleninhalten das Oracle-Package DBMS_LOCK robotron*e count generiert für die Eindeutigkeit einer Sperre einen eindeutigen alphanumerischen Namen welcher in der Mapping- Tabelle DBMS_LOCK_ALLOCATED gespeichert wird Auswirkungen: Cluster-Wait-Events Lösung: Implementierung von eindeutig numerischen Namen zur Vermeidung der Mapping-Tabelle Relative Einfluss auf die Gesamt-Performance: sehr hoch Prinzipiell sinnvoll für Systeme mit hohen Transaktionsvolumen, Planung der Übernahme in Produktcodebasis per KM

13 Optimierungen Tuning Nutzung Indizes Tests haben ergeben, dass hohe Warteereignisse von INSERTS beim Pflegen der Indizes entstehen können Auswirkung: hohe Anzahl von enq: TX index contention; ITL contention; Cluster waits) folgende Indizes wurden auf REVERSE KEY INDEX mit erhöhtem INITRANS-Wert im Rahmen des Tests umgestellt: EC_ZRV.ZRDVW_PK, EC_FARZ.FOBJ_PK, Gut für Schreiben etwas aufwendiger für Lesen Individuelles Tuning nach Kunden-Prozessen Relative Einfluss auf die Gesamt-Performance: hoch

14 Optimierungen Tuning Parsing die Komponente SMLKomA benutzt i. d. R. wiederkehrende SQL- Statements Auswirkungen: hohe Anzahl von Parses Lösung: Erhöhung des Datenbankparameter SESSION_CACHED_CURSOR auf 200 Relative Einfluss auf die Gesamt-Performance: gering Tuning Nutzung Sequenzen Lasttests ergaben, dass die Cache-Parameter für ausgewählte Sequenzen für die hohen Transaktionslast nicht ausreichen Auswirkung: hohe Anzahl von enq: SQ contention Lösung: Erhöhung der Cache Parameter für ausgewählte Sequenzen (z. B. EC_ZRV.ZRDVW_SEQ, EC_ZRV.ZRDH_SEQ) Relative Einfluss auf die Gesamt-Performance: mittel

15 Besondere Optimierungen für Exadata Besonderes Optimierungspotential für Oracle Exadata: Engenieered Oracle RAC System mit hochperformanten, Performance-hierarchischen Speichermanagement (Flash, ASM) Individuelles Tuning für: Die besonders leistungsfähige HCC Komprimierung der Exadata verringert die Anzahl der Datenblöcke kleinere DB und bessere IO Performance Nutzung des Storage Servers mit SmartScan Optimierungen für Entlastung der CPU und Verlagerung von Abfragen in den spezialisierten Storage Server Nutzung des Storage Servers mit Storage Indexes für Indizierung auf Storage Server Ebene

16 Agenda Anforderungen für Smart Meter fähige EDM-Systeme Technische Umsetzung Software und Hardware Oracle Engineered Systems Beispiel: Oracle Exadata für Smart Meter

17 Oracle Exadata Database Machine One architecture for Data Warehousing OLTP Database Consolidation Exadata is Oracle s strategic database platform for ALL Oracle Database workloads 18 Copyright 2012, Oracle and/or its affiliates. All rights reserved.

18 Performance Achievement Performance Achievement Pre-built and Optimized Out-of-the-Box 100% Custom Configuration Test & debug failure modes Assemble dozens of components Measure, diagnose, tune and reconfigure Multivendor finger pointing Time (Days) Time (Months) 19 Copyright 2012, Oracle and/or its affiliates. All rights reserved.

19 Exadata Hardware Architecture Database Grid 8 x Dual-processor x64 database servers OR 2 x Eight-processor x64 database servers Intelligent Storage Grid 14 High-performance low-cost storage servers 100 TB High Performance disk, or 504 TB High Capacity disk 22.4 TB PCI Flash InfiniBand Network 3 x 36-port 40Gb/s switches Unified server & storage network Intelligent Storage Server Software 20 Copyright 2012, Oracle and/or its affiliates. All rights reserved.

20 New Oracle Exadata X3-2 Eighth-Rack Faster than 2010 Quarter-Rack, 2008 Half-Rack Lowest Cost Lowest cost Exadata configuration 16 Database Cores, 54 TB Disk, 2.4 TB PCI Flash Highly Available configuration with all Exadata features Brings Exadata extreme performance to smaller workloads, development, test, disaster recovery Hardware identical to Quarter-Rack Half CPU Cores, Disks, and Flash Cards Disabled Half the Database and Exadata Software Licenses Upgrade to Quarter-Rack with software command 21 Copyright 2012, Oracle and/or its affiliates. All rights reserved.

21 Exadata Innovations with Exadata Hybrid Columnar Compression Smart Flash Smart Scan 4 Storage Index What were my sales yesterday? 10:1 Table Oracle DB Grid A B C D HOT Smart Flash Cache Optimizer Chooses Smart Flash Logging Write-Back Flash Min Partitions Cache B = 1 & Indexes to Access Select sum (sales) Max B =5 where Date= 24-Sept 10 TB scanned WARM 1 GB returned to servers COLD Index Min B = 3 Max B =8 Exadata Storage Grid Scan compressed blocks in partitions / indexes Retrieve sales amounts for Sept 24 Select * from Table where B<2 - Only first set of rows can match 22 Copyright 2012, Oracle and/or its affiliates. All rights reserved.

22 PERFORMANCE HIGHER Oracle Database Systems Family Engineered for Simplicity Engineered for Performance Oracle Database Appliance 2 to 24 Cores Cores can be disabled 12 TB Storage, 192 GB memory 292 GB Flash for Redo Logs, External NFS Storage Support Wizard Driven Deployment, Patching, and Support Oracle Database Appliance 24 cores Oracle Exadata Eighter Rack Oracle Database Appliance 2 cores Ships with 24 cores, customers can disable cores first time, thereafter can only scale up CAPACITY HIGHER 23 Copyright 2012, Oracle and/or its affiliates. All rights reserved.

23 Agenda Anforderungen für Smart Meter fähige EDM-Systeme Technische Umsetzung Software und Hardware Oracle Engineered Systems Beispiel: Oracle Exadata für Smart Meter

24 Smart-Meter-Test auf EXADATA EXADATA bei Robotron Tests der Applikation für zukünftige Anforderungen enge Zusammenarbeit zwischen Robotron und ORACLE Möglichkeit einer getesteten und optimierten Applikation auf ORACLE-DB und ORACLE-Hardware

25 12 Mio. Zählertest 12 Millionen Zähler mit 1 Kanal á 96 zufälligen Einzelzählerständen und Sekundenindex on-the-fly-arbeitswertberechnung beim Datenimport Nutzung von drei SMLKomA-Servern Laufzeit: :15:18 bis :15:23 > 2,3 Mrd. Werte/Tag in einem System Zähler * 1 Kanal * 96 Werte = Werte/d Werte/d (Rohzeitreihe + Verbrauchszeitreihe) Nachrichten/d

26 robotron*e count für Smart Meter Skalierungsmöglichkeiten durch Optimierung der Applikation, auch auf EXADATA-Funktionalität, gegeben Maßnahmenplan Parallelität der Anwendung bringt mit EXADATA große Leistungsfähigkeit und Sicherheit im Tagesgeschäft und für die Zukunft Smart Metering auf Basis von robotron*e count/e collect ist in die derzeit vorhandene Applikation integriert (keine Neuanschaffungen von Software notwendig) Robotron kann den Einsatz einer EXADATA-Maschine (RAC) empfehlen

27 Skalierungsmaßnahmen fachlich Ziele Maßnahmen Zeitrahmen Einfluss Performance Erhöhung Plausi- Durchsatz Erhöhung Plausi- Durchsatz Job-Parallelisierung erledigt sehr hoch Änderung der TZC-Abarbeitung mittelfristig sehr hoch DVSD- Invalidierung Job-Parallelisierung mittelfristig hoch Lastreduzierung bei 1/4-Stunden-Importe Zeitreihen-Cache mittelfristig sehr hoch

28 F R A G E N A N T W O R T E N