Möglichkeiten für bestehende Systeme

Transkript

1 Möglichkeiten für bestehende Systeme Marko Filler Bitterfeld, GISA GmbH Leipziger Chaussee 191 a Halle (Saale)

2 Agenda Gegenüberstellung Data Warehouse Big Data Einsatz- und Optimierungsmöglichkeiten Ermittlung von Optimierungspotenzial 2015 GISA GmbH Seite 2

3 Agenda Gegenüberstellung Data Warehouse Big Data Einsatz- und Optimierungsmöglichkeiten Ermittlung von Optimierungspotenzial 2015 GISA GmbH Seite 3

4 Gegenüberstellung Data Warehouse Big Data Data Warehouse Big Data ist eine Architektur Speicherung von strukturierten Daten nutzt relationale Datenbanken voraggregierte Daten für schnellen Zugriff durch InMemory -Technologien mehr Performance und schnellere Aktualisierung der Daten Auswertung mit BI-Technologien multidimensionale OLAP-Datenbanken ist eine Technologie Auswertung von unstrukturierten bzw. Sensordaten Datenspeicherung in Data Lakes HDFS (Hadoop Distributed File System) Nutzung spezieller Software für parallele Verarbeitung auf vielen Prozessoren und Servern Daten aus Data Warehouses lassen sich teilweise analysieren Bewältigung von zigtausende oder gar Millionen einzelner Transaktionen pro Sekunde 2015 GISA GmbH Seite 4

5 Agenda Gegenüberstellung Data Warehouse Big Data Einsatz- und Optimierungsmöglichkeiten Ermittlung von Optimierungspotenzial 2015 GISA GmbH Seite 5

6 Einsatz- und Optimierungsmöglichkeiten Vorhandene Anwendung neue Anwendung/ Einsatzzweck Standard Datenbankanwendung Data Warehouse strukturierte Daten unstrukturierte Daten Datenformat strukturierte Daten mit Relationen strukturierte Daten mit Relationen strukturierte Daten mit Relationen Dokumente, Filme, Audiodateien Speicherung über relationales Datenbankmodell Speicherung über relationales Datenbankmodell Speicherung über relationales Datenbankmodell Daten von Sensoren häufig änderbare Daten uneinheitlich strukturierte Daten Datenspeicherung relationale Datenbank relationale Datenbank relationale Datenbank Data Lakes HDFS (Hadoop Distributed File System) Datenauswertung BI-Technologien, Reportingtools BI-Technologien, Reportingtools Big Data Technologien Optimierungsmöglichkeiten Optimierung Sytemstack Einsatz optimierter Hardwarekomponenten Einsatz von InMemory -Technologien Beschleunigung von Optimierung des Modells und der Abfragen (Strukturierung der Daten, Aggregationen) Optimierung Sytemstack Einsatz optimierter Hardwarekomponenten Einsatz optimierter Hardewarekomponenten Einsatz von InMemory -Technologien Parallelisierung der Verarbeitung Auswertungen über Data Warehouse Einsatz von InMemory -Technologien 2015 GISA GmbH Seite 6

7 Optimierungsmöglichkeiten konkreter Nutzen für die Optimierung von vorhandenen Anwendungen Behebung von möglichen aktuellen Performanceproblemen Verkürzung von Wartungszeiten der Anwendung, z. B. nächtlicher Batchbetrieb Auszeiten am Wartungswochenende Bewältigung von künftigen Anforderungen, z. B. steigende Datenmengen steigende Anwenderzahlen Vernetzung mit anderen Systemen gestiegene Systemanforderungen durch neuere SW-Releases oder Sicherheitsrichtlinien TCO = Total Cost of Ownership 2015 GISA GmbH Seite 7

8 Optimierungsmöglichkeiten Systemstack Speichererweiterung (RAM) CPU-Erweiterung Optimierung Systemstack SSD als Storage Speichererweiterungskarten Flash-Memory Quelle: Oracle 2015 GISA GmbH Seite 8

9 Einsatz optimierter Hardwarekomponenten Einsatz einer Appliance Quelle: Oracle 2015 GISA GmbH Seite 9

10 Einsatz von InMemory -Technologien SAP Hana (mit spezieller Hardware) Oracle 12c mit In-Memory-Funktionalitäten Microsoft SQL Server GISA GmbH Seite 10

11 Beschleunigung von Auswertungen über Data Warehouse Aufbau Data Warehouse Datenaufbereitungen Datenanalyse Datenpräsentation Überführung der auszuwertenden Daten in ein Data Warehouse Bildung von Dimensionen und Datencubes Erstellung von Abfragen und Aggregationen Einsatz von Analysetools Darstellung der Daten in Dashboards und Cockpits 2015 GISA GmbH Seite 11

12 Optimierung des Modells und der Abfragen (Strukturierung der Daten, Aggregationen) Partitionierung von Datenbanktabellen Einführung zusätzlicher Aggregationsstufen und Analyse Cubes Einsatz von speziellen Oracle OLAP- Funktionalitäten bei Oracle- Datenbanken Optimieren von Indexen Data Warehouse Einsatz von Microsoft Analysis Services bei MSSQL-Server- Datenbanken 2015 GISA GmbH Seite 12

13 Agenda Gegenüberstellung Data Warehouse Big Data Einsatz- und Optimierungsmöglichkeiten Ermittlung von Optimierungspotenzial 2015 GISA GmbH Seite 13

14 Ermittlung von Optimierungspotenzial Fragestellungen zur Tiefenanalyse (Auswahl) Wie viele User hat die Anwendung aktuell? Wie könnte die Entwicklung der Userzahlen in den nächsten 5 Jahren aussehen? Wie hoch ist das aktuelle Datenvolumen der Anwendung? Wie könnte die Entwicklung des Datenvolumens in den nächsten 5 Jahren aussehen? Sind max. Wartezeiten bei Transaktionen zu berücksichtigen? Können Unterschiede in der Performance im den Zeiten des betreuten Betrieb und außerhalb des betreuten Betriebs, z. B. bei nächtlichen Transaktionen, bestehen? Sind spezielle Systemvoraussetzungen zu beachten? 2015 GISA GmbH Seite 14