Analyse und Auswertung großer heterogener Datenmengen

Transkript

1 Analyse und Auswertung großer heterogener Datenmengen Herausforderungen für die IT-Infrastruktur Richard Göbel

2 Inhalt Big Data Was ist das eigentlich? Was nützt mir das? Wie lassen sich solche großen Datenmengen effizient analysieren und auswerten? Ideen Konzepte Welche Produkte gibt es?

3 Big Data In einigen Bereichen "explodieren" die Datenmengen Herausforderungen für die Verwaltung Auswertung Nutzung 4V-Definition von Big Data Volume sehr große Datenmenge Variety verschiedene Typen von Daten Velocity enge zeitliche Rahmenbedingungen Veracity ungenaue Daten

4 Vergangenheit Manuelle Dateneingabe Manuelle Verarbeitung Datennutzung

5 Gegenwart Manuelle Dateneingabe Automatische Verarbeitung Datennutzung

6 Zukunft Automatisierte Dateneingabe Automatische Verarbeitung Datennutzung Sensoren (Text-) Scanner Mikrofone Kameras Manuelle Eingabe

7 Automatisierte Eingaben: Big Data Automatisierte Eingaben ermöglichen die Akquisition und Auswertung von Daten in Echtzeit die Erfassung von mehr Details eine deutliche höhere zeitliche Auflösung Neben strukturierten Daten werden auch unstrukturierte Daten erfasst Texte Bilder Audio- und Videodaten Konventionelle IT-Strukturen sind nicht ausreichend für die Verwaltung großer heterogener Datenmengen!

8 Konkrete Anwendungsbeispiele Verbesserte Absatzprognosen der Otto Gruppe aus Daten zu Bewerbungsgrad der Artikel, Artikeleigenschaften sowie Informationen aus dem Umfeld Verkehrsmanagement in Stockholm zur Verkehrsleitung auf der Basis von Verkehrs- und Wetterdaten (GPS, Sensoren, Unfall- und Staumeldungen, Videos ) Nebenwirkungen von Medikamenten sowie Patientenzufriedenheit mit Behandlungsmethoden durch Analyse von Internet Foren und Blogs durch die Treato / First Life Ltd Erkennen von Betrugsversuchen bei der Paymint AG bei Kreditkartentransaktionen

9 Weitere Beispiele für Anwendungen Ausfallwahrscheinlichkeiten von Anlagen Betriebsdaten, Protokolle, s, Kundenmeinungen über eigene und Konkurrenzprodukte Kunden s, Blogs, soziale Netzwerke, Markforschung: Was wollen Kunden? CRM, Kunden s, Vertriebsberichte, Erkennen von Unregelmäßigkeiten in Finanztransaktionen Daten Rechnungswesens, Kommunikation, Korrespondenz, Effizienz von Geschäftsprozessen Protokolle, Verbesserungsvorschläge, interne s,

10 Beispielszenario Aufzeichnung von Telefongesprächen im Vertrieb/Support Stimmanalyse Umwandlung der Gespräche in Texte Text Mining Warum ruft der Kunde an? Topic Detection Welches Produkt? Named Entity Recognition Welches Problem hat der Kunde? Ontology Bewertung des Produkts Opinion Mining Auswertung der Telefongespräche in Echtzeit Anzahl Probleme pro Produkt Veränderung der Kundenmeinung

11 Eine Beispielanwendung Überwachung einer Vielzahl von Anlagen in einer Produktionsumgebung Erfassung von Daten im Millisekundentakt Stromverbrauch Betriebstemperatur Betriebsmodus Beispielanwendungen Ausfallwahrscheinlichkeiten von Anlagen Qualitätskontrolle

12 Relationale Datenbank Nummer Anlage Zeit Strom Temperatur Modus ,43 33,4 XC ,89 31,7 K ,50 25,4 B ,33 45, ,01 50,7 K/ ,99 42,0 K/6

13 Herausforderungen Anzahl neuer Werte pro Sekunde 1000 Messwerte / Sekunde 100 Anlagen 10 Parameter / Anlage Werte pro Sekunde Anzahl Werte pro Jahr: Schnelles Gruppieren und Auswerten von Daten Maximaler Stromverbrauch einer Anlage in einem Jahr Energieverbrauch jeder Anlage über die letzten 100 Tage Verschleiß als Funktion von Stromverbrauch, Temperatur und Betriebsmodus

14 Relationale Datenbanken - Probleme Einfügen von Daten Speicherung der Daten direkt auf der Festplatte Transaktionskonzept mit write-ahead logging Auswertung der Daten Laden der Daten von der Festplatte (Fast) alle Daten müssen für eine Auswertung angefasst werden

15 Idee - Vorausberechnung Anlagen Zeit 7,2 12 1, ,3 7, ,1 29,4 7,4 12 0,9 6 4,2 30,5 7,5 11 0,8 6 4,3 29,6 7,6 11 0,7 6 4,4 29, , ,5 Anordnung der Werte in einer Tabelle Vorausberechnen der Summen für alle Spalten und Zeilen Allgemein: OLAP-Hypercube Problem: nicht alle relevanten Funktionen sind vorher bekannt

16 Idee - Spaltendatenbank I Zeilendatenbank A B C D Spaltendatenbank A B C D

17 Idee - Spaltendatenbank II Hauptspeicher Cache CPU

18 Idee - Datenkompression Wenige unterschiedliche Werte Speicherung kurzer Codes anstatt der langen Werte Wiederholung von Werten Speicherung von Werten mit Wiederholungsfaktor Geringe Differenzen zwischen Werten Start mit einem Basiswert Speicherung von Differenzen Einige Kompressionsverfahren beschleunigen die Auswertung der Daten!

19 Idee - Clustercomputer Verteilung der Daten auf unterschiedliche Server Parallele Verarbeitung und Analyse der Daten möglich Aggregation eines Gesamtergebnis aus den Teilergebnissen Verwaltung der Daten im Hauptspeicher Speicherung der Daten auf Festplatten nur für die Persistenz Redundante Speicherung von Daten Transparenter Zugriff für Anwender auch über Schnittstellen wie SQL

20 Konzept - Map Zuordnung Schlüssel (Key) als beliebiger Datentyp Wert (Value) als beliebiger Datentyp Operationen Put: ordne einem Schlüssel einen Wert zu Get: den Wert eines Schlüssels abfragen

21 Konzept - Sorted String Table Datei mit Schlüssel-Wertepaaren sortiert nach dem Schlüssel Key Value Key Value Index Key Key Offset Offset

22 Konzept - Hauptspeicher Lesen Schreiben Löschen Ändern MEMTABLE SSTABLE

23 Konzept Tabellenstruktur I Aufbau Zeilen (Row) Spalten (Column) Zeilenschlüssel () Spaltengruppen Gruppe von Spalten mit identischen Inhaltstyp Jede Zeile kann unterschiedliche Spalten haben Es können unterschiedliche Versionen von Spaltenwerten existieren

24 Konzept - Tabellenstruktur Column Group Column Column Column Column Group Column Column Group Column Column Value Value Value Value Value Value Value Value Value Value Value Value

25 Konzept - Tablets Sortierung Tablet Server Row Data Row Data Row Data Row Data Row Data Tablet Server Row Data Row Data Row Data Row Data Row Data Row Data Row Data Tablet Server Row Data Row Data

26 Konzept - Locality Group Locality Group Column Group Locality Group Column Group Column Group Column Column Column Column Column Column Value Value Value Value Value Value Value Value Value Value Value Value

27 Aufgaben des Datenbankentwicklers Datenmodell entwerfen Tabellen Spalten/Spaltengruppen (erweiterbar) Versionsverwaltung für Werte Abbildung des Datenmodells definieren Verteilung der Daten auf verschiedene Rechner Redundante Datenhaltung Gruppieren von Spaltengruppen Datenkompression Zugriff und Auswertung Klassisch deklarativ (z.b. mit SQL) Zusätzlich prozedurale Programme zur optimalen Nutzung der Abbildung des Datenmodell

28 Konzept - Datenkompression Identische Werte für konsekutive Schlüssel werden nicht redundant gespeichert Standardkompression zum Beispiel mit dem ZIP-Verfahren Anwendung kann zusätzlich eigene Verfahren definieren

29 Beispiel Spaltendatenbanken Kommmerziell Oracle 12c IBM DB2 with BLU Acceleration Microsoft SQL Server 2014 SAP Hana Sybase IQ Open Source Apache Accumulo Apache Cassandra MonetDB

30 Zusammenfassung Schnelle Erfassung und Auswertung sehr großer Datenmengen mit neuen Technologien möglich Größere Freiheiten und höherer Aufwand zur Anpassung der Datenbanken an Anwendungen Aktuell noch sehr unterschiedliche Konzepte und Produkte (kein Standard in Sicht!) Kontakt

31 Vielen Dank für ihre Aufmerksamkeit!