Industrie 4.0 und Smart Data

Transkript

1 Industrie 4.0 und Smart Data Herausforderungen für die IT-Infrastruktur bei der Auswertung großer heterogener Datenmengen Richard Göbel

2 Inhalt Industrie Was ist das? Was ist neu? Herausforderungen Technologien Anwendungsbeispiel Wie lassen sich solche großen Datenmengen effizient analysieren und auswerten? Ideen Konzepte Welche Produkte gibt es?

3 Industrie Was ist das? Ressourceneffizienz Vernetzung Integration von Kunden und Lieferanten Integrierte Wertschöpfungsketten Automatisierung Höhere Flexibilität und Wandlungsfähigkeit Industrielle Individualfertigung Selbstorganisation

4 Was ist neu? Aktuell Manuelle Dateneingabe Zukunft Automatisierte Dateneingabe Sensoren (Text-) Scanner Mikrofone Kameras Manuelle Eingabe

5 Herausforderungen Datenmengen (Big Data/Smart Data) Volume sehr große Datenmenge Variety verschiedene Typen von Daten Velocity enge zeitliche Rahmenbedingungen Veracity ungenaue Daten Extraktion strukturierter Daten aus unstrukturierten Daten Automatisierte Identifikation von Zusammenhängen

6 Technologien Datenmengen NoSQL-Datenbanken NewSQL-Datenbanken Extraktion strukturierter Daten Text Mining Audiodaten: Speech2Text ( SIRI ) Bilddaten: Objekterkennung ( Gesichtserkennung ) Maschinenlernen Neuronale Netzwerke Support Vector Machine

7 Eine Beispielanwendung Auswertung von Kunden- s Bewertung von Produkten Reklamationen Überwachung von Anlagen in der Produktion Stromverbrauch Temperatur Betriebsmodus Geräusche und Vibrationen Beispielanwendungen Energieverbrauch Ausfallwahrscheinlichkeiten von Anlagen Qualitätskontrolle

8 Auswertung von Kunden- s Gewinnung strukturierter Daten aus unstrukturierten Texten Warum ruft der Kunde an? Topic Detection Welches Produkt? Named Entity Recognition Welches Problem? Ontology Bewertung des Produkts Opinion Mining Auswertung in Echtzeit Anzahl der Probleme pro Produkt Veränderung der Kundenmeinung

9 Auswertung der Anlagendaten Nummer Anlage Zeit Strom Temperatur Modus Vibration ,43 33,4 XC ,89 31,7 K ,50 25,4 B ,33 45, ,01 50,7 K/ ,99 42,0 K/6 6

10 Herausforderung Datenmenge Anzahl neuer Werte pro Sekunde 1000 Messwerte / Sekunde 100 Anlagen 10 Sensoren / Anlage Werte pro Sekunde Anzahl Werte pro Jahr: Schnelles Gruppieren und Auswerten von Daten Maximaler Stromverbrauch einer Anlage in einem Jahr Summierter Energieverbrauch verschiedener Anlagen Verschleiß der Anlagen/Ausfallwahrscheinlichkeit Relationale Datenbanken sind hier nicht ausreichend effizient!

11 Idee - Vorausberechnung Anlagen Zeit 7,2 12 1, ,3 7, ,1 29,4 7,4 12 0,9 6 4,2 30,5 7,5 11 0,8 6 4,3 29,6 7,6 11 0,7 6 4,4 29, , ,5 Anordnung der Werte in einer Tabelle Vorausberechnen der Summen für alle Spalten und Zeilen Allgemein: OLAP-Hypercube Problem: nicht alle relevanten Funktionen sind vorher bekannt

12 Idee - Spaltendatenbank Zeilendatenbank A B C D Spaltendatenbank A B C D

13 Idee - Datenkompression Wenige unterschiedliche Werte Speicherung kurzer Codes anstatt der langen Werte Wiederholung von Werten Speicherung von Werten mit Wiederholungsfaktor Geringe Differenzen zwischen Werten Start mit einem Basiswert Speicherung von Differenzen Einige Kompressionsverfahren beschleunigen die Auswertung der Daten!

14 Idee Computercluster Parallele Verarbeitung und Analyse der Daten möglich Aggregation eines Gesamtergebnis aus den Teilergebnissen Verwaltung der Daten im Hauptspeicher Speicherung der Daten auf Festplatten nur für die Persistenz Redundante Speicherung von Daten

15 Aufgaben Anwendungsentwickler Datenmodell entwerfen Tabellen Spalten/Spaltengruppen (erweiterbar) Versionsverwaltung für Werte Abbildung des Datenmodells definieren Verteilung der Daten auf verschiedene Rechner Redundanz Datenkompression Zugriff und Auswertung Klassisch deklarativ (z.b. mit SQL) Prozedurale Programme für effiziente Analyse und Auswertung Eventuell auch Parallelisierung von Algorithmen

16 Spalten- / In-Memory-Datenbanken Kommmerziell Oracle 12c Microsoft SQL Server 2014 IBM DB2 with BLU Acceleration Oracle Exadata SAP Hana Sybase IQ Open Source Apache Accumulo Apache Cassandra MonetDB

17 Zusammenfassung Schnelle Erfassung und Auswertung sehr großer Datenmengen mit neuen Technologien möglich Größere Freiheiten und höherer Aufwand zur Anpassung der Datenbanken an Anwendungen Aktuell noch sehr unterschiedliche Konzepte und Produkte Kontakt