Big Data - Chancen für die Energiewirtschaft Dr. Roger Knorr - Leader Business Development Big Data (Email: Roger.Knorr@de.ibm.com, Mobil: 0160 885 1584)
Agenda Big Data und die Energiewende Big Data - Neue Anforderungen, neue Technologien Big Data Anwendungsbeispiele in der Energiewirtschaft 2
Für die Energiewende sind erneuerbare Energien Voraussetzung. Das führt zu einer dezentralen, komplexeren Infrastruktur Traditionell Herkömmliche Erzeugung: Zentrale, hierachische Infrastruktur Neu Integration erneuerbare Energien: Dezentrale Infrastruktur (Smart Grid) Kohle/Gas Solar Energiespeicher UTILITY Hydro Nuklear UTILITY Kohle/Gas Hydro Solar Solar Wind Energy Storage Nuklear Wind Energiespeic her Plug-in E-Auto Verbraucher Stromfluss: in eine Richtung Punktueller Informationsfluss notwendig Wind Verbraucher Stromfluss: bidirektional mgl. Permanenter Informationsfluss notwendig Resultate der Dezentralisierung: Standort des Stromverbrauchs kann auch Standort der Stromerzeugung sein, Echtzeitsteuerung auch in Verteilnetzebene notwendig, Neue Technologien und Standards immer wichtiger für Effizienz und Interoperabilität Menge der Daten explodiert, die Menge unterschiedliche Datenformate auch 3
IBM Verständnis von Big Data Die Vier V Volume Velocity Variety Veracity Data in Ruhe Data in Bewegung Dataformate Datenunsicherheit Management und Analyse von sehr großen Volumen existierender und/oder neuer Daten Streaming Daten in Millisekunden erfasst und analysiert Strukturierte, unstrukturierte Daten von Sensoren, Texten, Bildern, Videos, Korrektheit, Vollständigkeit, Ironie, Missbrauch, Verzögerung, 4
Big Data Herausforderung Neue Anforderungen mit der jeweils richtigen Technologie und mit betriebliche Effizienz erfüllen. Finde die richtigen Daten ohne andere Nebeneffekte Daten in Bewegung Business Analytics Finde das (Daten)gold Daten in Ruhe Ein sauberer Data Lake ist von hohem Nutzen im Gegensatz zu (Daten-)müll
Speicherung & Analyse großer, gespeicherter Datenmengen (Anlehnung: Data Lake) Hadoop Model (MapReduce-Mechanismus): Extrem hohe Parallelisierung von Low Cost Rechnerknoten Skalierbar über Tausende von Rechnerknoten möglich Speicherung sehr großer Datenmengen nicht mehr in Tabellen, sondern Filesystem Beliebige Datenformate (strukturiert und unstrukturiert) Schnelle Analyse durch sogenannten Map Reduce Mechanismus Hadoop Name Node Hadoop Data Nodes MapReduce Application public static class TokenizerMapper extends Mapper<Object,Text,Text,IntWritable> { private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(object key, Text val, Context StringTokenizer itr = new StringTokenizer(val.toString()); while (itr.hasmoretokens()) { word.set(itr.nexttoken()); context.write(word, one); } } } public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWrita private IntWritable result = new Intritable(); public void reduce(text key, Iterable<IntWritable> val, Context context){ int sum = 0; for (IntWritable v : val) { sum += v.get();... Reduced Result Set Verteilung Map tasks auf Knoten Shuffle Rückgabe eines Ergebnissets Map Phase (zerlegt Anfrage in viele kleine Einzelanfrage) Shuffle (Transfer der Zwischenergebnisse für finales Processing ) Reduce Phase (Erzeuge ein finales Set an Ergebnissen)
Vestas mit IBM BigInsights Optimierung von Investment auf der Basis von 2.5 Petabyte Informationen Herausforderung: Wettermodell zur optimierten Positionierung von Windturbinen für bestmöglichen Ertrag für Stromerzeugung Nutzen: Zeiteinsparung zur Identifizierung von optimalen Standorten: Von Wochen auf Stunden Neu: Analyse von 2.5 PB strukturierter und semi-strukturierter Daten. Services: SiteHunt*, SiteDesign* Vestas Forecasting (http://www.vestas.com/en/products_and_services/opera tion_and_maintenance#!vestas-forecasting) Prognose: Datenwachstum auf 6 PB 7
Analyse permanent, entstehender Daten mit Stream Computing Illustriert (Anlehnung: Wasserfall) Permanenter Datenstrom Kontinuierliche Analyse Transform Annotate Alarme Filter / Sample Correlate Classify Datenspeicher 8 Beliebige Datenformate, beliebige Datenquellen miteinander analysieren Echtzeitanalyse ohne vorheriges Speichern in Datenbanken! Anonymisierung sensitiver Daten vor Speicherung in Systemen möglich Kleinere operative Datenspeicher führen zu geringeren Betriebskosten
Battelle mit IBM Streams Verringerung der Betriebskosten und Verbesserung der Netz-zuverlässigkeit Herausforderung: Einschätzung der Zuverlässigkeit und Leistungsfähigkeit des Netzes durch transactive control Nutzen: Bessere Integration von erneuerbaren Ressourcen und Optimierung des Asset Managements Ermöglicht die Analyse und Business Insights von bis zu 10PB Daten innerhalb von Minuten Verbesserung der Netzeffizienz und verlässlichkeit durch Selbstmonitoring und Feedback von System Ermöglicht es, das z.b. Städte kritische Situationen eher erkennen und Ausfälle vermeiden können 9
Beispiel: Predictive Maintenance Ausfallvermeidung durch Systemüberwachung und Datenanalyse am Kraftwerksblock Situation: Druckkessel platzt Grund scheint ungünstiges Verhältnis von Druck, Temparatur und weiteren Parametern zu sein (z.b. Schwefelgehalt) vorher danach Folgen: Hohe Reparaturkosten Für Zeit der Reparatur keine Stromerzeugung Stromhändler müssen ihre Modelle sofort anpassen Ein Platzer am Überhitzer Nr. 4 ist wie eine Explosion Fragestellung: Ist es möglich, Muster in Anlagendaten zu finden, um Kesselschäden: 1. vorherzusagen 2. zu verhindern. Daten: Sensordaten - strukturiert Logfiles eines Kraftwerksblocks - unstrukturiert Ergebnis: Es wurden automatisiert Muster gefunden Bei Erkennung der Muster: Regelmäßig nach 7h erfolgt Explosion Empfehlung: Implementierung einer permanenten, sofortigen Datenauswertung Training der Mustererkennung zur Verfeinerung + Verbesserung des Ergebnis 10
Big Data Plattform von IBM integriert diese unterschieldichen Technologien für Datenmanagement & Analyse Watson (Explorer, Content Analyzer, Cognitive) Find, navigate, visualize, analyze, propose SPSS Predictive Analytics One single UI for building & deploying Models against all forms of big data InfoSphere BigInsights Bring Hadoop processing to the enterprise to analyze large and diverse data sets InfoSphere Streams Explore and analyze data in-motion PureData for Analytics and for Operational Analytics, DB2 BLU & Informix software Relational, Timeseries, In-Memory, Analytical Appliance Security / Privacy InfoSphere Guardium / Optim Security auditing, encryption, Anonymization Information Integration and Governance InfoSphere DataStage / Information Server Govern data quality and manage the information lifecycle
Weitere Informationen: Big Data Lösungen: ibm.com/bigdata Wetterprognosen (1-2km Auflösung) http://www03.ibm.com/ibm/history/ ibm100/us/en/icons/deepthunder/ transform/ Für kompletten Report des IBV bitte mich kontaktieren (34 Seiten)