Quo vadis Sensordaten?

Transkript

1 Alexander Körner IBM Deutschland GmbH, November 2014 Quo vadis Sensordaten? Effiziente Verarbeitung und Auswertung von strukturierten und unstrukturierten Zeitreihendaten Information Management

2 Die IBM und die Themen Industrie 4.0 / Internet of Things Aktive Mitarbeit der IBM in den relevanten Gremien und Konsortien Plattform Industrie 4.0: Leitung der Arbeitsgruppe 2 Referenzarchitektur Gründungsmitglied des Industrial Internet Consortium Konkrete Umsetzung(en) in Form von Kundenprojekten und spezifischen Produkten Vertikale Integration mittels IBM Integration Bus Manufacturing Pack Sichere und skalierbare Kommunikationsinfrastrukturen (z.b. IBM WebSphere MQTT) Cloud-basierte Internet der Dinge Entwicklungs- und Deployment-Plattformen (z.b. IBM Internet of Things Foundation oder IBM Bluemix) Modelle, Lösungen und Dienstleistungen für die vertikale und horizontale Integration im Bereich der Wertschöpfungsketten Security: Schutz von Produktionsanlagen vor Hackerangriffen, sichere B2B Integration u.a. Big Data und Analytics: Sammeln, Speichern, Filtern, Analysieren, Aggregieren, Visualisieren von großen Mengen von Daten Entwicklungsplattformen und -leistung für mobile Anwendungen, z.b. für Maschinensteuerung / Produktionsüberwachung per Tablet/Smartphone Innovative Lösungen und Tools für Embedded Systeme (z.b. die Sensordaten-optimierte SQL Datenbank Informix), die auf Maschinen und/oder Fahrzeugen zum Einsatz kommen können 2

3 Industrie 4.0/IoT: Sensor- und JSON-Daten sind überall Daten im Industrie 4.0 / Internet of Things (IoT) Kontext Bei der Integration unterschiedlicher intelligenter Objekte durch Vernetzung fallen große Mengen von Sensordaten an Daten werden entweder lokal auf den Objekten erfasst und/oder zentral in einer Cloud JSON entwickelt sich zur Lingua Franca des IoT und für Industrie 4.0 Beispiel: Smart Mobility / Connected Cars Kontinuierliche Übermittlung von Positionsdaten Überwachung von sicherheitsrelevanten Fahrzeugdaten On-Board Datenerfassung und Auswertung Beispiel: Smart Buildings Intelligente Stromverbraucher (z.b. Beleuchtung) Wetterabhängige Steuerung des Gebäudes In-House Sensordaten-Gateways/-Konzentratoren Beispiel: Smart Agriculture Automatische, positionsgesteuerte Bearbeitung von Feldern 3 Optimierte Düngung auf Grund von Sensordaten der Erdbeschaffenheit Erfassung aus Auswertung weiterer Sensordaten für eine optimale Ausbringung von Saatgut und Durchführung der Ernte

4 Viele Sensoren Riesige Datenmengen! Internet Of Things Schätzungen Ein Ausblick auf Milliarden installierte Dinge 30 Milliarden miteinander verbundene Dinge Öffentlicher Dienst, Distribution & Services, Produktion & Resourcen, und Verbraucher werden Bereiche mit großen Wachstum sein Ungefähr 3 Millionen Petabytes von Daten aus Embedded Systemen (ohne Streaming-Daten, z.b. von Überwachungssystemen) 8.9 Trillionen US$ an geschäftlichen Werten Quelle: IDC, December

5 Sensordaten: allein zu Haus? Sensordaten (Zeitreihendaten) sind meistens nicht allein Moderne Sensoren liefern sowohl strukturierte als auch unstrukturierte Daten (z.b. im JSON Format) Nicht selten werden Geokoordinaten mit erfasst und sollen mit Sensordaten in Relation gesetzt und ausgewertet werden Die Stammdaten der Sensoren (z.b. deren Einbauort, Hersteller, Konfiguration usw.) liegen meistens in Form von relationalen Datenquellen vor (z.b. in Asset Management Systemen) Daraus ergeben sich folgende Entscheidungskriterien... In welchem Datentyp und in welcher Menge fallen die Sensordaten an? Was ist die gewünschte Weiterverarbeitung (Echtzeitverarbeitung, komplexe Analysen etc.)? Müssen verschiedene Datentypen miteinander kombiniert werden? Wo sollen die Sensordaten verarbeitet werden? In der Cloud oder In-House? Embedded auf der Maschine/dem Fahrzeug? Mix & Match (z.b. Embedded & in der Cloud) Über welche Schnittstellen und von welchen Anwendungen/Tools soll auf die Sensordaten zugegriffen werden? Wie sicherheitsrelevant sind die Daten? 5

6 Sensordatenverwaltung: Technologien 6

7 Technologien zur Sensordatenspeicherung und -verarbeitung Einfache Dateien Einfache Anwendung Limitierte Out-of-the-Box Funktionalität Optimierte Dateisysteme (z.b. Hadoop) Sehr gut geeignet für grosse Datenmengen und komplexe Anfragen Teilweise mit SQL Schnittstelle(n) Relationale Datenbanken Etablierte Technologie für strukturierte Daten SQL Abfragesprache ist verbreitet Nicht optimal für große Mengen von Zeitreihendaten ( Ausnahme: Optimierte DWH Datenbanken) Spezielle Zeitreihendatenbanken Sehr gute Performance für reine Zeitreihendaten (auch durch In-Memory Ansätze) Spezialisierte Zeitreihenoperationen/-funktionen Häufig proprietäre Schnittstellen In-Memory Datenbanken Sehr gute Performance für alle Daten die In-Memory gehalten werden können Typischerweise nur auf leistungsfähiger HW zu finden Aktuelle Technologien sind meistens für komplexe Leseabfragen optimiert 7 NoSQL Datenbanken Interessant für die schnelle Anwendungsentwicklung Schemalose Datenstrukturen bieten eine hohe Flexibilität Häufig proprietäre Schnittstellen Hybride Datenbanken Kombination von relationalen Daten, Zeitreihendaten und NoSQL Daten Einfache Verknüpfung der verschiedenen Datenstrukturen SQL- und NoSQL-Schnittstellen Embedded Lösungen

8 Wachstum Information Management Beispiel: Klassisch (relationale) Sensordatenverwaltung Meter_ID TimeStamp phase1 phase2... temp : : : : : : : : : : : Jeder Datensatz hat nur die Werte für einen Sensor = Milliarden von Datensätzen Zusätzliche Indizes sind für performante Zugriffe notwendig = Zusätzlicher Platzbedarf Meter IDs und Zeitstempel müssen in jedem Datensatz gespeichert werden

9 Wachstum Information Management Leicht optimierte, relationale Speicherung von Sensordaten Sensor_ID TimeStamp Value_01 Value_02 Value_95 Value_ : : : : : : : : Jeder Datensatz enthält die Werte für einen Sensor pro Tag (z.b. 96 Werte bei 15 min Intervallen) Schnelleres Laden der Daten als bei einem rein relationalen Ansatz Sehr unflexibel bei einer Änderung der Messintervalle Operationen auf den Daten erfordern aufwendige Logik in der Anwendung Bei einer Speicherung der Daten in BLOBs aufwendige Änderungslogik notwendig! Zusätzliche Indizes sind für performante Zugriffe notwendig = Zusätzlicher Platzbedarf Meter IDs und Tages-Zeitstempel müssen in jedem Datensatz gespeichert werden

10 Hybride (relationale/nosql) IBM Datenbank mit optimierter Sensordatenverarbeitung Meter_ID Origin 00:00 00:30 01:00 01: (1.3, ) (1.6, ) (1.4, ) (1.4, ) (0.4, ) (0.3, ) (0.2, ) (0.5, ) (0, {value: 1.5} 13.6) (0, {value: 9.1} 12.2) {value: 0.3} Nur ein Datensatz pro Sensor (z.b. Smart Meter) Keine unnötige Datenredundanz Optimale Anordnung der Daten auf dem Plattenspeicher Spezielle Zeitreihenfunktionen und -operatoren (Benutzer-erweiterbar) Speicherung von JSON Dokumenten als Elemente einer Zeitreihe Unterstützung für hochfrequente Daten (z.b. 50 Hz Auslesefrequenz) Wachstum 10 Dadurch spürbar reduzierter Platzbedarf (ca.60%) deutlich gesteigerte Performance schnellere Datenzugriffe

11 Die IBM Lösung: Eine hybride und einbettbare Datenbank statt getrennter Datensilos Sensordaten Cloud NoSQL API NoSQL API SQL MQTT, Replikation Strukturierte Sensordaten Zeitreihen Datenbank Getrennte Datensilos Sensordaten JSON Format NoSQL Datenbank Asset Mgmt System SQL Datenbank Zeitreihen Daten JSON Dokumente Relationale Daten Hybride, einbettbare Datenbank Hybride Datenbank 11

12 Deployment Plattformen 12

13 Cloud: Beispiel Die IBM Internet of Things Foundation Einfache Schnittstellen Echtzeit MQTT REST Entwicklung Verwalten Zusammenfügen Speichern Schnittstellen IBM IoT Foundation IBM Bluemix 13

14 Sensordaten Embedded/On-Board: Was spricht dafür? 1. Kostenreduktion Weniger Speicherbedarf in der Cloud, da die Sensordaten lokal gefiltert und aggregiert werden Weniger CPU Resourcen in der Cloud durch vorberechnete Werte 2. Geringere Latenzzeit Intelligente Gateways erkennen und reagieren auf locale Ereignisse in Echtzeit im Vergleich zu einem Transfer in die Cloud 3. Sicherheit Gateways erlauben den Kunden Daten zu sammeln und auszuwerten ohne sie in die Cloud zu schicken Im Laufe der Zeit wird sich die Sensordatenverarbeitung immer mehr von der Cloud auf lokale Gateways ( Edge Devices ) verlagern 14

15 Das Big Picture : Sensordaten in einer 3-Ebenen Architektur Smart Building Anwendungsbeispiel Sensoren im Haus Sensordaten von anderen Quellen Embedded Sensordaten Gateway Datenströme Infosphere Streams NoSQL-/Relationale- & Zeitreihen-Daten Pub/Sub MessageSight / MQTT Geräteprotokolle inkl. KNX, BACnet, CoAP, 6LoWPAN, ZigBee etc.. Sensordaten Gateway Datenpool für alle Sensoren aller Gebäude BigInsights Sensordaten Sensordaten Gateway Gateway Informix Cluster in der Cloud (Bluemix, IoT Foundation, Softlayer) Hinweise/Empfehlungen Korrelationen/Vergleiche SPSS/Cognos 15 Daten in Echtzeit Antworten in Echtzeit Hinweise/Empfehlungen Endkunden / Geschäftskunden Informix Warehouse Accelerator In-Memory Echtzeit Analyse

16 Vielen Dank! Alexander Körner vcard 16

17 Backup Slides 17

18 IBMs Hybride Sensordatenbank für Industrie 4.0 / IoT Anwendungen Informix ist IBMs hybride Datenbank für Sensordaten in den Themenbereichen Industrie 4.0, und Internet of Things Informix ist die einzige relationale Datenbank im Markt, die relationale Daten mit einer optimierten Verarbeitung von Sensordaten, Geodaten und JSON Daten kombiniert (z.b. Joins zwischen relationalen Daten, Sensordaten und JSON Daten) Deutlich vereinfachte Anwendungsentwicklung im Industrie 4.0 Kontext Bei großen Mengen von Sensordaten hat Informix eine deutlich bessere Performance und Skalierbarkeit im Vergleich zu relationalen Datenbanken und verwendet dabei auch deutlich weniger Resourcen. Im Vergleich zu einer anderen relationalen Datenbank (in einem Benchmark): 2x so schnell, nur ein 1/3 des benötigten Speicherplatzes unter Verwendung von nur 50% der Resourcen Informix ist optimal für Deep Embedded Anwendungen Verfügbarkeit auf ARM oder Intel Quark Plattform z.b. für OnBoard/Smart Building Systeme Geringer Footprint, geringer Resourcenverbrauch Informix ist optimal für Cloud- und Server-Anwendungen Die hohe Grundperformance von Informix für Sensordaten kann in der Cloud bei Bedarf um eine IBM BLU basierte In-Memory Technologie (IWA) ergänzt werden. Informix ist als Time Series Historian in IBMs IoT Foundation verfügbar, für die IBM Softlayer Cloud zertifiziert und ist in IBMs Bluemix als Zeitreihendatenbank verfügbar 18

19 Sensordaten Benchmark: Smart Meter Datenmanagement Simulation von 30 Millionen intelligenten Zählern (Sensoren) Metrik Relationale DB IBM Informix DB mit optimierter Sensordatenverarbeitung Tägliche Verarbeitungszeit Maximale Anzahl von CPU Cores 11 Std 62 5 Std 50 Min 22 Datenbankgröße (pro Monat) 15TB 5TB Anzahl der Prozesse

20 IBM Informix ist auf Intel und ARM Prozessoren verfügbar! Eine vollständige Informix Edition, inkl. Unterstützung für Zeitreihen- und Geo-Daten Minimale Informix ARM Systemanforderungen ARM v7 CPU mit Hardware Floatingpoint Unterstützung (aber auch ARM v6 Raspberry Pi) 512 MB RAM (für Linux und Informix) Speicherplatz für die Datenbankdateien (z.b. SSD, SD, microsd usw.) Minimaler Platzbedarf für eine Datenbank < 100 MB Eine der folgenden Linux Distributionen für ARM Debian 7.1 Ubuntu 12.1 Unterstützung anderer Linux Distributionen auf Anfrage Informix für ARM Minimale Informix Intel Quark Systemanforderungen 400MHz 32-bit Intel Pentium 256 MB RAM (für Linux und Informix) Beschreibarer Speicher (z.b. SSD, SD, microsd) für die eigentlichen Daten Mimimaler Platzbedarf für eine Datenbank: < 100 MB Linux Distributionen für das Galileo Board Debian 7.1 Informix für Intel Quark 20

21 IBM und Plattform Industrie 4.0 AG 1: Strategie AG 2: Referenzarchitektur (Leitung: IBM) AG 3: Forschung AG 4: Sicherheit Mitgliedsunternehmen: ABB, Bosch, Telekom, Festo, HP, IBM, Infineon, Phoenix Contact, SAP, Siemens, ThyssenKrupp, Trumpf, Wittenstein IBM unterstützt das Zukunftsprojekt Industrie 4.0 in Deutschland Bereitstellung von Technologien, Werkzeugen und Methodenwissen Nutzung und Transfer von Expertise aus analogen internationalen Projekten Aufbau von Anwendungsfällen in industriellen Partnerschaften

22 IBM and the Industrial Internet Consortium Founded in 2014 to further development, adoption and wide-spread use of interconnected machines, intelligent analytics and people at work. The goal of the IIC is to accelerate the development and availability of intelligent industrial automation for the public good: Utilize existing and create new industry use cases and test beds for real-world applications; Deliver best practices, reference architectures, case studies, and standards requirements to ease deployment of connected technologies; Influence the global development standards process for internet and industrial systems; Facilitate open forums to share and exchange real-world ideas, practices, lessons, and insights; Build confidence around new and innovative approaches to security. Membership is open to those interested in advancing the implementation of the Industrial Internet. 22

23 Links IBM Internet of Things Foundation IBM Bluemix IBM Informix Datenbank (Hybride Sensordatenbank) IBM Redbook zum Thema Informix Zeitreihentechnologie 23