Realtime Analytics im Bereich IoT Masterstudiengang Data Science, TU Chemnitz, Michael Thess

Transkript

1 Realtime Analytics im Bereich IoT Masterstudiengang Data Science, TU Chemnitz, 2018 Michael Thess

2 Signal Cruncher GmbH Background 2016 in Berlin als Spin-off der prudsys AG gegründet Gründung: Fokus: Produkt: Proof of Concept: 1998 aus TU Chemnitz Pionier im Bereich Echtzeit-Personalisierung Retail Real-Time Analytics Real-Time Decision Engine (RDE) für personalisierte Empfehlungen, Marketing Automation & Dynamic Pricing Marktführer in Europa Online-Shops in 34 Ländern - darunter viele TOP 100 Versandhändler aus Deutschland Gründung: 2016 Fokus: Übertragung der RDE auf Non-Retail-Segmente in die Bereiche Industrie 4.0 & Smart Home Produkt: Proof of Concept: XONBOT (aus XELOPES) Analysekern der RDE. Selbstlernendes Entscheidungssystem für Applikationen und Gegenstände des Alltags. Basiert auf Reinforcement Learning. Erfolgreiche Abwicklung von Industrie 4.0 & Smart-Home- Pilotprojekten

3 XONBOT macht Geräte selbstlernend Ein automatisch lernendes System spart dem Bewohner Arbeit und kann die Zusammenhänge statistisch viel exakter erlernen als ein Mensch. Der XONBOT wird mit einem zentralen Gateway verbunden oder darin integriert. Danach wird er in den Lernmodus für die betreffenden Geräte versetzt, beobachtet das Schaltverhalten und lernt daraus. Soll XONBOT die Steuerung der Geräte übernehmen, so wird in den Applikationsmodus umgeschaltet. Dabei kann sein Verhalten manuell übersteuert werden. Auch daraus wird gelernt. Kenngrößen können optimiert werden wie z.b. der Energie- oder Stromverbrauch für vorgegebene Raumtemperatur bzw. -verlauf.

4 Echtzeitansatz im Smart-Home Anwendungen (Beispiele): Lampensteuerung: Anwesenheitssimulation, Helligkeitssteuerung, Empfehlungen Küchenberater: Vorschlag von Speisen und Rezepten, z.b. möglichst kaloriensparend Cross-Selling: personalisierte Angebote von Produkten und Dienstleistungen Avatar: Persönlicher Berater, der aus Nutzerinteraktion lernt, agiert als Metasteuerung für alle KI-Anwendungen Im weiteren soll exemplarisch das Thema der Eigenverbrauchsoptimierung betrachtet werden

5 Echtzeitansatz im Smart-Home Eigenverbrauchsoptimierung: Das Ziel besteht darin, die Geräte in Abhängigkeit von Sensoren zeitlich derart zu steuern, dass bei Einhaltung eines vorgeschriebenen Temperaturverlaufs der Energie- oder Stromverbrauch über den gesamten Tag minimiert wird. XONBOT lernt fortlaufend die Thermodynamik eines Hauses, die Entwicklung der Außentemperaturen und das Verhalten der Bewohner. In jedem Schritt berechnet er wie Vorlauftemperaturen, Heizventile oder elektrisch Stellgrößen zu wählen sind, um den Energieverbrauch zu minimieren. In jedem Schritt gleicht er Ist und Soll ab und korrigiert sein Modell der Umwelt. Auf diese Weise lernt XONBOT innerhalb weniger Wochen die optimale Steuerung der Heizgeräte.

6 Beispiel Steuerung der Vorlauftemperatur Ziel: Steuerung der Vorlauftemperatur mit minimalem Energieverbrauch Dabei soll Zieltemperatur möglichst genau eingehalten werden Messung von Vorlauftemperatur, Innentemperatur und Außentemperatur Formulierung: Nutzen die Tatsache, dass Energieverbrauch mit Vorlauftemperatur korreliert Meßdatenerfassung sowie Regelung in N äquidistanten Intervallen Folgende Variablen:

7 Beispiel Steuerung der Vorlauftemperatur Formulierung: Lösung von Regularisierungsproblem hinsichtlich der Vorlauftemperaturen zu allen Zeitpunkten: min τ1,,τ N N (t i t) 2 N i=1 + λ i=1 τ i unter den Nebenbedingungen t min t i, i = 1,, N, t i τ i t max, i = 1,, N Interpretation: Erster Term bestraft hohe Abweichung von Solltemperatur, zweiter Term hohen Energieverbrauch Regularisierungsparameter legt Gewichtung zwischen beiden fest, von Nutzer festgelegt Beinhaltet im Kern die Lösung zweier Probleme: 1. Modellierung des Zusammenhangs zwischen Vorlauf- und Innentemperaturen (abhängig von weiteren Größen) 2. Minimierung des Energieverbrauchs durch richtige Wahl der Vorlauftemperaturen

8 Modellierung der Thermodynamik Heizung eines Universitätsgebäudes, reale Daten (auf Minutenbasis) Modellierung der Vorlauftemperatur temp_in (rekursiv für 10 Tage) bei vorgegebener Innentemperatur Regressionsmodell (FM-SVM) abhängig von Innentemperatur und Außentemperatur temp_env temp_env temp_in temp_in_predict Ergebnis: 1. Sehr exakt modellierbar, sofern Einflussgrößen bekannt 2. Funktioniert analog für Innentemperatur

9 2. Steuerung über Reinforcement Learning Wechselspiel aus Agent und Umgebung Grundlegende Begriffe: Zustand s, Aktion a und Belohnung r Agent lern dabei, eine skalare Zielgröße zu maximieren den erwarteten Gewinn Der erwartete Gewinn ist die Summe aller erwarteten Belohnungen: R θ = T k=0 γ k r θ+k+1 Diese wird über die Aktionswertfunktion f(s, a) modelliert, welche über die Bellman-Gleichung berechnet wird Die Umsetzung der Policy liefert in jedem Zustand die nächste Aktion. Ansatz: π(s) = argmax a A(s) f(s, a) XENBOT enthält praxisreifes RL-Framework

10 Beispiel Steuerung der Vorlauftemperatur Lösung: Über Reinforcement Learning, Belohnung (exakt: Bestrafung) in jedem Schritt r i = (t i t) 2 λτ i unter den Nebenbedingungen t min t i, i = 1,, N, t i τ i t max, i = 1,, N Helligkeitssensor kann noch integriert werden, Helligkeiten

11 Gesamtmodellierung Modellierung über drei Teile: Zeitreihenprognose für Wetter Regression für Thermodynamik RL-Simulation für Steuerung Optional: Zeitreihenprognose für Nutzeranforderungen Vorgehen in jedem Zeitschritt: Anpassung Zeitreihenmodell und Prognose bis Tagesende Anpassung des Regressionsmodells Simulation bis Tagesende, SARSA-Algorithmus zur Bestimmung der optimalen Policy und Ausgabe der Vorlauftemperatur für nächsten Zeitschritt Anmerkungen: Wetterdaten können auch extern angeliefert werden Modellierung der Thermodynamik ohne Rücklauftemperatur Prinzipiell können aber frei weitere Attribute hinzugenommen werden

12 Beispiel Erweiterung um Heizlüfter Vorheriges Beispiel soll nun um Heizlüfter erweitert werden: Heizlüfter wird zusätzlich gesteuert, Stromverbrauch zusätzlich gemessen Erweiterung im RL sehr einfach durch neue Belohnung : r i = (t i t) 2 λ(ρτ i + ω i ) Energieverbrauch wird in äquivalenten Stromverbrauch (Normierungskonstante ) umgerechnet!

13 Was geht noch? System lässt sich im Grunde flexibel um beliebige weitere Messgeräte und Aktoren erweitern Nutzen Flexibilität der RL-Formulierung Das Lernen dauert länger Komplexität kann nicht beliebig erweitert werden Neue Qualität der Eigenverbrauchsoptimierung!