ML Deployment. Vom Prototyp zur Produktion

Transkript

1 ML Deployment Vom Prototyp zur Produktion Marcel Spitzer Karlsruhe,

2 Marcel Spitzer Big Data inovex Wi.-Mathematik (B.Sc.), Wi.-Informatik (M.Sc.) Data Science mit Python und R Deployment von ML Anwendungen Big Data, Hadoop, Spark 2

3 Beispiel 1: Batch Szenario Demand Prediction Vorhersage von Produktnachfrage auf Tagesbasis Bereitstellung in Datenbank Zugriff über Analysetools und Dashboards 3

4 Beispiel 2: (Near-)Realtime Szenario Recommender System Produktempfehlungen auf Basis von Nutzerverhalten Bereitstellung als Webservice Zugriff über REST API 4

5 Entwicklung ML Deployment Prozess Daten Training Produktion Modell Daten Scoring Prognose Serving 5

6 Herausforderungen Hand-Over in Produktion Skalierbarkeit vs. Komplexität Monitoring und Modellmanagement Inkrementelle Verbesserung Hohe Verfügbarkeit 6

7 Data Science und SW Engineering 7

8 Data Science und SW Engineering Data Science SW Engineering Experimentell Systematisch Rapid Prototyping, Ad-Hoc Analysen Clean Code, Test-Driven Development, CI/CD Reports, Dashboards Wartbare und funktionale Software 8

9 Data Science und SW Engineering Data Science braucht Iteration Prototyping oft in einer Sandbox-Umgebung In Produktion müssen ML Anwendungen realen Bedingungen standhalten 9

10 Data Science und SW Engineering DS kann chaotisch sein, deshalb Versionskontrolle Dependency-Management Automatisierter CI-Prozess 10

11 Data Science und SW Engineering ML Deployment erfordert Engineering Skills Frühzeitige Einbindung von SW Engineers Praktikable Lösungen und Etablierung von Standards 11

12 Hand-Over von ML Modellen 12

13 Hand-Over von ML Modellen Entwicklung Daten isiert Produktion Serial Packa g e Config Daten Conta i ner Vorbereitung Training??? Modell Vorbereitung Scoring Prognose 13

14 Hand-Over von ML Modellen Entwicklung Produktion Daten Daten sync? Vorbereitung Training Vorbereitung Modell Scoring Prognose 14

15 Hand-Over von ML Modellen Entwicklung Produktion Daten Daten Vorbereitung Vorbereitung Pipeline Training Scoring Prognose 15

16 Hand-Over von ML Modellen Entwicklung sync? Produktion Daten Daten Vorbereitung Vorbereitung Pipeline Training Scoring Prognose 16

17 Hand-Over von ML Modellen Entwicklung Daten Produktion Data Lake Vorbereitung Daten Vorbereitung Pipeline Training Scoring Prognose 17

18 Hand-Over von ML Modellen Serialisierung erfordert konsistenten SW Stack Container bieten größtmögliche Flexibilität Pipeline-Konzept erleichtert Reproduzierbarkeit Data Lake für konsistente und aktuelle Daten 18

19 Monitoring und Modellmanagement 19

20 Monitoring und Modellmanagement Beispiel: Spam-Klassifikation 20

21 Monitoring und Modellmanagement Beispiel: Spam-Klassifikation 21

22 Monitoring und Modellmanagement Verhaltensmuster ändern sich mit der Zeit ML Anwendungen müssen adaptierbar sein Erfordert Re-Training auf aktuellen Daten Automatisiertes Deployment für schnelle Reaktionsfähigkeit 22

23 Deployment-Strategien 23

24 Strategie 1: Re-Implementierung Modell liegt prototypisch in Python oder R vor und wird auf Stack des SW Engineers reimplementiert Ineffizient und fehleranfällig Korrekte Replikation der Modelle schwierig Nur für einfache Modelle realisierbar 24

25 Strategie 2: ML Frameworks Verwendung dedizierter ML Frameworks in Entwicklung und Produktion Ende-zu-Ende Abdeckung des ML Workflows Lokale und Remote Entwicklung Multi-Language Support Horizontale Skalierbarkeit Eingeschränkter Funktionsumfang 25

26 Strategie 3: Microservices Modell wird in Python oder R trainiert und als Webservice in einem Container deployt Voller Funktionsumfang von Python/R Isolation von Abhängigkeiten Horizontale Skalierbarkeit On-Premise oder Cloud 26

27 Skalierbarkeit vs. Funktionsumfang ML Frameworks Skalierbarkeit Cloud & Container Prototyping & Ad-Hoc Analysis Funktionsumfang 27

28 Beispielarchitektur 1: Batch-Scoring Development Production Training Training Data Scoring Data Model Store Predictions Scoring Service ID Pred Client 28

29 Beispielarchitektur 2: Realtime-Scoring Production Events Producer Transform Facts ID Data ID Client Service Pred Requests Scoring Cache Predictions 29

30 Zusammenfassung ML Deployment umfasst den gesamten Lebenszyklus Engineering ist essenziell für produktionsreifes ML Pipeline-Konzept erleichtert Reproduzierbarkeit Kontinuierliches Performance-Monitoring ML Frameworks und Container-basierte Ansätze 30

31 Vielen Dank Marcel Spitzer Big Data Scientist inovex GmbH Ludwig-Erhard-Allee Karlsruhe marcel.spitzer@inovex.de