Serverless Computing mit AWS-Lambda

Transkript

1 Die Beschaffungsplattform für Geschäftskunden Serverless Computing mit AWS-Lambda Jörg Adler und Benjamin Otto,

2 Mercateo Mercateo ist Europas führende Beschaffungsplattform. > 1 Mio. Geschäftskunden 21 Mio. Artikel mehr als Hersteller Die Beschaffungsplattform für Geschäftskunden 2

3 Mercateo Mercateo ist Europas führende Beschaffungsplattform. > 1 Mio. Geschäftskunden 21 Mio. Artikel mehr als Hersteller Entwicklung von der Beschaffungsplattform zur Transaktionsplattform Massive Veränderungen in der IT-Landschaft Jörg Adler adler Benjamin Otto otbe Die Beschaffungsplattform für Geschäftskunden 2

4 Serverless The Cloud There is no cloud, it s just somebody else s computer. Die Beschaffungsplattform für Geschäftskunden 3

5 Serverless The Cloud There is no cloud, it s just somebody else s computer. lässt alle Services außer acht, die von Cloudanbietern bereitgestellt werden Die Beschaffungsplattform für Geschäftskunden 3

6 Serverless The Cloud There is no cloud, it s just somebody else s computer. lässt alle Services außer acht, die von Cloudanbietern bereitgestellt werden wo liegen die Kernkompetenzen der Firma Die Beschaffungsplattform für Geschäftskunden 3

7 Serverless The Cloud There is no cloud, it s just somebody else s computer. lässt alle Services außer acht, die von Cloudanbietern bereitgestellt werden wo liegen die Kernkompetenzen der Firma wie hoch sind die Kosten für eigene Server und Services Die Beschaffungsplattform für Geschäftskunden 3

8 Serverless The Cloud Die Beschaffungsplattform für Geschäftskunden 4

9 No server is easier to manage than no server. Werner Vogels, CTO AWS Die Beschaffungsplattform für Geschäftskunden 5

10 Serverless FaaS Der Cloudanbieter übernimmt Management aller Ressourcen Die Beschaffungsplattform für Geschäftskunden 6

11 Serverless FaaS Der Cloudanbieter übernimmt Management aller Ressourcen Entwickler muss nur Code bereitstellen Die Beschaffungsplattform für Geschäftskunden 6

12 Serverless FaaS Der Cloudanbieter übernimmt Management aller Ressourcen Entwickler muss nur Code bereitstellen Kann sehr schnell skaliert werden (starten von mehreren 1000 Funktionen gleichzeitig ist kein Problem) Die Beschaffungsplattform für Geschäftskunden 6

13 Serverless FaaS Der Cloudanbieter übernimmt Management aller Ressourcen Entwickler muss nur Code bereitstellen Kann sehr schnell skaliert werden (starten von mehreren 1000 Funktionen gleichzeitig ist kein Problem) keine dauerhafte lokale Speicherung Die Beschaffungsplattform für Geschäftskunden 6

14 Serverless FaaS Der Cloudanbieter übernimmt Management aller Ressourcen Entwickler muss nur Code bereitstellen Kann sehr schnell skaliert werden (starten von mehreren 1000 Funktionen gleichzeitig ist kein Problem) keine dauerhafte lokale Speicherung Umgebung nur für einen Aufruf garantiert Die Beschaffungsplattform für Geschäftskunden 6

15 Serverless FaaS Der Cloudanbieter übernimmt Management aller Ressourcen Entwickler muss nur Code bereitstellen Kann sehr schnell skaliert werden (starten von mehreren 1000 Funktionen gleichzeitig ist kein Problem) keine dauerhafte lokale Speicherung Umgebung nur für einen Aufruf garantiert zur Zeit nur anbieterspezifisch Die Beschaffungsplattform für Geschäftskunden 6

16 Serverless FaaS Der Cloudanbieter übernimmt Management aller Ressourcen Entwickler muss nur Code bereitstellen Kann sehr schnell skaliert werden (starten von mehreren 1000 Funktionen gleichzeitig ist kein Problem) keine dauerhafte lokale Speicherung Umgebung nur für einen Aufruf garantiert zur Zeit nur anbieterspezifisch Abhilfe: Die Beschaffungsplattform für Geschäftskunden 6

17 Spezifikationen Unterstützt Java-, Node.js-, C#- und Python-Code. sehr harte Limits (z.b. 5 Minuten Ausführungszeit) Zugriff auf andere Amazon APIs Die Beschaffungsplattform für Geschäftskunden 7

18 Synchron synchrone Ausführung mit API-Gateway Beispiel Die Beschaffungsplattform für Geschäftskunden 8

19 Asynchron asynchron von zahlreichen anderen Services (S3,...) Beispiel Die Beschaffungsplattform für Geschäftskunden 9

20 Infrastruktur sogar an Edge Standorten, siehe Die Beschaffungsplattform für Geschäftskunden 10

21 Infrastruktur onsite beim Kunden Die Beschaffungsplattform für Geschäftskunden 11

22 Performance Zahlen vom Die Beschaffungsplattform für Geschäftskunden 12

23 Performance Zahlen vom Warmup-Zeiten für Java-Lambdas liegen im Bereich mehrerer Sekunden Die Beschaffungsplattform für Geschäftskunden 12

24 Performance Zahlen vom Warmup-Zeiten für Java-Lambdas liegen im Bereich mehrerer Sekunden Anbindung an S3 ca. 35 MB/sec Die Beschaffungsplattform für Geschäftskunden 12

25 Performance Zahlen vom Warmup-Zeiten für Java-Lambdas liegen im Bereich mehrerer Sekunden Anbindung an S3 ca. 35 MB/sec mit 2800 Lambdas rund 40 Terraflops (rund 7 Cent/Sekunde, wenn benötigt) Die Beschaffungsplattform für Geschäftskunden 12

26 Performance Zahlen vom Warmup-Zeiten für Java-Lambdas liegen im Bereich mehrerer Sekunden Anbindung an S3 ca. 35 MB/sec mit 2800 Lambdas rund 40 Terraflops (rund 7 Cent/Sekunde, wenn benötigt) zum Vergleich: Nvidia GTX Titan X Pascal 11 TFlops, 250 W TDP, rund 900 Euro Die Beschaffungsplattform für Geschäftskunden 12

27 Performance Zahlen vom Warmup-Zeiten für Java-Lambdas liegen im Bereich mehrerer Sekunden Anbindung an S3 ca. 35 MB/sec mit 2800 Lambdas rund 40 Terraflops (rund 7 Cent/Sekunde, wenn benötigt) zum Vergleich: Nvidia GTX Titan X Pascal 11 TFlops, 250 W TDP, rund 900 Euro zum Vergleich: Intel i7: rund 92GFlops, 91W TDP, rund 320 Euro Die Beschaffungsplattform für Geschäftskunden 12

28 Performance Zahlen vom Warmup-Zeiten für Java-Lambdas liegen im Bereich mehrerer Sekunden Anbindung an S3 ca. 35 MB/sec mit 2800 Lambdas rund 40 Terraflops (rund 7 Cent/Sekunde, wenn benötigt) zum Vergleich: Nvidia GTX Titan X Pascal 11 TFlops, 250 W TDP, rund 900 Euro zum Vergleich: Intel i7: rund 92GFlops, 91W TDP, rund 320 Euro plus Management, Infrastruktur Die Beschaffungsplattform für Geschäftskunden 12

29 AWS Libs Amazon stellt SDKs und Libraries zur Verfügung Die Beschaffungsplattform für Geschäftskunden 13

30 AWS Libs Amazon stellt SDKs und Libraries zur Verfügung gut gepflegt und auf github Die Beschaffungsplattform für Geschäftskunden 13

31 AWS Libs Amazon stellt SDKs und Libraries zur Verfügung gut gepflegt und auf github zentrale Interfaces: 1 public interface RequestHandler <I, O> { 2 public O handlerequest (I input, Context context ); 3 } Die Beschaffungsplattform für Geschäftskunden 13

32 AWS Libs Amazon stellt SDKs und Libraries zur Verfügung gut gepflegt und auf github zentrale Interfaces: 1 public interface RequestHandler <I, O> { 2 public O handlerequest (I input, Context context ); 3 } 1 public interface RequestStreamHandler { 2 public void handlerequest ( InputStream input, OutputStream output, 3 Context context ) throws IOException ; 4 } Die Beschaffungsplattform für Geschäftskunden 13

33 AWS Libs Amazon stellt SDKs und Libraries zur Verfügung gut gepflegt und auf github zentrale Interfaces: 1 public interface RequestHandler <I, O> { 2 public O handlerequest (I input, Context context ); 3 } 1 public interface RequestStreamHandler { 2 public void handlerequest ( InputStream input, OutputStream output, 3 Context context ) throws IOException ; 4 } Context beinhaltet Logger, Ablaufzeit, Speicher, Name der Funktion,... Die Beschaffungsplattform für Geschäftskunden 13

34 Wie weiter? für asynchrones Aufrufen gibt es schon Standard-Events Die Beschaffungsplattform für Geschäftskunden 14

35 Wie weiter? für synchrones Aufrufen entweder eine Standard-Bean, oder Streams für spezielle Mappings Die Beschaffungsplattform für Geschäftskunden 15

36 Wie weiter? Maven Projekt bauen (mit shade plugin für fat-jar) Die Beschaffungsplattform für Geschäftskunden 16

37 Wie weiter? Maven Projekt bauen (mit shade plugin für fat-jar) jar hochladen Die Beschaffungsplattform für Geschäftskunden 16

38 Wie weiter? Maven Projekt bauen (mit shade plugin für fat-jar) jar hochladen angeben wann Lambda getriggert werde soll (per Console, AWS-CLI,...) Die Beschaffungsplattform für Geschäftskunden 16

39 Wie weiter? Maven Projekt bauen (mit shade plugin für fat-jar) jar hochladen angeben wann Lambda getriggert werde soll (per Console, AWS-CLI,...) oder: Serverless Framework nutzen Die Beschaffungsplattform für Geschäftskunden 16

40 Serverless Framework The Serverless Framework is a CLI tool that allows users to build & deploy auto-scaling, pay-per-execution, event-driven functions. Die Beschaffungsplattform für Geschäftskunden 17

41 Serverless Framework The Serverless Framework is a CLI tool that allows users to build & deploy auto-scaling, pay-per-execution, event-driven functions. vereinfacht das Aufsetzen und Deployen von Anwendungen Die Beschaffungsplattform für Geschäftskunden 17

42 Serverless Framework The Serverless Framework is a CLI tool that allows users to build & deploy auto-scaling, pay-per-execution, event-driven functions. vereinfacht das Aufsetzen und Deployen von Anwendungen Unterstützt werden aktuell folgende Provider: AWS Auth0 Webtasks Microsoft Azure IBM OpenWhisk Google Cloud Platform Kubeless spotinst Die Beschaffungsplattform für Geschäftskunden 17

43 Serverless Framework The Serverless Framework is a CLI tool that allows users to build & deploy auto-scaling, pay-per-execution, event-driven functions. vereinfacht das Aufsetzen und Deployen von Anwendungen Unterstützt werden aktuell folgende Provider: AWS Auth0 Webtasks Microsoft Azure IBM OpenWhisk Google Cloud Platform Kubeless spotinst Die Beschaffungsplattform für Geschäftskunden 17

44 Serverless Framework The Serverless Framework is a CLI tool that allows users to build & deploy auto-scaling, pay-per-execution, event-driven functions. vereinfacht das Aufsetzen und Deployen von Anwendungen Unterstützt werden aktuell folgende Provider: AWS Auth0 Webtasks Microsoft Azure IBM OpenWhisk Google Cloud Platform Kubeless spotinst Und jetzt direkt zur Demo :) Die Beschaffungsplattform für Geschäftskunden 17