Serverless IoT_. Serverless fleet tracking at scale with AWS IoT and Lambda Conrad Pöpke

Größe: px

Ab Seite anzeigen:

Download "Serverless IoT_. Serverless fleet tracking at scale with AWS IoT and Lambda Conrad Pöpke"

Maria Krüger
vor 5 Jahren
Abrufe

1 Serverless IoT_ Serverless fleet tracking at scale with AWS IoT and Lambda Conrad Pöpke

2 Anonymisiertes PoC Beispiel 2

3 Beispiel_ Bus Management Service für Busunternehmen Koordination der Flotte Client mit Kartenansicht Routen senden und prüfen Routenoptimierung / Umplanung Bus Daten Position Fahrten Fahrer Benzin Motor 01

4 Ist System 4

5 Ist System_ Technische Details Architektur basiert auf Applikation Server + RDB Cluster Versand der Nachrichten über MQTT Payload im Protobuf Format Nachrichtengröße reicht von wenigen Byte bis wenigen KB Schnitt ~200 Byte Hot and cold Data (~1 Woche -> Hot, danach ein Jahr Vorhaltezeit) Stark relationale Daten, komplexes Berechtigungskonzept 5

6 Domain Modell_ Vehicle * 0 * Fleet 0 * 0..* * 0 * Route aka Groups Team Driver 6

7 Ist System_ Ist System Client MQTT Protobuf App Server 7

8 Ist System_ Ist System Skalierung 1 Nachricht / Minute / Sekunde Keine weitere Skalierung mehr möglich! = Fahrzeuge = 500 Nachrichten / Sekunde 8

9 PoC Anforderungen 9

10 Anforderungen_ Ziele Technische Realisierbarkeit mithilfe von AWS Managed Services Skalierung: auf auf Fahrzeuge Lasttest zum Beweis der Skalierbarkeit und Performance Grobe Kostenabschätzung der reinen Betriebskosten 10

11 Anforderungen_ Ist Limit Skalierung 1 Nachricht / Minute / Sekunde = Fahrzeuge = 500 Nachrichten / Sekunde 11

12 Anforderungen_ 1 Nachricht / 30 Sek / Sekunde = Fahrzeuge = 500 Nachrichten / Sekunde 12

13 Anforderungen_ Soll Skalierung 1 Nachricht / 30 Sek / Sekunde = Fahrzeuge = 500 Nachrichten / Sekunde 13

14 Architektur 14

15 Architektur_ MQTT Protobuf Rule Engine IOT Kinesis Protobuf Lambda API Gateway 15

16 Stammdaten Mapping_ class KinesisEventProcessor { private final PositionEventElastiCache positioneventelasticache; 27 private final PositionEventMapper positioneventmapper; 28 private final CloudWatchMetricsWriter metricswriter; 29 private final String contextuuid; void process(kinesisevent kinesisevent, Context context) { 40 long start = currenttimemillis(); 41 try { 42 List<KinesisEventRecord> records = kinesisevent.getrecords(); 43 List<PositionEvent> positionevents = maptopositionevent(records); 44 writetocache(positionevents); 45 writemetrics(start, records.size()); 46 } catch (Exception e) { 47 LOGGER.error("Failed to process KinesisEvent", e); 48 } 49 } private List<PositionEvent> maptopositionevent(list<kinesiseventrecord> records) { 52 return records.parallelstream() 53.map(positionEventMapper::toPositionEvent) 54.filter(Objects::nonNull) 55.collect(toList()); 56 }... 16

17 Domain Modell_ Vehicle * 0 * Fleet 0 * 0..* * 0 * Route aka Groups Team Driver 17

18 Stammdaten Mapping_ class PositionEventMapper { private final MasterDataCache masterdatacache; 33 private final ProtobufMapper protobufmapper; private PositionEvent createpositioneventfrom(payload msgpayload) { 53 GpsPoint gpspoint = extractgpspointfrom(msgpayload.get(0)); 54 Vehicle vehicle = createvehiclefrom(msgpayload.get(1)); 55 String driverid = extractdriveridfrom(msgpayload.get(2)); 56 Driver driver = matchdrivertovehicle(driverid, vehicle); 58 return newpositionfrom(gpspoint, vehicle, driver); 59 } private Driver matchdrivertovehicle(string driverid, Vehicle vehicle) { 102 List<Driver> drivers = masterdatacache.getdrivers(driverid).stream() 103.filter(driver -> driver.getfleetid().equals(vehicle.getfleetid())) 104.collect(toList()); 105 if (drivers.isempty() drivers.size() > 1) { 106 throw new IllegalStateException("Failed to match driver with id [" + driverid + "] to vehicle [" + vehicle + "]. Found drivers: " + drivers.size()); 107 } 108 return drivers.get(0); 109 } 18

19 Architektur v2_ MQTT Protobuf IOT Rule Engine API Gateway Kinesis S3 Protobuf Lambda Elasticache Cloud Watch Redis Fleet Driver Vehicle 19

20 Metrics_ MQTT Protobuf IOT Rule Engine API Gateway Kinesis S3 Protobuf Lambda Elasticache Cloud Watch Redis Fleet Driver Vehicle 20

21 Next Steps_ MQTT Protobuf IOT Rule Engine API Gateway Publish Subscribe Kinesis S3 Protobuf Lambda Elasticache Cloud Watch Redis Cloud Watch Fleet Driver Vehicle 21

22 Last & Performance Test 22

23 Last & Performance Test_ je EC2 Instanz 4 JVMs mit Simulatoren zu je 1500 Nachrichten / Sekunde Gatling mit 200 REST Requests / Sekunde 1 EC2 = Fahrzeuge 23

24 Last & Performance Test_ Ergebnis Simulation von ~ Fahrzeugen Gute Response Zeiten am REST Endpunkt trotz Last (~200ms) Keine Back Pressure im Kinesis Eine Lambda Funktion verarbeitet einen Kinesis Batch von 1000 Nachrichten in 14ms - 500ms (theor. ~ Nachrichten / s) Architektur skaliert linear und automatisch (bis auf Redis) Kostenoptimierung und Menge Rabatte für diese Dimensionen notwendig 24

25 Wrap-Up 25

26 Wrap-Up_ Takeaways Nachrichten klein halten, wenn es mobile Geräte gibt IoT Events (mobile) angereichert mit Stammdaten = Lese Modell Lese Modelle für verschiedene Query Typen vorhalten (DDD ftw) Kostentreiber sind Anzahl der Events und Speicherplatz Last & Performance Tests nicht vergessen Durch Skalierung lassen sich schnell hohe Kosten generieren Skalierung AWS Lambda 26

27 Fragen? Conrad Pöpke, Cloud Consultant Full-Stack Developer, Architect, BizDev etc. AWS Partner Manager Organisator Microservices -, Serverless - und DDD Meetup Berlin Konferenzorganisator MicroXchg & 01

Ähnliche Dokumente

API-Gateway bringt Ordnung in Microservices-Wildwuchs. Frank Pientka, Dortmund

API-Gateway bringt Ordnung in Microservices-Wildwuchs Frank Pientka, Dortmund Warum sind Verbindungen wichtig? 3 Agenda APIs regieren die Welt Schnittstellenprobleme Microservices und Qualitätsmerkmale