Softwareentwicklung in der industriellen Praxis

Transkript

1 Softwareentwicklung in der industriellen Praxis Cloud-Systeme: Besonderheiten bei Programmierung und Betrieb Steffen Gemkow / Paul Fritsche - ObjectFab GmbH

2 Simple is beautiful Don t repeat yourself (DRY) Scalability >> Performance Design for scalability

3 Überblick Aufgabe Architektur Deployment und Betrieb Programmierung Fazit

4 Aufgabe Webanwendung Agile Entwicklung hohe zu erwartende Last viel dynamischer Inhalt geringe laufende Kosten

5 Webanwendung Integrationsplattform Login und Rollensystem Anbindung vieler externer Dienste und Datenquellen

6 Dynamischer Inhalt Webseite läd asynchron Daten nach (AJAX) viele kurze Requests anstatt weniger langer Requests an unterschiedliche Ziele Chat (Websockets/Longpolling)

7 Agile Entwicklung viele Details liegen noch im Dunkeln konkretes Layout Usability Features Prototyp, schnelles Feedback, kurze Iterationen

8 Lastverhalten

9 Cloud dynamisches Hinzufügen/Entfernen von Serverkapazitäten virtuelle Hardware

10 Cloud Anbieter Amazon Elastic Compute Cloud (EC2) JiffyBox Scalarium Heroku

11 Festlegungen Technologie Ruby on Rails, Websockets, SSL Vorgehensmodell Lastverhalten kurze Iterationen (1-2 Wochen) KanBan / Scrum tageszeitabhängig ca parallele Nutzer Cloudanbieter JiffyBox von DomainFactory

12 Architektur LB WEB WEB APP APP APP CHAT CACHE DB

13 Webserver LB WEB WEB APP APP APP CHAT CACHE DB

14 Webserver liefert statischen Inhalt Bilder, CSS, JS führt kein Applicationcode aus braucht wenig CPU, wenig Speicher Apache, nginx

15 Application Server LB WEB WEB APP APP APP CHAT CACHE DB

16 Application Server führt die Rails Umgebung inkl. der Anwendung aus jeder Request benötigt eine Rails Umgebung (= Prozess) Phusion Passenger: startet mehrere Rails Prozesse verteilt Requests

17 Chat Server LB WEB WEB APP APP APP CHAT CACHE DB

18 Chat Server Chat benötigt Rückkanal für Nachrichten vom Server zum Client Websockets / Longpolling würde viele (teure) Rails Prozesse blockieren event-driven, non-blocking IO viele Requests in einem Prozess node.js, Evented Ruby

19 Cache LB WEB WEB APP APP APP CHAT CACHE DB

20 Cache korrekt eingesetzt bringt Caching sehr hohen Performancegewinn Session Datenbankabfragen komplette HTML Seite Teile einer HTML Seite memcached

21 Load Balancer LB WEB WEB APP APP APP CHAT CACHE DB

22 Load Balancer Regel Aktion Port 80 Redirect auf Port 443 wss://* chat web0..webx (load balanced) * app0..appy (load balanced)

23 Eingesetzte Software Ruby RVM mit Ruby LB haproxy mit SSL WEB Apache 2 APP CHAT CACHE DB Phusion Passenger Node.JS memcached mysql

24 Deployment Wer betreibt den Cluster? Wie wird die notwendige Software installiert? Updates? Wie wird die Anwendung ausgerollt? Neues Release?

25 Dokumentation Auflistung sämtlicher zu installierender Software, inkl. Version Konfigurationsdateien Im Idealfall 2 Dokumente: Installationsanweisungen für frisches System Änderungen zur Vorversion

26 Script Ausführbare Dokumentation Installiert Software parallel auf mehreren Servern Erstellt Konfigurationsdateien Startet/Stoppt alle Dienste wiederholbar, parameterisierbar

27 Capistrano Führt SSH Befehle auf mehreren Rechnern parallel aus Rezepte: Ausführung vor oder nach einem anderen Rezept parallel auf mehreren Rechnern Rollen: Jeder Rechner hat eine oder mehrere Rollen Jedes Rezept gehört zu einer Rolle

28 Capistrano bietet fertige Rezepte zum Deployment einer Rails Anwendung zusätzliche Rezepte zum Installieren der Software Anbindung an JiffyBox-API

29 Programmierung Kenntnisse in vielen Programmiersprachen/Frameworks notwendig Ruby/Rails Javascript/Coffeescript, HTML/CSS Linux, Bash

30 Programmierung viele kurze Requests >> wenige lang laufende Requests Rails Prozesse sind teuer effektivere Auslastung der gesamten Cloud Trend zu non-blocking IO

31 Programmierung Requests werden von verschiedenen Prozessen verarbeitet keine Singletons im Programmcode DB / Cache zum Synchronisieren (z.b. Sessions)

32 Programmierung Am längsten dauert das Erzeugen des HTML in einem Request soviel wie möglich cachen Daten und Inhalte asynchron laden

33 Programmierung Externe Daten in einem Request asynchrone Aufrufe (non-blocking IO) im Hintergrund laden und zwischenspeichern (Cache oder DB)

34 Fazit komplexe Architektur wiederholbares Installieren/Konfigurieren aller beteiligter Systeme wiederholbares Deployment der eigentlichen Anwendung einfacher Aufbau verschiedener Test- und Stagingsysteme Grundlage zur dynamischen Steuerung der Cloud Integration in CI möglich

35 Fazit x Level 1 (4P) 10x Level 1 (4P) 5x Level 2 (16P) 5x Level 3 (16P) 6000 Antwortzeit in ms Anzahl Nutzer

36 Vielen Dank nächstes Treffen