Praktisches Cloud Computing

Transkript

1 Praktisches Cloud Computing OOP 2011 Stefan Tilkov Wir lösen das persönlich!

2 Begriffsdschungel Security Data Ressourcen PaaS Private SaaS Iaas Elastizität Web Hosting Public Computation SOA Web Services Virtualisierung

3 Web & Internet Utility Computing Virtualization Cloud Computing Service Orientation Grid Computing

4 Cloud Computing ist ein IT- Architekturmuster, bei Ressourcen wie virtualisierte Hardware, Speicherkapazität, Rechenleistung oder höherwertige Dienste dynamisch und nach Bedarf über ein Netz - i.d.r. das Internet - reserviert, genutzt und wieder freigegeben werden.

5 Taxonomie von Cloud-Optionen

6 Anwendung Service Plattform Virtualisierung Hardware

7 You: Somebody else: Anwendung Service Plattform Virtualisierung Hardware Whatever you call what you do today

8 You: Somebody else: Anwendung Service Plattform IaaS Virtualisierung Hardware Infrastructure as a Service

9 You: Somebody else: Anwendung Service PaaSPlattform Virtualisierung Hardware Platform as a Service

10 You: Somebody else: Anwendung Service SaaSPlattform Virtualisierung Hardware Software as a Service

11 Cloud Infrastrukturen Public Cloud Private Cloud Hybrid Cloud Community Cloud Virtual Private Cloud

12 Public Cloud Nutzung öffentlicher Angebote extern Geringe Kontrolle Externe Administration Standardisierte Modelle intern Breite Kundenbasis Economies of Scale

13 Private Cloud extern Cloud im Eigenbau Volle Kontrolle Interne Administration Spezifische Ausprägung intern Nur für Großunternehmen Economies of Scale (?)

14 Hybrid Cloud extern Gemischtes Modell Kontrolle wo sinnvoll Komplexe Administration intern Aufgabenteilung Extern für Peaks

15 Community Cloud extern Kooperatives Modell intern intern intern intern Geschlossene Nutzergruppe Eingeschränkte EoS Peak-Ausgleich (?)

16 Virtual Private Cloud intern intern extern intern intern Isolierte pseudoprivate Bereiche Individualisierte Modelle Großkunden intern

17 Cloudonomics Joe Weinman

18 Kosten gemäß Bedarf Grundsätzlich höhere Kosten bei Verwendung Keine Kosten bei Nicht-Nutzung Besonders relevant bei ungleichmäßiger Nutzung

19 Problem: Vorhersage Voraussagen sind schwierig - besonders, wenn sie die Zukunft betreffen. Mark Twain, Niels Bohr, Helmut Kohl

20 Bedarf und Vorhersagen Vorhersagen sind in der Regel falsch Betrachtung im Nachhinein zeigt: Bedarfsorientierung sinnvoller Schnellere Reaktion auf Unvorhergesehenes

21 Peak-Nivellierung Heterogene Kundenmenge gleicht Bedarfsspitzen aus Spitzen nach Saison, Ultimo, Jahresende, Feiertagen, Geschäftsjahren, Vorteil: Heterogenität

22 Economies of Scale Größere Beschaffungsmengen bessere Preise Lohnendere Automatisierung Besseres Know-how

23 Unmögliches möglich Lösung von unlösbaren Problemen durch Parallelverarbeitung Schnellere Ergebnisse Häufigere Wiederholbarkeit

24 Globalisierung Globale Nutzung auch für nichtglobale Unternehmen Möglichkeit zur dezentralen Bedienung von Anfragen

25 Verfügbarkeit Verteilung auf x Systeme y Racks n Datacenter Kostenverteilung für n Lokationen auf Gesamtkundenstamm

26 Cloud-Aufbau

27 Schritt 1: Manuell User IT Ops User fordern Ressourcen an Manuelle Installation durch Betrieb Echte Hardware Physical System

28 Schritt 2: Virtualisiert User IT Ops VM VM VM Image Image Image User fordern Ressourcen an Manuelle Installation durch Betrieb Virtuelle Hardware Vorgefertigte Images Physical System(s)

29 Schritt 3: IT-Support User DB User IT Support App IT Ops Image Image Image Management-App für User- Anforderung Manuelle Installation durch Betrieb Virtuelle Hardware Vorgefertigte Images VM VM VM Physical System(s)

30 Schritt 4: Automatisierung User Provisioning App User DB Persistence Store Image Image Image IT Ops Provisionierungs- App für User-Self- Service Automatisierte Installation Virtuelle Hardware Benutzergepflegte Images VM VM VM Physical System(s)

31 Schritt 5: Autoscaling Provisioning App User DB VM Application VM Physical System(s) Persistence Store VM Image Image Image Provisionierungs-App für User-Self-Service Automatisierte Installation durch Anwendung selbst Virtuelle Hardware Benutzergepflegte Images

32 Schritt m..n: Mehrwertdienste VM User Provisioning App User DB VM Physical System(s) Persistence Store VM Image Image Image IT Ops Management Monitoring Lizenzen Billing Mandantenfähigkeit Load Balancing Backup Shared Images Autoscaling

33 5 Nutzungsmodelle 1. Dynamisches, virtualisiertes Deployment 2. Do-It-Yourself Skalierung 3. Höherwertige, skalierbare Services 4. Parallelverarbeitung 5. Fremdanbieter-Plattform

34 Vorneweg...

35 0. Gar nichts tun

36 5 Nutzungsmodelle 1. Dynamisches, virtualisiertes Deployment 2. Do-It-Yourself Skalierung 3. Höherwertige, skalierbare Services 4. Parallelverarbeitung 5. Fremdanbieter-Plattform

37 1. Dynamisches, virtualisiertes Deployment Eigenschaften Deployment von herkömmlichen Applikationen Gleiche Werkzeuge, gleiche Arbeitsschritte Programmatische Virtualisierung Soft Hardware Am weitesten verbreitet: Amazon EC2 Eucalyptus, OpenStack: Nachbau für private Rechenzentren

38 Amazon EC2 Simple Storage Service (S3) Elastic Computing Cloud (EC2) Elastic Block Storage (EBS)

39 1. Dynamisches, virtualisiertes Deployment Vorteile Schnelles Deployment, einfaches Backup Einfache Provisionierung Nutzungsabhängige Lizenzmodelle (Begrenzte) Skalierbarkeit Wiederverwendung von vordefinierten Instanzen Einfache Snapshots von Datenträgern Erhöhte Zuverlässigkeit durch Availability Zones

40 1. Dynamisches, virtualisiertes Deployment Nachteile Kostenintensiv bei dauerhafter Nutzung Transiente Instanzen Keine garantierten Latenzzeiten zwischen Instanzen (Begrenzte) Skalierbarkeit (Geringe) Anbieterabhängigkeit Sicherheitsbedenken

41 1. Dynamisches, virtualisiertes Deployment Anwendungsfälle Referenzinstallationen Performance-Tests, Lasttests Entwicklungsaufgaben (z.b. build) Zeitbegrenztes Hosting Verwendung vordefinierter Images Exotische Anwendungen

42 5 Nutzungsmodelle 1. Dynamisches, virtualisiertes Deployment 2. Do-It-Yourself Skalierung 3. Höherwertige, skalierbare Services 4. Parallelverarbeitung 5. Fremdanbieter-Plattform

43 2. Do-it-yourself Skalierung Eigenschaften Verteilung über unabhängige Instanzen Kein Single Point of Failure Unabhängige Knoten ( shared nothing ) Alles ist partitioniert Dynamisches Wachsen/Schrumpfen

44 2. Do-it-yourself Skalierung NoSQL Datastores Einfache, verteilte Persistenz Key/value, spaltenorientiert oder dokumentenorientiert Keine sofortige Konsistenz Keine (verteilten) Transaktionen Beispiele: Cassandra, Riak, Voldemort

45 2. Do-it-yourself Skalierung Sharding Horizontale Partitionierung in Shards Jede Shard wird von unterschiedlicher Komponente verwaltet Verteilung über mehrere Rechner, evtl. über verschiedene Standorte

46 2. Do-it-yourself Skalierung Client-gesteuerte Partitionierung Naiver Ansatz: target server = hash(key) mod n Was passiert, wenn Server ausfällt? Lösung: HashRing Client-seitige (Re-)partitionierung

47 2. Do-it-yourself Skalierung Consistent Hashing A, B, C: Knoten (z.b. Caches) 1, 2, : Hash-Werte Suche im Uhrzeigersinn nach nächstem Knoten Virtuelle Replikate zum Sicherstellen der Verteilung Diagramme von Tom White,

48 2. Do-it-yourself Skalierung Vorteile Volle Kontrolle Freie Wahl von Technologien und Produkten Optimierte Lösung Anbieterunabhängig

49 2. Do-it-yourself Skalierung Nachteile Anspruchsvolle Technologie Viele low-level-tasks Praktiken in der Entstehung Hoher Aufwand erforderlich

50 2. Do-it-yourself Skalierung Anwendungsfälle Hohe Anforderungen bez. Elastizität und Skalierung Bau einer höherwertigen Plattform Virtualisierung einer bestehenden skalierbaren Applikation Außergewöhnliche technologische Anforderungen

51 5 Nutzungsmodelle 1. Dynamisches, virtualisiertes Deployment 2. Do-It-Yourself Skalierung 3. Höherwertige, skalierbare Services 4. Parallelverarbeitung 5. Fremdanbieter-Plattform

52 3. Höherwertige, skalierbare Services Eigenschaften Verwendung von höherwertigen Service APIs Ausgelagerte Betriebsverantwortung Skalierbarkeit (mehr oder weniger) problemlos

53 API Directory API Home Guides C The The following Google services provide APIs that implement the Google Data Protocol. Google Analytics Data Export API Developer's Guide C 3. Each Each Höherwertige, API API has has its its own own set set of of guides and resources, skalierbare including information about about using using Services client client libraries. libraries. If If you're you're trying trying to Reference to Guide ( accomplish accomplish a certain certain task task with with an an API, API, the the Developer's Guide Guide for for that that API API should should point point you you in in the the right right direction. direction. Most Most APIs APIs Google also also include include code code samples samples and and other other Service easy easy ways ways to to get get started. started. APIs Google Apps List of All Apps APIs API Directory - Google Data Protocol - Google Code API API Home Home Guides Guides Client Client Libraries Libraries Google Google Analytics Analytics Data Data Export Export API API Developer's Developer's Guide Google Guide Google Client Base Client Maps Libraries Data Libraries Data and API and APISample Code Developer's Guide Code Developer's Guide Reference Reference Guide Guide (JS, (JS, Java, Java, PHP, PHP, Python, Python, Ruby) Reference Guide Ruby) Reference Guide Google Google Apps Apps APIs APIs List List of of All All Apps Apps APIs APIs Blogger Data API Picasa Web Albums Data API Developer's Guide Developer's Guide Reference Guide Reference Guide C ( (J Google Google Base Base Data Data API API Developer's Developer's Guide Guide Reference Reference Guide Guide Google Booksearch Data API Google Sidewiki Data API Developer's Guide Developer's Guide Reference Guide Reference Guide C ( (J Blogger Data API Blogger Data API Developer's Guide Developer's Guide Reference Guide Reference Guide Google Client Calendar Libraries Data and Sample API Code Developer's Guide Google Client Sites Libraries Data and API Sample Code Developer's Guide (Java,.NET, PHP, Python, JS, Obj-C) Reference Guide (Java,.NET, PHP, Python, JS, Obj-C) Reference Guide C ( (J Google Booksearch Data API Google Booksearch Data API Developer's Guide Developer's Guide Reference Guide Reference Guide Google Client Code Libraries Search and Data Sample APICode Google Client Spreadsheets Libraries and Data Sample APICode (Java, PHP) (Java, PHP) Developer's Guide Developer's Guide Reference Guide Reference Guide C (J Google Calendar Data API Google Calendar Data API Developer's Guide Developer's Guide Reference Guide Reference Guide Google Client Client Contacts Libraries Libraries Data and Sample and API Code Google Webmaster Tools Sample Data Code Developer's Guide (Java,.NET, PHP, Python, JS, API Obj-C) Developer's Guide (Java,.NET, PHP, Python, JS, Obj-C) Reference Guide Reference Guide C ( Google Code Search Data API Google Code Search Data API Developer's Guide Developer's Guide Reference Guide Reference Guide Google Documents List Data API Developer's Guide C YouTube Data API Developer's Reference Guide Guide ( (J Google Contacts Data API Google Contacts Data API Google Documents List Data API Google Documents List Data API Google Finance Portfolio Data API Google Finance Portfolio Data API Developer's Guide Developer's Guide Reference Guide Reference Guide Google Client Client Finance Libraries Libraries Portfolio and Sample and Sample Data API Code Code (Java,.NET, Python, JS, Obj-C) (Java,.NET, Python, JS, Obj-C) 2009 Google - Code Home - Terms of Service - Privacy Policy - Sit Developer's Guide Developer's Guide Google Client Client Health Libraries Libraries Data and and API Sample Code Sample Code Developer's Guide C Reference Reference Google Guide Guide Code offered (Java, (Java, in: English.NET, PHP,.NET, - PHP, Español Python, Python, - Obj-C) Obj-C) - Reference - Português Guide- Pусский ( Developer's Guide Developer's Guide Reference Guide Reference Guide Developer's Guide Reference Guide

54 3. Höherwertige, skalierbare Services Amazon Service APIs Simple Storage Service (S3) Simple Queueing Service (SQS) Relational Data Service (RDS) Elastic Computing Cloud (EC2) Elastic Block Storage (EBS) DevPay FPS Simple DB Cloudfront Elastic MapReduce

55 3. Höherwertige, skalierbare Services Vorteile Einfache Verwendung Unabhängigkeit von Implementierungsdetails Hoher Bekanntheitsgrad Hohe Verfügbarkeit Keine Installation, kein Betrieb, keine Wartung

56 3. Höherwertige, skalierbare Services Nachteile Hohe Latenzzeiten Proprietäre APIs Dubiose SLAs Wenig bis gar keine Portabilität (Vendor Lock-in)

57 3. Höherwertige, skalierbare Services Anwendungsfälle Speichern von öffentlichen Daten Globale Zusammenarbeit Koexistenz mit den Modellen 1 & 2

58 5 Nutzungsmodelle 1. Dynamisches, virtualisiertes Deployment 2. Do-It-Yourself Skalierung 3. Höherwertige, skalierbare Services 4. Parallelverarbeitung 5. Fremdanbieter-Plattform

59 4. Parallelverarbeitung Eigenschaften Häufig: MapReduce Konzept Apache Hadoop/HF (Modell 2) Amazon Elastic MapReduce (Modell 3) Elastisches Grid Computing

60 4. Parallelverarbeitung MapReduce Wird intern bei Google verwendet Beschrieben in einem Whitepaper Massive Parallelisierung bei Verarbeitung großer Datenmengen Input Split Input Map Map Map Shuffle/Sort Reduce Reduce Reduce Collect Output

61 4. Parallelverarbeitung Apache Hadoop Hadoop Common HBase HDFS Hive MapReduce Pig ZooKeeper

62 4. Parallelverarbeitung Vorteile Einfacher, aber hochskalierbarer Ansatz Macht unmögliche Aufgaben möglich Sehr kosteneffizient durch Elastizität

63 4. Parallelverarbeitung Nachteile Erfordert Neuimplementierung Ungewöhnliche Vorgehensweise für Entwickler Nur in bestimmten Situationen sinnvoll anwendbar

64 4. Parallelverarbeitung Anwendungsfälle Berechnungen auf sehr großen Datenmengen Sehr aufwendige Berechnungen Umfangreiche Datenmigrationen

65 5 Nutzungsmodelle 1. Dynamisches, virtualisiertes Deployment 2. Do-It-Yourself Skalierung 3. Höherwertige, skalierbare Services 4. Parallelverarbeitung 5. Fremdanbieter-Plattform

66 5. Fremdanbieter-Plattform Eigenschaften Applikation läuft in Cloud eines Anbieters Keine eigene Hardware, Instanzen, Betriebssysteme oder Infrastruktursoftware Automatische Skalierbarkeit Neues Container-Modell

67 5. Fremdanbieter-Plattform Programmiermodell Request/Response- Programmiermodell Queueing/Asynchrone Verarbeitung Skalierbare Persistenz Caching Monitoring Vieles mehr: Identitätsmanagement/ SSO, Abrechnung,

68 5. Fremdanbieter-Plattform Google App Engine Sandbox-Umgebung mit Einschränkungen: Für Java: keine Threads kein Dateisystem kein java.lang.system Reflection eingeschränkt auf fremde Klassen

69 5. Fremdanbieter-Plattform Google App Engine APIs Low Level: Key/Value Store höherwertige Java Persistenz APIs: JDO, JPA Mail URL Fetch XMPP Bild Manipulation Memcache TaskQueue User API Enterprise Google? Nutzung von Google-Services im Unternehmen Donnerstag, 14:30-15:30 T. Schulte-Coerne, S. Tilkov

70 5. Fremdanbieter-Plattform Microsoft Azure Live Services Dynamic CRM Services App Fabric (formerly.net Services) SharePoint Services SQL Azure (formerly SQL Services)

71 5. Fremdanbieter-Plattform Heroku Transparentes Hosting und Skalierung von Rails Synchronisation über git Höherwertige APIs für Abfragen, Caching etc. Wird betrieben auf AWS/EC2 Ende 2010 gekauft von Salesforce.com

72 5. Fremdanbieter-Plattform Force.com Salesforce.com - CRM SaaS Force.com: Plattform Salesforce.com Erweiterungen Kundenspezifische Applikationen Höherwertige APIs Proprietäre Programmiersprache & IDE

73 5. Fremdanbieter-Plattform Amazon Elastic Beanstalk Plattform auf Apache Tomcat 6-Basis Autoskalierend Administrationskonsole Konfigurierbar, modifizierbar

74 5. Fremdanbieter-Plattform Vorteile Vollständiges Container-Modell Keine Infrastruktur, keine Middleware zu warten Vordefinierte, skalierbare Architektur Integration mit höherwertigen Diensten (z.b. Identitätsmanagement, Abrechnung, ) Unbegrenzte Skalierbarkeit (theoretisch)

75 5. Fremdanbieter-Plattform Nachteile Wenig Kontrolle Anbieterabhängigkeit (Vendor Lock-in) Neue und unterschiedliche APIs

76 5. Fremdanbieter-Plattform Anwendungsfälle Öffentliche Web-Applikationen mit unbekanntem Skalierungsverhalten Unkritische interne Applikationen Plattformerweiterungen (z.b. Facebook) Programmiermodell der Zukunft (?)

77 Pro und Contra Wir lösen das persönlich!

78 Argumente pro private cloud rational contra irrational public cloud

79 Pro Cloud allgemein Economies of Scale Reduzierter Admin-Aufwand Reduzierte Kosten Verfügbarkeit Skalierbarkeit Flexibilität

80 Contra Cloud allgemein Gleichmacherei /Generizität Unklare SLAs Änderungsnotwendigkeit Mangelnde Erfahrung Geringe Produkt- und Dienstreife Mangelnde Standardisierung Mangelnde Performance Mangelnde Flexibilität

81 Pro Public Cloud Reduzierte Fertigungstiefe Fokus auf Kerngeschäft Höhere Qualität Einfachere Kombinierbarkeit Höhere Flexibilität Geringere Investition Cloudonomics

82 Contra Public Cloud Sicherheit und Datenschutz Compliance/Gesetzliche Vorgaben Mangelnde Kontrolle/Externe Abhängigkeit Nicht beeinflussbare SLAs Anbieterabhängigkeit/Lock-in

83 Pro Private Cloud Volle Kontrolle Datenschutz, Sicherheit, Compliance Höhere Flexibilität Schrittweise Einführung Legacy-Unterstützung

84 Contra Private Cloud Hoher Aufwand Investitionskosten Zweifelhafte Economies of Scale Herstellerabhängigkeit/Lock-in

85 Sicherheitsaspekte

86 ? Public Cloud = unsicher Private Cloud = sicher

87 Gegenargumente Private Datacenter sind unsicher Offline ist unsicher Attacken kommen von Innen Publicity/Sichtbarkeit erzeugt Sorgfalt Compliance as a Service Die NSA liest sowieso mit

88 Gegen-Gegenargument Interessante Geschäftsgeheimnisse Wirklich sensitive Daten Wen interessieren rationale Argumente?

89 Irrationale Aspekte

90 Irrationale Aspekte 1. Risiko-Aversion 2. Neigung zu Flat Rates 3. Kontrollwut 4. Angst vor Veränderung 5. Treue zu getroffenen Entscheidungen 6. Überbewertung des Moments 7. Reiz des Kostenlosen 8. Statusdenken 9. Analyseparalyse

91 Zusammenfassung

92 Sowohl Public als auch Private Cloud sind gangbare Wege

93 In Zukunft werden Public Clouds wichtiger werden

94 Cloud Computing ist real und einsetzbar

95 Experimente sind möglich!

96 Vielen Dank! Stefan Phone: Wir lösen das persönlich!