Cloud Computing mit mathematischen Anwendungen

Transkript

1 Cloud Computing mit mathematischen Anwendungen Vorlesung SoSe 2009 Dr. Marcel Kunze Karlsruhe Institute of Technology (KIT) Steinbuch Centre for Computing (SCC) KIT the cooperation of Forschungszentrum Karlsruhe GmbH und Universität Karlsruhe (TH)

2 Steinbuch Centre for Computing (SCC) Zusammenschluss der beiden KIT Rechenzentren (Universität und Forschungszentrum) Vision: Führendes europäisches Datenzentrum in der Wissenschaft Herausforderungen: Integration der Anwendungslandschaften Etablierung einheitlicher Geschäftsprozesse Konsolidierung der Infrastruktur Lösungsansatz: Einrichtung neuer Querschnittsabteilungen zusätzlich zu den klassischen IT-Abteilungen IT-Security und Service-Management (ISM) Integration und Virtualisierung (IVI) 2

3 Karl Steinbuch Informatiker der ersten Stunde Karl Steinbuch ( ) Professor an der Uni Karlsruhe Erfinder des Begriffs "Informatik" Gründer der ersten Informatikfakultät in Deutschland (Karlsruhe, 1972) Visionär der Informationsgesellschaft Wichtigste Werke: Die informierte Gesellschaft, 1966 Falsch programmiert, 1968 Programm 2000, 1969 Mensch Technik Zukunft, 1971 Photo: Photo Glock Karlsruhe 3

4 Agenda Cloud Computing 1. Einleitung Was ist Cloud Computing? 2. Grundlagen Virtualisierung, Web Services, 3. Cloud Architekturen Infrastruktur, Plattform, Anwendung 4. Cloud Services Amazon Web Services, Google App Engine 5. Aufbau einer Cloud OpenCirrus Projekt, Eucalyptus 6. Cloud Algorithmen MapReduce, Optimierungsverfahren, Praktische Übungen und Anwendungen Vorlesung im Web: 4

5 Literaturliste C.Baun, M.Kunze, J.Nimis, S.Tai Cloud Computing Informatik im Fokus Springer 2009

6 Problem 1: Ressourcenplanung Dynamic Business Demand New demand Extinct demand Under-provision Over-provision Capacity Resources Capacity Demand Resources Demand Time Time Static IT Supply Unterprovisionierung: Unzureichende Leistung Überprovisionierung: Hohe Kosten

7 Cloud Computing: Automatische Provisionierung Dynamic Business Demand New demand Arjuna AGILITY Resources Capacity Resources Capacity Demand Demand Time Time Agile IT Supply Es stehen zu jedem Zeitpunkt die passenden Ressourcen bereit

8 Von welchen Ressourcen reden wir? Allgemein: Computing Daten Netzwerk Menschen (Soziale Netze) In der WIssenschaft oft entsprechend High Performance Computing (HPC) High Throughput Computing (HTC) High Speed Networking Virtuelle Organisationen (VO)

9 Beispiele für Cloud-Anwendungen 1. Computing: Rendering von Filmen 2. Daten: Verwaltung von digitalen Bildern 3. Netze: Kollaboratives Arbeiten

10 Beispiel für Cloud Anwendung (1): Animoto Animoto besitzt keine eigene IT-Infrastruktur Beliebige Skalierbarkeit durch Bezug flexibler Cloud Dienste (Amazon)

11 Beispiel für Cloud Anwendung (2): SmugMug Mashup S3, EC2, FPS, Mashup Verwaltung von Fotos und Filmen User Fotos Gewinn: 10 Millionen $ pro Jahr 19 Angestellte - IT-Services: Amazon Web Services - Benutzerverwaltung: OpenID Anwendung = Mashup von Services verschiedener Anbieter 11

12 Beispiel für Cloud Anwendung (3): Office Live Windows 7 wird mit Cloud-Anwendungen ausgeliefert Windows Azure Entwicklungsumgebung

13 Was ist neu? Illusion von unendlichen IT-Ressourcen On Demand Keine vorherige Anmeldung, Begutachtung, Planung etc. Pay for use Business-Modell auf kurzfristiger Basis (z.b. Monatliche Rechnung) Above the Clouds: A Berkeley View of Cloud Computing :

14 Warum ist das für uns interessant? Lebenszyklus einer wissenschaftlichen Arbeit: 1. Habe gute Idee 2. Schreibe Proposal 3. Warte 6 Monate 4. Falls erfolgreich.. 5. Kaufe Computer 6. Installiere Computer 7. Starte F&E

15 Warum ist das für uns interessant? Lebenszyklus eines Startup in der Wirtschaft: 1. Habe gute Idee 2. Schreibe Business-Plan 3. Suche Kapital 4. Falls erfolgreich.. 5. Kaufe Computer 6. Installiere Computer 7. Starte F&E

16 Warum ist das für uns interessant? Lebenszyklus mit Cloud Computing (Forschung und Wirtschaft): 1. Habe gute Idee 2. Suche Cloud Provider 3. Starte F&E sofort 4. Bezahle den aktuellen Ressourcenverbrauch

17 Problem 2: Dynamisches Datenwachstum (J. Campbell, et al., Intel Research Pittsburgh, 2007)

18 Historische Betrachtung: Grid Computing Idee 1998: Rechenleistung aus der Steckdose Föderativer Ansatz: Ressource-Sharing The Grid: Blueprint für a new Computing Infrastructure, Ian Foster, Carl Kesselman

19 Grid Computing Visualization Supercomputer, PC-Cluster r i d Mobile Access Desktop Storage, Sensors, Experiments i d d l e Internet, Networks, Collaboration a r e Applications, Web-Services w M G HTTPS WSRF XSD SOAP DEISA OGSA GSI GLOBUS WSDL ECG SMTP WWW GLUE RPC UDDI FTP PBS UNICORE LCG XML TCP VO HTTP BEEP MIME TSL SAML ASP URNWSIF XKMS SSP.NET CORBA LDAP JNDI

20 Infrastruktur für LHC Computing Cores, 20 PB Speicher

21 Infrastruktur für die Wissenschaft: D-Grid Universität Marburg Universität Wuppertal Universität Siegen FZK Karlsruhe Fraunhofer SCAI DKRZ Hamburg FZJ Jülich Zuse-Institut Berlin Universität Dortmund RRZN Hannover LRZ München HLRS Stuttgart Universität Köln DESY Hamburg Universität Freiburg ZIH Dresden Universität Leipzig GWDG Göttingen ARI Heidelberg Cores, 5 PB Speicher

22 Beispiele für Grid-Anwendungen Computing: Gekoppelte Simulatoren in Klimamodellen Daten: Verarbeitung von Sensordaten in der Energieforschung Netze: Integration von Information in verteilten Systemen

23 C3 Grid: Collaborative Climate Community Data and Processing Grid Climate research moves towards new levels of complexity: Stepping from Climate (=Atmosphere+Ocean) to Earth System Modelling Earth system model wishlist: Higher spatial and temporal resolution Quality: Improved subsystem models Atmospheric chemistry (ozone, sulfates,..) Increased Computational demand factor: O( ) Bio-geochemistry (Carbon cycle, ecosystem dynamics,..)

24 WISENT Knowledge Network for Energy Meteorology Charakterisation of energy fluctuation from solar and wind energy Results through interdisciplinary collaboration (Meteorology) Transformation of wind and solar energy (physics) Flexible distributed systems (computer science) Wettersatellit MSG-1: Die Forscher der Universität Oldenburg und des DLR können damit alle 15 Minuten flächendeckend und präzise den verfügbaren "Brennstoff" für Solarenergieanlagen bestimmen. Quelle: EUMETSAT Seite 24

25 BIS-Grid Utilisation of Grid technologies to integrate decentralised Business Information Systems Geschichtete Architektur! Seite 25

26 D-Grid Middleware: Geschichtete Architektur User Application Development and User Access GAT API GridSphere Plug-In Scheduling Workflow Management Nutzer High-level Grid Services Monitoring Data management LCG/gLite UNICORE Basic Grid Services Accounting Billing User/VO-Mngt Security Globus Resources in D-Grid Distributed Data Archive Data/ Software Network Infrastructur Distributed Compute Resources

27 Future: Interoperability Highway End-users via clients & portals Emerging Open Standards Grid Middlewares Grid Resources others GOAL: Transparency of Grids for end-users Interoperability highway based on open standards others Problem: Even the emerging standards are sometimes not interoperable!

28 Grid Computing vs. Cloud Computing 28

29 Clouds vs. Grids: Ein Vergleich Objective Cloud Computing Provide desired computing platform via network enabled services Grid Computing Resource sharing Job execution Functional Infrastructure Middleware One or few data centers, heterogeneous/homogeneous resource under central control, Industry and Business Proprietary, several reference implementations exist (e.g. Amazon) Geographically distributed, heterogeneous resource, no central control, VO Research and academic organization Well developed, maintained and documented Application Suited for generic applications Special application domains like High Energy Physics User interface Easy to use/deploy, no complex user interface required Difficult use and deployment Need new user interface, e.g., commands, APIs, SDKs, services Business Model Commercial: Pay-as-you-go Publicly funded: Use for free Non-Functional Operational Model Industrialization of IT Fully automated Services Mostly Manufacture Handcrafted Services QoS Possible Little support On-demand provisioning Yes No 29

30 Kommerzielle Cloud-Angebote (Auswahl) 30

31

32 Cloud Computing in der Wissenschaft OpenCirrus TM Cloud Computing Forschung und Entwicklung: OpenCirrus TM Projekt 32

33 33

34 Das HP-Intel-Yahoo! OpenCirrus TM -Projekt Eine offene, globale Testumgebung für Cloud Computing Forschung und Entwicklung Kollaborative Forschung Fokus: RZ Management & Cloud Services Ressourcen Ein multi-kontinentales Cloud Computing System Centers of Excellence Jedes mit CPU Cores und bis zu ~2PB Speicher Ausgestattet mit Cloud Service Software-Komponenten Organisationsstruktur: Föderativ Sponsor: HP Labs, Intel Research, Yahoo! Partner: UIUC, Singapore IDA, KIT, NSF Member: Forscher und Entwickler Informationen unter 34

35 Was ist Cloud Computing? Es gibt keine allgemein verbindliche Antwort! Skalierbar: Komplexe Workloads können zerlegt und in adaptiven Infrastrukturen ausgeführt werden Flexibel: Unterstützung einer Vielzahl verschiedener Workloads sowohl Consumer als auch Business Vollautomatisch: Bereitstellung von Ressourcen on-demand Business Modell: Utility Computing, Pay-per-use, Pay-as-you-go 35

36 Was ist Cloud Computing (funktional)? Service Orientierte Architektur: Dynamisches Provisionieren von Ressourcen über Web-Service Schnittstellen Virtuell: Beliebige, wunschgemäße Sicht auf Ressourcen. Lokation und Art der Ressourcen sind für den Nutzer transparent. A computing Cloud is a set of network enabled on demand IT services, scalable and QoS guaranteed, which could be accessed in a simple and pervasive way. Web Services + Virtualisierung = Cloud Computing 36

37 Cloud Computing Centers: IT-Factory Quelle: InformationWeek Google, Yahoo und Microsoft: Gigantische RZ am Columbia River Wachstum: Server pro Monat 37

38 Trend: Container als Baustein für das RZ Quelle: Rackable Quelle: HP HP, IBM, Sun, Rackable offerieren RZ-Container Bis zu Blade-Cores oder 9 PB Disk pro Container Microsoft baut zurzeit in Chicago ein RZ der Superklasse Cores in Container-Technologie für Windows Live Kunden Vorteile der Container-Technologie Exzellente Energie-Effizienz (PUE-Wert ~ 1.2) Beliebig zu platzieren: Alaska, Schiff, 38

39 Blick in die Zukunft: Industrialisierung der IT IT Service-Zentrum baut nicht notwendigerweise selbst IT-Infrastrukturen Kernkompetenz ist die Versorgung von Kunden mit IT-Services Veredelung von eingekauften Cloud Services HP: Vision vom vollständig automatisierten Dark Data Center 39

40 Industrialisierung des Automobilbaus Als Taxiunternehmen baut man die Autos nicht selbst zusammen Kernkompetenz ist der Transport von Kunden.

41 Zusammenfassung Cloud Computing Sourcing von unendlich skalierbaren Ressourcen im Internet On Demand abrufbar Business Modell: Utility Computing Funktional: Kombination von Web-Services und Virtuellen Infrastrukturen Zielrichtung: Industrialisierung der IT Vergleich Grid und Cloud Grid O( cores, 10 PetaByte), Cloud O( cores, ExaByte) Management: Grid föderativ, Cloud zentralisiert Ressourcen: Grid statisch, Cloud dynamisch 41

42 Karlsruhe Institute of Technology Steinbuch Centre for Computing (SCC) Thank you for your attention. 42