Geodaten des Bundes aus der Public Cloud lessons learned aus vier Jahren Betrieb Donnerstag, 22. März 2012, TECHNOPARK Zürich

Transkript

1

2 Geodaten des Bundes aus der Public Cloud lessons learned aus vier Jahren Betrieb Donnerstag, 22. März 2012, TECHNOPARK Zürich Hanspeter Christ, Dipl. Ing. ETH, Bundesamt für Landestopografie swisstopo 2

3

4 swisstopo s «Cloud History» Januar 2008 Anfrage für den Betrieb der Kartenanwendung «SchweizMobil» April 2008 Go Live von «SchweizMobil v.1» (Cluster aus 1 phys. und 3 EC2 Servern, AWS damals Beta) Juli 2008 Neues Geoinformationsgesetz (GeoIG) tritt in Kraft Februar 2009 Start der Migration der BGDI in die Public Cloud März 2009 Go Live von «SchweizMobil v.2» (Cluster aus 10 EC2 Servern) November 2009 swisstopo berichtet an der ICMF/ITS Tagung zum Thema «Cloud Computing grenzenlose Flexibilität und Vereinfachung oder zusätzliche Herausforderung?» vom über seine ersten Erfahrungen mit Cloud Computing August 2010 Go Live von «geo.admin.ch: das Geoportal des Bundes» Januar 2011 Abschluss der Migration der BGDI in die Public Cloud Geodaten des Bundes aus der Public Cloud lessons learned aus vier Jahren Betrieb Donnerstag, 22. März 2012, TECHNOPARK Zürich Hanspeter Christ, Dipl. Ing. ETH, Bundesamt für Landestopografie swisstopo 4

5 September 2011: «geo.admin.ch» goes mobile! 140 Geodatensätze des Bundes jederzeit griffbereit! gebührenbefreit verfübgar auf einer Vielzahl mobiler Endgeräte und auf PC swisstopo Haben Sie ein Smartphone mit ios oder Android?

6 «geo.admin.ch: das Geoportal des Bundes» und seine Geoservices geo.admin.ch map.geo.admin.ch api.geo.admin.ch wms.geo.admin.ch > information (hosted On Premise) > viewing (hosted in the cloud) > mashups (hosted in the cloud) > download (hosted in the cloud) Access the geo information where you currently are witha broad number of Access not ownership is where different mobile devices! all content is going (Kevin Kelly) ul_marga

7 Gesetzesauftrag & Cloud passen bestens zusammen! Art. 1 Geoinformationsgesetz (GeoIG) in Kraft seit 1. Juli 2008 Dieses Gesetz bezweckt, dass Geodaten über das Gebiet der Schweizerischen Eidgenossenschaft den Behörden von Bund, Kantonen und Gemeinden sowie der Wirtschaft, der Gesellschaft und der Wissenschaft für eine breite Nutzung, nachhaltig, aktuell, rasch, einfach, in der erforderlichen Qualität und zu angemessenen Kosten zur Verfügung stehen. Definition Cloud Computing Fraunhofer Institut, November 2010 Cloud Computing ist ein Modell, das «ondemand» und online den Zugriff auf einen gemeinsamen Pool konfigurierbarer Computing Ressourcen wie Netzwerke, Server, Speichersysteme, Anwendungen und Dienste ermöglicht. Diese können schnell, mit minimalem Verwaltungsaufwand, passgenau und kostengünstig bereitgestellt und abgerufen werden. floofy

8 Cloud Computing: Was hat sich in den letzten 4 Jahren geändert? Was hat sich geändert? 2008: Warten auf das iphone Markteinführung iphone USA: 29. Juni 2007 Schweiz: 11. Juli : Cloud Cloud Computing Mobile Social Consumerization Big data

9 CC kaum bekannt 2. kaum CC Erfahrungen bei swisstopo vorhanden, dafür Leidensdruck im Betrieb 3. Risiken stehen im Vordergrund 4. CC Adoption und Innovation getrieben durch Techies ( bottom up ) 5. keine CC Strategie vorhanden 6. wenige Cloud Angebote 7. wenige Enterprise Features 8. fast ausschliesslich PC Clients 9. Entwicklung und Betrieb getrennt 10. Public Cloud als Übergangslösung 1. CC in aller Leute Munde 2. > 3 Jahre positive Erfahrungen mit CC, Verfügbarkeit Geoportal Bund > 99.9% 1) im die Chancen rücken zunehmend in den Vordergrund (+ kritische Selbsthinterfragung) 4. CC Adoption getrieben durch Techies und Top Management ( bottom up und top down ) 5. Verabschiedung einer CC Strategie der Schweizer Behörden geplant für Mitte ) 6. viele Cloud Angebote 7. zunehmend auch Enterprise Features (wie IAM, ISO Zert., MFA, Encryption, etc.) 8. zunehmend mobile Clients (BYOD) 9. Entwicklung und Betrieb wachsen zusammen (DevOps) 10. (Public) Cloud ist nicht mehr wegzudenken 1) 2) Geodaten des Bundes aus der Public Cloud lessons learned aus vier Jahren Betrieb Donnerstag, 22. März 2012, TECHNOPARK Zürich Hanspeter Christ, Dipl. Ing. ETH, Bundesamt für Landestopografie swisstopo 9

10 NEW YORK, October 31, 2011 The fastest growing keywords in job listings, according to indeed.com. 1. HTML5 2. ios 3. Android 4. Mobile app 5. Puppet 6. Hadoop 7. jquery 8. PaaS 9. Social Media Das Wall Street Journal ist gegenwärtig die auflagenstärkste Zeitung der USA

11 Cloud Computing: Was ist in den letzten 4 Jahren gleich geblieben? Understand YOUR Cloud! > Shared Responsibility Model Legal/Compliance: noch immer eine Herausforderung, aber viele Use Cases sind bedenkenlos möglich (wo ein Wille ist, ist auch ein Weg) Widerstand gegen Cloud Computing kommt noch immer häufig aus den IT Departementen Ungeachtet davon wird weiterhin viel investiert in Cloud Computing (trotz schwacher Konjunktur und grossen RZ Ausfällen im 2011) und der Markt bleibt dynamisch Einen Plan B zu haben, ist deshalb weiterhin empfehlenswert Geodaten des Bundes aus der Public Cloud lessons learned aus vier Jahren Betrieb Donnerstag, 22. März 2012, TECHNOPARK Zürich Hanspeter Christ, Dipl. Ing. ETH, Bundesamt für Landestopografie swisstopo 11

12 Die skalierbarecloud Architektur von map.geo.admin.ch» und unser Plan B für die Karten Tiles in S3 Nach oben skalierbar in weniger als 1h Lastspitze beim go live Besucher in 1 Tag 750 GB data transfer in 1 Tag 1 neuer Besucher pro s ausgelieferte Karten Tiles pro s

13 Vendor Lockin minimal dank Automatisierung der VM s mit puppet, sowohl On Premise als auch in der Cloud

14 Automatisierung mit puppet lässt (Linux) Server zu Code werden 1 class tomcat_application_server { 2 3 tomcat::instance {"tomcat1": 4 ensure => present, 5 group => "admin", 6 require => Mount ["/srv"], 7 } 8 9 } zentrales GIT Repository der Linux Server (Cloud und On Premise) revisionierbar auditierbar (auch gegenüber unautorisierten Veränderungen) portierbar (kein Vendor Lock in) reproduzierbar (neuer Server up and running in <1h) Dokumentation der gesamten Linux Infrastruktur up to date by default Fehlerrate sinkt Sicherheit und Verfügbarkeit steigt Geodaten des Bundes aus der Public Cloud lessons learned aus vier Jahren Betrieb Donnerstag, 22. März 2012, TECHNOPARK Zürich Hanspeter Christ, Dipl. Ing. ETH, Bundesamt für Landestopografie swisstopo 14

15 Nächste Stufe der Automatisierung: Autoscaling und Desaster Recovery mit Amazon Cloudformation

16 Beispiel mit Amazon Cloudformation lässt kundenspezifische (Amazon) Infrastruktur zu Code werden 1 { 2 "AWSTemplateFormatVersion" : " ", "Resources" : { "ServerGroup": { 57 "Type" : "AWS::AutoScaling::AutoScalingGroup", 58 "Properties" : { 59 "AvailabilityZones" : ["eu-west-1a", "eu-west-1b", "eu-west-1c"], "ElasticLoadBalancer" : { 79 "Type" : "AWS::ElasticLoadBalancing::LoadBalancer", 80 "Properties" : { 81 "AvailabilityZones" : ["eu-west-1a", "eu-west-1b", "eu-west-1c"], 82 "Listeners" : [ { 83 "LoadBalancerPort" : "80", 84 "InstancePort" : { "Ref" : "WebServerPort" }, 85 "Protocol" : "HTTP" } Kundenspezifische (Amazon) Infrastrukturen in 1 Plaintext File Ganze Infrastrukturen (nicht nur einzelne Server) können über eine URL geshared werden > ideal z.b. für Entwicklungsprojekte mit externen Firmen Geodaten des Bundes aus der Public Cloud lessons learned aus vier Jahren Betrieb Donnerstag, 22. März 2012, TECHNOPARK Zürich Hanspeter Christ, Dipl. Ing. ETH, Bundesamt für Landestopografie swisstopo 16

17 Die wichtigsten Schlussfolgerungen IaaS bietet swisstopo grosse Flexibilität & Agilität Die gute Dokumentation und hohe Standardisierung der Cloud Services hat unsere Kundenbeziehungen gestärkt Das «Pay as you go Modell» und die «Multitenancy» der Cloud ist sehr innovationsfördernd Entwicklung und Betrieb sind enger zusammen gewachsen (DevOps) In Automatisierung und standardisierte Betriebsprozesse investieren, nicht in Hardware swisstopo geniesst dank Multitenancy dieselbe Excellence of Service wie die Grossen Aber: Viel Verantwortung (u.a. für die Security und den Betrieb der virt. Server) verbleibt beim Kunden! Die Verteilung der Betriebsrisiken auf verschiedene Cloud Anbieter bzw. der Aufbau einer hybriden Lösung ist empfehlenswert Geodaten des Bundes aus der Public Cloud lessons learned aus vier Jahren Betrieb Donnerstag, 22. März 2012, TECHNOPARK Zürich Hanspeter Christ, Dipl. Ing. ETH, Bundesamt für Landestopografie swisstopo 17

18

19

20 ANHANG

21 Die verschiedenen Cloud Service Models understand YOUR cloud! swisstopo s choice On Premise IaaS PaaS SaaS Apps & Services Apps & Services Applikationen Applikationen VM VM Services Services Server Server Server Server Speicher Speicher Speicher Speicher Netzwerk Netzwerk Netzwerk Netzwerk Organisation hat die Verantwortung Cloud-Consumer und Anbieter teilen die Verantwortung Cloud-Anbieter hat die Verantwortung [Cloud Security and Privacy, by Tim Mather, Subra Kumaraswamy, and Shahed Latif, ISBN ]

22 Der verwendete Open Source Software Stack lässt die BGDI Infrastruktur ohne zusätzliche Lizenzkosten skalieren Virtual Servers (Amazon EC2) Operating System Middleware Services / Applications IaaS

23 Kartenviewer map.geo.admin.ch: Siedlungsentwicklung Bern Siegfriekarte, Stand 1870

24 Kartenviewer map.geo.admin.ch: Siedlungsentwicklung Bern Siegfriekarte, Stand 1870, überlagert mit Gebäuden aus VECTOR25, Stand 2006

25 API api.geo.admin.ch: Karten Mashups leicht gemacht! alle Geodaten in «geo.admin.ch» sind auch über eine Schnittstelle (API) verfügbar

26 API api.geo.admin.ch: Karten Mashups leicht gemacht!...hier ein Karten-Mashup der Parlamentsdienste mit der Arealstatistik des BFS

27 Hanspeter Christ Hanspeter Christ Bundesamt für Landestopografie swisstopo Seftigenstrasse 264 Postfach 3084 Wabern Tel: E Mail: hanspeter.christ@swisstopo.ch Web: Twitter: Hanspeter Christ studierte an der ETH Zürich Kulturtechnik und Vermessung und trat im Oktober 2000 als dipl. Ing. ETH ins Bundesamt für Landestopografie swisstopo ein, wo er während 4 Jahren als Java Entwickler im Bereich Forschung und Entwicklung massgeblich zum Aufbau einer nationalen Datenbank zur Verwaltung von Daten der amtlichen Vermessung beitrug übernahm er die technische Verantwortung für den Aufbau und die Weiterentwicklung der gesamten auf Linux und OSS gehosteten Webinfrastruktur von swisstopo und der Bundes Geodaten Infrastruktur (BGDI). Seit 2008 befasst er sich intensiv mit verteilten Cloud Computing Architekturen, Business IT alignment und IT Service Delivery Management und migrierte seither bereits über 70 Server von swisstopo in die Public Cloud.