Moby Dock im Windkanal Chancen und Einsatzzwecke von Docker im Computing

Transkript

1 Moby Dock im Windkanal Chancen und Einsatzzwecke von Docker im Computing CeBIT Open Source Forum 2015 Dipl.-Inform. (FH) Holger Gantikow science + computing ag IT-Dienstleistungen und Software für anspruchsvolle Rechnernetze Tübingen München Berlin Düsseldorf

2

3 Unser Fokus: science+computing ag IT-Dienstleistungen und Software für technische Berechnungsumgebungen Gegründet 1989 Büros Mitarbeiter ~320 Seite 3 Tübingen München Berlin Düsseldorf Ingolstadt Besitzer Bull S.A. (100%) seit 10/2008 Jahresumsatz (2013) 30,7 Mio. Euro Holger Gantikow - Moby Dock im Windkanal CeBIT Open Source Forum science + computing ag

4 Kernkompetenzen Seite 4 Holger Gantikow - Moby Dock im Windkanal CeBIT Open Source Forum science + computing ag

5 Agenda Teil I: Docker im HPC Teil II: Benchmarks Teil III: Security-Aspekte Seite 7 Holger Gantikow - Moby Dock im Windkanal CeBIT Open Source Forum science + computing ag

6 Teil 0: Einleitung

7 Was ist dieses HPC?

8 High Performance Computing Foto: Dieter Both, Bull GmbH

9 Nur fliegende Grafik: Dr. Martin Schulz Pinguine?

10 Enterprise IT vs. HPC

11 Enterprise IT vs. HPC Enterprise IT Holger Gantikow - Moby Dock im Windkanal CeBIT Open Source Forum 2015 HPC Zentren Auslastung < 50% >>50% (teils bis zu 90%) Einsatz von Virtualisierung Art der Systeme scale... Verbindungs- Anforderungen Ressourcen- Verbrauch ja heterogen in Konsolidierung via Virtualisierung gemäßigt endlich - meist von Anwenderanzahl abhängig nein bis selten homogen out Berechnung verteilt auf mehrere Hosts Bedarf an latenzarmen Verbindungen mit hohem Durchsatz quasi unendlich - was vorhanden ist wird genutzt real. Bezugsart SaaS IaaS (Cloud) (Software as a Service) (Infrastructure as a Service) Dateisysteme zentral parallel und verteilt Fazit: Seite 13 HPC unterscheidet sich deutlich von Enterprise IT 2015 science + computing ag

12 HPC-Buzzword-Cloud Seite 14 Holger Gantikow - Moby Dock im Windkanal CeBIT Open Source Forum science + computing ag

13 Docker

14 Quelle:

15 Docker 101 Quelle:

16 Aufbau ohne Docker

17 Aufbau mit Docker

18 Dateisystem Schichten

19 Virtualisierung 2.0???

20 Typ 1 Virtualisierung

21 Container Virtualisierung

22 Und sonst so?

23 Teil 1: Docker im HPC

24 Wo drückt s?

25 Saubere Trennung

26 Deployment!

27 Heterogene Cluster homogenisieren

28 Umgebung weitergeben?

29 weitere Ressourcen?

30 Warum nicht klassische Virtualisierung?

31 Teil II: Benchmarks

32 Benchmarks...

33 Quelle: Google: ibm docker paper oder: DD819C85257D E7B/$File/rc25482.pdf IBM Docker Paper

34 IBM Docker Paper - Aufbau Quelle: Google: ibm docker paper oder: DD819C85257D E7B/$File/rc25482.pdf

35 IBM Docker Paper - Ergebnis Quelle: Google: ibm docker paper oder: DD819C85257D E7B/$File/rc25482.pdf

36 Zusammenfassung "In general, Docker equals or exceeds KVM performance in every case we tested. [...] Even using the fastest available forms of par- avirtualization, KVM still adds some overhead to every I/O operation [...]. Thus, KVM is less suitable for workloads that are latency-sensitive or have high I/O rates. Container vs. bare-metal: Although 5. containers Conclusions themselves and have Future almost Work, no overhead, Docker is not without performance gotchas. Docker volumes have noticeably better performance than files stored in AUFS. Docker s NAT also introduces overhead Machines for work- loads and with Linux high packet Containers rates. These features represent a tradeoff between ease of management and performance and should be considered on a case-by-case basis. An Updated Performance Comparison of Virtual

37 Klingberg

38 - Aufbau

39 - Ergebnis Zahlen - average runtime (native vs Docker) local disk: 114s vs 116,5s - overhead: 2,21% Lustre: 117,3s vs 118,5s - overhead: 1,04%

40 Teil III: Security-Aspekte

41 Zitate Quelle: Surviving the Zombie Apocalyse - Ian Jackson

42 "Some people make the mistake of thinking of containers as a better and faster way of running virtual machines. From a security point of view, containers are much weaker." Dan Walsh, SELinux architect(?)

43 "Virtual Machines might be more secure today, but containers are definitely catching up." Jerome Petazzoni, Senior Software Engineer at Docker

44 "You are absolutely deluded, if not stupid, if you think that a worldwide collection of software engineers who can t write operating systems or applications without security holes, can then turn around and suddenly write virtualization layers without security holes." Theo de Raadt, OpenBSD project lead

45 vulnerabilities

46 Surviving the Zombie Apocalypse Quelle: Surviving the Zombie Apocalyse - Ian Jackson

47 Zombies?- Findings! Quelle: Surviving the Zombie Apocalyse - Ian Jackson

48 Frustbringer...

49 Docker - Missverständnisse Quelle: Docker Containers on the Desktop

50 Docker - Leichtsinn Quelle: Docker Containers on the Desktop

51 Docker - Diskussion X11 is completely unsecure, the "sandboxed" app has full access to every other X11 client. if you have docker access you have root access [ ] docker run -v /:/tmp ubuntu rm -rf /tmp/* Which will remove all the files on your system. Quelle: Docker containers on the desktop - Discussion

52 "Without user namespaces (CLONE_NEWUSER), which Docker currently doesn't use, uid 0 inside a container is the same thing as uid 0 outside it. If you let Docker run apps as root, which seems to be not uncommon, then it is, in a strong sense, the same as the root user outside the container. That's why Jessie's gparted process can partition her disk: as long as it can get at the device node, it has full permissions on it. Quelle: Docker containers on the desktop - Discussion

53 NFS anyone?

54 Docker zähmen

55 Feingranularer Zugriff

56 Wrapper

57 Application vs System Container

58 Docker Image Insecurity Quelle: Docker Image Insecurity

59 Teil IV: Zusammenfassung

60 Quelle: Wa(h)lwerbung?

61 Zusammenfassung Virtualisierung 2.0? Nö ;) bessere Performance als klassische Virtualisierung im HPC Sicherheit muss gewährleistet sein Seite 64 Holger Gantikow - Moby Dock im Windkanal CeBIT Open Source Forum science + computing ag

62 Vielen Dank für Ihre Aufmerksamkeit. Holger Gantikow science + computing ag Telefon: h.gantikow@science-computing.de

63 Frage? Antwort!

64

65 Quellen aufgerufen

66 Quellen Docker ALL THE THINGS! Docker Logo! IBM Docker Paper! Google: ibm docker paper oder:! DD819C85257D E7B/$File/rc25482.pdf Ian Jackson - Surviving the Zombie Apocalyse! Docker Containers on the Desktop! Seite 70 Holger Gantikow - Moby Dock im Windkanal CeBIT Open Source Forum science + computing ag

67 Quellen Docker containers on the desktop - Discussion! Docker containers on the desktop - Discussion! A Real Life White Whale that Destroyed Over 20 Whaling Ships and Survived Encounters with Another 80! Docker Image Insecurity! Wa(h)lplakat! Seite 71 Holger Gantikow - Moby Dock im Windkanal CeBIT Open Source Forum science + computing ag