Parallelisierte Administration mit Marionette Collective

Transkript

1

2 Parallelisierte Administration mit Marionette Collective Andreas Schmidt 2011 Cassini Consulting GmbH

3 Andreas Schmidt, 37 Jahre Cassini Consulting Systems Management-Themen: IT-Security System- und Netzwerkarchitektur Konfigurations- und Deploymentmanagement 3

4 E P Infrastructure Development 4

5 What s on for today? Herausforderungen beim Aufbau und Betrieb größerer Umgebungen Was ist Marionette Collective? Wofür kann man es einsetzen? Wieso ist Marionette Collective zur Administration hilfreich? 5

6 Auswirkungen von Umgebungsgröße und -komplexität viele >50 Anzahl Komponenten Komplexe Konfigurationen auf wenigen Hosts Komplexe Umgebung wenige One-Off Einfache Konfigurationen, aber auf vielen Hosts wenige Anzahl zu verwaltender Hosts viele >100 6

7 viele >50 Anzahl Komponenten Komplexe Konfigurationen auf wenigen Hosts Komplexe Umgebung wenige One-Off Einfache Konfigurationen, aber auf vielen Hosts wenige Anzahl zu verwaltender Hosts viele >100 7

8 ssh in a for loop is not a solution - Luke Kanies 8 Pro Puppet (APress): Page xvi

9 9 Verbindungsaufbau

10 Adressierung durch Hostnamen 10

11 11 Hang zu One-Linern

12 Give me an API or give me death 12

13 Real Life System Administration 13

14 Aktiviere ein Content-Update auf 200 Servern - gleichzeitig 14

15 Räume das Cache-Verzeichnis /tmp/cx0 auf - aber nur auf CentOS-s mit einer IP-Adresse in der DMZ 15

16 Starte alle Tomcats durch - auf denen die Applikation iwtf deployed ist. (Zuordnung dynamisch) 16

17 Wie erreiche ich eine größere Anzahl Hosts möglichst gleichzeitig? Wie kann ich Kommandos sicher gestalten und dokumentieren? Wie finde ich heraus, welche Hosts für meine Abfrage relevant sind? 17

18 Wie erreiche ich eine größere Anzahl Hosts möglichst gleichzeitig? Wie kann ich Kommandos sicher gestalten und dokumentieren? Wie finde ich heraus, welche Hosts für meine Abfrage relevant sind? 18

19 Aktiviere ein Content-Update auf 200 Servern - gleichzeitig $ HOSTS=`cat./contenthosts.txt` $ for h in $HOSTS; do ssh $h "curl -d \"ctx_act_id=4711\" && echo OK on $h" done; =307 sec. 19

20 Aktiviere ein Content-Update auf 200 Servern - gleichzeitig $ mco rpc --agent appcontent --action activate \ --arg contentid=4711 \ --discovery-timeout=5 --timeout=3 \ T produktion =3,1 sec. 20

21 Marionette Collective Server Orchestration Framework Programmatic execution of system administration actions on clusters of servers Agent-basiert, ruby (1.8.5+) Puppet Labs Apache 2 License Broadcast Paradigm Publish-Subscribe Middleware (z.b. ActiveMQ oder RabbitMQ) 21

22 Architektur von Marionette Collective Client Client Messaging Middleware Collective Subcollective 22

23 Zentrale Metadaten Hostlisten oder LDAP Vergessene Server Missverständnisse & Kommunikationsfehler Verteilte Metadaten Der Host erhält die Identität durch das was er ist und was er enthält. Immer aktuell 23

24 Ich facter, also bin ich [ ] [ ] 24

25 Adressierung der Zielhosts über Facts --with-fact ipaddress_eth1=~^ [0-9]+$ --with-class mytomcat 25

26 Komponenten eines Collectives Client Messaging Middleware Messaging Service mcollective Ich Datendrehscheibe Zielhost Facts facter mcollectived server 26

27 Kommunikation zwischen Client und Client 1 Messaging Middleware mcollective publish 6 Messaging Service Command Topic subscribe subscribe Reply Topic 5 publish 3 2 Facts facter Agent mcollectived server 4 27

28 Beispiel: Ping $ mco ping T test web01a app01b web01b app02a app02b web01c [...] time= ms time= ms time= ms time= ms time= ms time= ms Collective ---- ping statistics replies max: min: avg:

29 Beispiel: Ping Fact $ mco ping T test -with-fact hostname=~web web01a web01b web01c time= ms time= ms time= ms ---- ping statistics replies max: min: avg:

30 Agent = Data Description Language (DDL) + Agent Code 30

31 Beispiel: NRPE-Agent // DDL selbstbeschreibend action "runcommand", :description => "Run a NRPE command" do input :command, :prompt => "Command", :description => "NRPE command to run", :type => :string, :validation => '^[a-za-z0-9_-]+$', :optional => false, :maxlength => 50 Validierung output :output, :description => "Output from the Nagios plugin", :display_as => "Output" [...] 31

32 Beispiel: NRPE-Agent // Agent Code module MCollective module Agent class Nrpe<RPC::Agent action "runcommand" do validate :command, :shellsafe command = plugin_for_command(request[:command]) [...] [...] [...] [...] reply[:exitcode] = run(command[:cmd], :stdout => :output, :chomp => true) case reply[:exitcode] when 0 reply.statusmsg = "OK" when 2 reply.fail "CRITICAL" else reply.fail "UNKNOWN" end 32

33 Räume das Cache-Verzeichnis /tmp/cx0 auf - aber nur auf CentOS- s mit einer IP-Adresse in der DMZ action cleanup", :description => clean up cache" do input :cachepart, :prompt => Cache Part", :description => What part of cache to clean", :type => :string, :validation => '^[a-za-z\-_\d]+$', :optional => false, :maxlength => 30 [...] $ mco rpc --agent cachemgr --action cleanup \ --arg cachepart=cx0 \ T produktion \ --with-fact operatingsystem=centos \ --with-fact ipaddress=~

34 Ablauf Request / Response Client Sende Request an Collective Prüfen Kriterien (Facts, Classes,..) Kriterien passen nicht Kriterien passen Sende Fehler an Client Sende Ergebnis an Client Agent/Action nicht gefunden, DDL-Fehler Suche Agent, prüfen DDL ok Agent ausführen 34

35 Starte alle Tomcats durch - auf denen die Applikation iwtf deployed ist. Custom Fact Facter.add( tomcat_app_iwtf") do setcode do File.exists? /usr/libexec/tomcat/webapps/iwtf.war end end $ mco rpc --agent service --action restart \ --arg service=tomcat \ T produktion v \ --with-fact tomcat_app_iwtf=true 35

36 Wobei hilft mir MCollective? 36

37 Ein API ist der Kommandozeile überlegen 37

38 38 Dashboards und GUIs

39 Dokumentation Qualität Wiederverwendbarkeit Vereinfachung 39

40 Abstraktion Rechte- und Rollentrennung (z.b. 2nd / 3rd level) 40

41 Parallelität Geschwindigkeit Skalierbarkeit 41

42 Q&A Cassini Consulting GmbH Technology Guidance Andreas Schmidt Halskestraße 46 T +49 (0) Ratingen F +49 (0) Deutschland visit