Transkript

1 Erfahrungen bei der Migration einer kommerziellen Monitoringsuite zu Audi Eric Pfaller,

2 Agenda 1 2 Die AUDI AG IT im Konzern 3 Ausgangssituation 4 Projektziele und Entscheidung für Nagios 5 Realisierung der Umstellung 6 Schnittstellen in PSC-K 7 Fazit 2 Eric Pfaller, AUDI AG; 28. Oktober 2009

3 Agenda 1 2 Die AUDI AG IT im Konzern 3 Ausgangssituation 4 Projektziele und Entscheidung für Nagios 5 Realisierung der Umstellung 6 Schnittstellen in PSC-K 7 Fazit 3 Eric Pfaller, AUDI AG; 28. Oktober 2009

4 Die Marke Audi Sportlich Hochwertig Vorsprung durch Technik Progressiv 4 Eric Pfaller, AUDI AG; 28. Oktober 2009

5 AUDI AG - Wir über uns Die AUDI AG hat im Jahr 2008 insgesamt Automobile der Marke Audi verkauft und damit das 13. Rekordjahr in Folge erzielt. Audi produziert an den Standorten Ingolstadt und Neckarsulm (Deutschland), Gyır (Ungarn), Changchun (China), Brüssel (Belgien), Bratislava (Slowakei) und Aurangabad (Indien). 100-prozentige Töchter der AUDI AG sind unter anderem die Automobili Lamborghini S.p.A. (Sant Agata Bolognese/Italien) und die quattro GmbH (Neckarsulm). Audi beschäftigt weltweit mehr als Mitarbeiter, davon in Deutschland. Um den Vorsprung durch Technik nachhaltig zu sichern, investiert Audi jedes Jahr mehr als 2 Mrd. Euro, gefördert werden insbesondere die Bereiche Elektroantrieb, Aluminium-Leichtbau und neue Werkstoffe sowie TDI und TFSI-Antrieb. Bis 2015 will Audi die Anzahl seiner Modelle auf 40 erweitern. 5 Eric Pfaller, AUDI AG; 28. Oktober 2009

6 Der Audi Konzern - Kennzahlen Veränderung in % Auslieferungen Marke Audi Fahrzeuge ,1 Marke Lamborghini Fahrzeuge ,0 Mitarbeiter Durchschnitt ,8 Umsatzerlöse Mio. EUR ,7 Operatives Ergebnis Mio. EUR ,5 Ergebnis vor Steuern Mio. EUR ,0 Ergebnis nach Steuern Mio. EUR ,4 6 Eric Pfaller, AUDI AG; 28. Oktober 2009

7 AUDI AG - Standorte Brüssel Ingolstadt Bratislava Neckarsulm Changchun Sant Agata Györ Aurangabad 7 Eric Pfaller, AUDI AG; 28. Oktober 2009

8 Agenda 1 2 Die AUDI AG IT im Konzern 3 Ausgangssituation 4 Projektziele und Entscheidung für Nagios 5 Realisierung der Umstellung 6 Schnittstellen in PSC-K 7 Fazit 8 Eric Pfaller, AUDI AG; 28. Oktober 2009

9 Verantwortung der Audi IT Ingolstadt ca PC Anwender 1 Prod.-Rechenzentrum Mitarbeiter Neckarsulm ca PC Anwender 1 Prod.-Rechenzentrum Mitarbeiter Györ ca PC Anwender 1 Prod.-Rechenzentrum Mitarbeiter ca PC Anwender 5 Rechenzentren ca Mitarbeiter Brüssel ca PC Anwender 1 Prod.-Rechenzentrum Mitarbeiter Sant Agata ca. 620 PC Anwender 1 Prod.-Rechenzentrum Mitarbeiter 9 Eric Pfaller, AUDI AG; 28. Oktober 2009

10 IT-Kennzahlen (I/II) Serversysteme Anzahl virtuell Anzahl physisch Unix CAx - Server CAx - Cluster CAx Workstations* SAP 0 36 Webcenter p5-570/dwh Windows-Server Mainframe LPARS 10 2 Gesamt* * CAx Workstations in der Gesamtserveranzahl nicht berücksichtigt. 10 Eric Pfaller, AUDI AG; 28. Oktober 2009

11 IT-Kennzahlen (II/II) Speichersysteme (Bruttokapazitäten) SoD (SAN, NAS) Datensicherung HSM Gesamt TB TB TB TB Benutzerkennungen Windows User ca Mail-Accounts ca Netzwerk-Bandbreiten Backbone LAN Netz nach Wolfsburg 2 x 4 GB 2 x 1 GB 11 Eric Pfaller, AUDI AG; 28. Oktober 2009

12 Agenda 1 2 Die AUDI AG IT im Konzern 3 Ausgangssituation 4 Projektziele und Entscheidung für Nagios 5 Realisierung der Umstellung 6 Schnittstellen in PSC-K 7 Fazit 12 Eric Pfaller, AUDI AG; 28. Oktober 2009

13 Ausgangssituation Eingesetzte Monitoring-Produkte IBM Tivoli* (seit Mitte der 90er Jahre) Überwachung Server und Applikationen Tivoli Management Framework IBM Tivoli Enterprise Console 3.9 IBM Tivoli Monitoring IBM Tivoli Monitoring for Business Integration WebSphere MQ IBM Tivoli Monitoring for Databases (Oracle) Tivoli Distributed Monitoring 3.7 CA SPECTRUM* Netzwerk-Monitoring CA EHealth* historisches Reporting HP Business Availability Center* E2E Monitoring * Geschützte Marken 13 Eric Pfaller, AUDI AG; 28. Oktober 2009

14 Ausgangssituation Handlungsbedarf Tivoli Tivoli Distributed Monitoring 3.7 ist OutOfSupport Neue Betriebssysteme wie AIX 6, W2k8, W2kx 64-bit sind mit eingesetzter Software nicht komplett überwachbar Hohe Migrationsaufwände für neues Tivoliprodukt IBM Tivoli Monitoring V6 14 Eric Pfaller, AUDI AG; 28. Oktober 2009

15 Ausgangssituation Erwarteter Umfang alt neu Ca. 800 Hosts 60 Logadapater Ca. 300 Monitoringprofile Tivoliumgebung Nagiosinstanz aus Piloten mit Produktion 1200 Hosts 5000 Servicechecks Ca Hosts Servicechecks Erwarteter Umfang 15 Eric Pfaller, AUDI AG; 28. Oktober 2009

16 Ausgangssituation Schnittstellen und Views Integrationsfähigkeit des neuen Systems in bestehende IT-Landschaft Integration in SPECTRUM (Incident-/ Problem-/ Changemanagement-Prozess) Integration HP Business Availability Center Verteilte Zuständigkeiten und verschiedene Standorte detaillierte Views nötig Control Center als erste Anlaufstelle für Eskalationen Middleware-Administratoren (MQ, DB2, Oracle und zugehörige Server) Web-Administratoren (Webseitenchecks) SAP-Administratoren (SAP und zugehörige Server) Produktionssteuerung (AIX/FIS Server) Unix/Linux und UPSMON Administratoren Wintel (Windowsserver) Große, inhomogene Umgebung mit unterschiedlichen Zuständigkeiten 16 Eric Pfaller, AUDI AG; 28. Oktober 2009

17 Agenda 1 2 Die AUDI AG IT im Konzern 3 Ausgangssituation 4 Projektziele und Entscheidung für Nagios 5 Realisierung der Umstellung 6 Schnittstellen in PSC-K 7 Fazit 17 Eric Pfaller, AUDI AG; 28. Oktober 2009

18 Projektziele Überwachung der Server auf Open Source Basis Integration der gesetzten Monitoring-Tools Schaffung eins datenbankgestützten Monitoring-Portals Ermöglichen der notwendige Views Schlankes, zuverlässiges System Geringer Wartungsaufwand Müheloses Sammeln von Performancedaten einfache Reportingmöglichkeit Reduzierung von Wartungs- und Lizenzkosten Ermöglichen einer Distributed Monitoring-Umgebung ITIL Integration Schnittstelle für Incident-/ Problemmanagement Einsatz von SPECTRUM One-Click als Eventkonsole des Control Centers 18 Eric Pfaller, AUDI AG; 28. Oktober 2009

19 Entscheidungskriterien für Nagios % aller Anforderungen mit minimalen Aufwand erfüllbar Plattformunabhängigkeit Anbindung an bestehende Systeme vorhanden Customscripte abbildbar Bereits im Einsatz, Konsolidierung Monitoring mit kleinen Agenten oder Agentless möglich (z.b. per SSH) Out of the box verwendbar sowie flexibel erweiterbar Hohe Produktstabilität Schnelle Implementierung Open Source 19 Eric Pfaller, AUDI AG; 28. Oktober 2009

20 Projektlaufzeit Projektlaufzeit Oktober 2008 Juni 2010 Migration bestehende Nagiosinstanz Monitoring Portal Migration Applikationsmonitoring Schnittstellendesign Deaktivierung Tivoliagenten 03/09 06/09 06/10 Detailanaylse incl. Ausschreibung Beginn Dienstleitung AIX Basisagenten Windows Basisagent Deaktivierung der alten Monitor-Strukturen 10/08 Projektauftrag 20 Eric Pfaller, AUDI AG; 28. Oktober 2009

21 Agenda 1 2 Die AUDI AG IT im Konzern 3 Ausgangssituation 4 Projektziele und Entscheidung für Nagios 5 Realisierung der Umstellung 6 Schnittstellen in PSC-K 7 Fazit 21 Eric Pfaller, AUDI AG; 28. Oktober 2009

22 Realisierung Sizing Distributed Nagios-Umgebung 1 Mastercluster 2x HP DL380 G5 (2*XEON E GHz Quadcore), 8 GB RAM 2*146 GB Lokale Platten SAN 300 GB über 2*Emlx LP1150 RHEL 5, Veritasclustersoftware 3 Slavecluster 2x HP DL380 G5 (2*XEON E GHz Quadcore), 4 GB RAM 2*146 GB Lokale Platten SAN 300 GB über 2*Emlx LP1150 RHEL 5, Veritasclustersoftware 1 Test-/Integrationsumgebung 2x HP DL380 G5 (2*XEON E GHz Quadcore), 4 GB RAM 2*146 GB Lokale Platten SAN 300 GB über 2*Emlx LP1150 RHEL 5, Veritasclustersoftware 22 Eric Pfaller, AUDI AG; 28. Oktober 2009

23 Realisierung Serverarchitektur Client-/Serverkommunikation Unix/Linux SSH Wintel NSClient++ Port 5666 Server/Serverkommunikation SSH 23 Eric Pfaller, AUDI AG; 28. Oktober 2009

24 Realisierung Eingesetzte Software Serverseitig Nagios ( Versionsstand wg. telefonierst du nach Hause ) Icinga Webfrontend Netways Grapher V2 MySQL Open-LDAP Server für die Vorhaltung der Objektdefinitionen und Objektkonfigurationen Subversion zur Versionierung von Nagios-Paketen (Nagiosserver) Nagios-Plugins (Unterschiedliche OS-Versionen und Versionsstände vorhanden) Nagios-Konfiguration (Objektdefinition zusätzl. zum LDAP-Backup zur Gewährleisung der Revisionssicherheit) 24 Eric Pfaller, AUDI AG; 28. Oktober 2009

25 Realisierung Clientfunktionalitäten (I/II) Für Windows-Systeme NSCLient++ (Version 0.3.6) Integriertes Strawberry Perl für Custom-Scripte Versionsinformationen und Serverinformationen serverseitig abrufbar Updatemechanismen Serverseitig steuerbar Durchführung der Updates der Windows Agenten über einen mehrstufigen Prozess Dieses Verfahren ist notwendig um ein automatisiertes Aktualisieren möglich zu machen Hierbei werden folgende Schritte sequentiell ausgeführt: Initialisierung des Updates an zentraler Stelle mittels NRPE Ausführen des Kopiervorgangs mittels CIFS von Agentenrepository Planung/ Ausführung des Updatejobs 25 Eric Pfaller, AUDI AG; 28. Oktober 2009

26 Realisierung Clientfunktionalitäten (II/II) Unix und Linux-Derivate Überwachung Agentless mit Public bzw. Privatkey mittels SSH (check_by_ssh) Versionsinformationen und Serverinformationen serverseitig abrufbar Updatemechanismen serverseitig steuerbar Standard OS-Bordmittel via SSH 26 Eric Pfaller, AUDI AG; 28. Oktober 2009

27 Realisierung Verteiltes Monitoring (I/II) Authentifizierung über Windows Active Directory Austausch der Config-Files Export nötiger Config-Dateien zu einzelnen Monitoringknechten bei Config- Generierung Austausch der Monitoringergebnisse Probleme beim Austausch der Checkergebnisse via NSCA bei normalen Lastverhalten auf einzelnen Slaves Servicelatency explodiert NSCA benötigt mehr Zeit Differgenz einzelner Timestamps der Servicechecks vom Master zu den Slaves 27 Eric Pfaller, AUDI AG; 28. Oktober 2009

28 Realisierung Verteiltes Monitoring (II/II) Austausch der Monitoringergebnisse (Alternative) Nutzung der performance-data Funktion auf Slaves Import Checkergebnisse der Slaves auf Mastercluster: Perldaemon auf Masterserver, der zeitgesteuert (30s) die Daten per SSH abholt und mittles nagios.cmd die Daten Masterseitig pushed Vorteile: Latencyreduzierung Zentrale Konfiguration masterseitig (NSCA-Lösung Slaveseitig) 28 Eric Pfaller, AUDI AG; 28. Oktober 2009

29 Realisierung Erstellung und Pflege Nagios-Config Anforderungen Vererbung Sowohl per Script als auch per GUI steuerbar und konfigurierbar Automatische Generierung skriptbasiert Definition von Standards und detaillierte Ausnahmen Definition von verschiedene Zuständigkeiten Open-Source Standards Server 1 Server 2 Server 3 Appl. 1 Appl. 2 Appl. 3 Appl. 1 Appl. 2 Appl. 3 Appl. 1 Appl. 2 Appl. 3 Verschiedene Verantwortlichkeiten für Server, Betriebssysteme und Applikationen 29 Eric Pfaller, AUDI AG; 28. Oktober 2009

30 Realisierung Objektdefinitionen und Objektkonfigurationen mittels LDAP Servicedefinitionen über Templates 30 Eric Pfaller, AUDI AG; 28. Oktober 2009

31 Realisierung Objektdefinitionen und Objektkonfigurationen mittels LDAP Hostdefinitionen (Servicezuordnung) 31 Eric Pfaller, AUDI AG; 28. Oktober 2009

32 Realisierung: Spezielle Plugins check_cache Performanceoptimierung und Lastverringerung auf Nagios-Servern Plugin-Aufrufe werden konsolidiert und zwischengespeichert Serverseitig konfiguierbares Plugin (keine Konfiguration auf Client nötig) Minimaler Konfigurationsaufwand Transparente Verwendung von check_cache Konstanter Plugin-Output (steht nach check_cache weiter zur Verfügung) Kein Verlust von Performancedaten Konfigurierbares Cache-Verhalten check_logfiles für Logfile-Monitoring (inkl. Abbildung der Tivolieigenen Formatfiles in check_logfiles konformes Format) check_oracle_health Eigenentwicklung für das Filesystem-Monitoring, Loadüberwachung auf AIX Systemen Pflege der Schwellwerte (Monitoring und Loadverhalten) durch Admins 32 Eric Pfaller, AUDI AG; 28. Oktober 2009

33 Agenda 1 2 Die AUDI AG IT im Konzern 3 Ausgangssituation 4 Projektziele und Entscheidung für Nagios 5 Realisierung der Umstellung 6 Schnittstellen in PSC-K 7 Fazit 33 Eric Pfaller, AUDI AG; 28. Oktober 2009

34 PSC-K Schnittstellen Troubleticketing (I/II) NAGIOS Zuweisungsgruppe Severity Flexible Steuerung der Incidentgenerierung und Eventanreicherung pro Überwachungsszenario SCIM / CI / Servicerequest Beschreibung / Eskalationsinfos für CC Aktuelle Zuweisungsgruppe Journal Updates - zu evaluieren - Aktueller Status DB2 DB PSC-K 34 Eric Pfaller, AUDI AG; 28. Oktober 2009

35 PSC-K Schnittstellen Troubleticketing (II/II) Gründe für eine Datenbank Historie über Eskalationen Update von Einträgen in Nagios und PSC-K möglich Entscheidung für DB2 Definierte Standards bei Audi Garantierte Verfügbarkeit im Hinblick auf SLAs Verlagerung der Wartung und Pflege zu Serviceprovidern 35 Eric Pfaller, AUDI AG; 28. Oktober 2009

36 PSC-K Schnittstellen Sicht des Monitoring Derzeitige Implementierung IST Zustand Tivoli PSC-K Mailschnittstelle Zukunft SOLL Zustand SPECTRUM PSC-K SPECTRUM Nagios Technische Details Übersicht OPEN Übersicht CLOSE Incident in PSC-K Übersicht Monitoring-System meldet Zustand wieder OK SNMP-Trap basiert 36 Eric Pfaller, AUDI AG; 28. Oktober 2009

37 PSC-K Schnittstellen Technische Details Übersicht OPEN 1. SNMP-Trap 2. DB-Insert 3. Generierung Ticket Nagios SPECTRUM DB2- DB PSC-K DB-Update Szenario OPEN 1. Nagios meldet Event an SPECTRUM oder SPECTRUM-Event 2. Klick auf Troubleshooter in SPECTRUM erzeugt Datenbank-Insert in DB2 DB (Automatisches Öffnen bei speziell gekennzeichneten Events muss gegeben sein) 3. PSC-K holt sich neue Einträge aus DB2 DB Ticketeröffnung in PSC-K 4. PSC-K liefert Status, Ticketnummer und Eröffner an DB zurück 5. SPECTRUM holt Ticket-Werte aus DB 6. Rückmeldung der Informationen an Nagios 37 Eric Pfaller, AUDI AG; 28. Oktober 2009

38 PSC-K Schnittstellen Technische Details Übersicht CLOSE Nagios SPECTRUM DB2- DB PSC-K DB-Update Szenario CLOSE 1. Nach CLOSE Incident veranlasst PSC-K einen Datenbank-Update 2. Die DB2-Datenbank übergibt die Werte (Ticket-Bearbeiter) an SPECTRUM; Event in SPECTRUM wird geschlossen 3. SPECTRUM meldet Zustand an Nagios zurück; Service/Host-Check wird auf OK gesetzt 38 Eric Pfaller, AUDI AG; 28. Oktober 2009

39 PSC-K Schnittstellen Technische Details Meldung Zustand OK 1. SNMP-Trap 2. Update 3. Close Ticket Nagios SPECTRUM DB2- DB PSC-K Szenario Zustand wieder OK & Incident vorhanden 1. Nagios-Event: Nagios sendet Trap an SPECTRUM = Clear Alarm wird gelöscht 2. UPDATE des Incidents in DB2 DB Monitoringsystem cleared the event at dd.mm.yyyy hh:mm 3. Meldung Zustand OK Close Ticket Ticket wird in PSC-K geschlossen 39 Eric Pfaller, AUDI AG; 28. Oktober 2009

40 PSC-K Schnittstellen Technische Details SNMP Trap Aufbau (I/III) Nagios 1. SNMP-Trap SPECTRUM Traps, die von Nagios zu SPECTRUM gesendet werden, sind je nach Fehlerart fest definiert und haben einen generischen Teil gemeinsam. 40 Eric Pfaller, AUDI AG; 28. Oktober 2009

41 PSC-K Schnittstellen Technische Details SNMP Trap Aufbau (II/III) Trap mit zugehöriger OID sendet Variablen mit Varbind Hostchecks Varbind1=NAGIOS-NOTIFY-MIB::nHostname s Varbind2=NAGIOS-NOTIFY-MIB::nHostStateID i Varbind3=NAGIOS-NOTIFY-MIB::nHostOutput s Servicechecks i.d.r. Varbind1=NAGIOS-NOTIFY-MIB::nSvcHostname s Varbind2=NAGIOS-NOTIFY-MIB::nSvcDesc s Varbind3=NAGIOS-NOTIFY-MIB::nSvcStateID i Varbind4=NAGIOS-NOTIFY-MIB::nSvcOutput s 41 Eric Pfaller, AUDI AG; 28. Oktober 2009

42 PSC-K Schnittstellen Technische Details SNMP Trap Aufbau (III/III) Definition für Steuerung der PSC-K Schnittstelle und INFO PSC Schnittstelle(Auszug) varbind40= SC_ASSIGNMENT (Zuweisungsgruppe, default CC OPERATING AUDI IN bzw. CC OPERATING AUDI NE ) varbind47= SC_SEVERITY (Severity in SC, default 3 bei produktiven, 4 bei Testsystemen) varbind48= SC_DESCRIPTION (Incident description, Skript erlaubt flexibles Zusammenbauen, Default z.b. Host/Servicecheckname: Output Host, HostIP Hostgroup Status DATE (now) Detailinformation: Last Check: 42 Eric Pfaller, AUDI AG; 28. Oktober 2009

43 Agenda 1 2 Die AUDI AG IT im Konzern 3 Ausgangssituation 4 Projektziele und Entscheidung für Nagios 5 Realisierung der Umstellung 6 Schnittstellen in PSC-K 7 Fazit 43 Eric Pfaller, AUDI AG; 28. Oktober 2009

44 Fazit Stabile Monitoringumgebung Im Einsatz befindliche Customscripte lassen sich mit geringem Aufwand migrieren Anpassung Output und Returncode Automatische Configgenerierung aus LDAP Schnittstellendesign über Standards realisiert Wenig Probleme bei der Migration Performanceschwierigkeiten bei verteilter Monitoringumgebung 44 Eric Pfaller, AUDI AG; 28. Oktober 2009

45 Vielen Dank. 45 Eric Pfaller, AUDI AG; 28. Oktober 2009