Fachtagung der TUI-Koordinatoren am 11. und

Transkript

1 Wahlergebnispräsentation - Probleme Bewältigung - Vermeidung Zusammenfassung der Ergebnisse Fachtagung der TUI-Koordinatoren am 11. und Frank Albrecht Citkomm Version 1.0 Status: freigegeben

2 Agenda Zusammenfassung Systemüberblick Krisenaufarbeitungsfahrplan Schlaglichter des Superwahljahrs 2009 Der Wahlabend Systematik der Aufarbeitung Analysen Seite 2

3 Zusammenfassung Die neue Wahlergebnispräsentation (WEPn) hat unter extremer Last die Anzahl der offenen TCP/IP- Verbindung explodieren lassen Konglomerat von Ursachen und Wirkungen erzeugt viele Einzelphänome Belastung für diverse umliegende Systeme Komplexität der Fehleranalyse am Wahlabend plötzlich neu auftretende Brandherde Verwirrung des Technikers Verschleierung erforderlicher, kleinerer Konfigurationsanpassungen Vorbereitungen sorgfältig planmäßig Test Redundanz, Last, Backup aber: nicht den richtigen Test durchgeführt Seite 3

4 Systemüberblick Konzeption aus der Landtagswahl 2005 erprobt Redundante Anbindung über 2 Provider Separiertes Wahlsegment Ausschluss von potentiellen Fehlerquellen Reduzierung der Komplexität, insbesondere Firewall einfach und schnell skalierbar Server Änderung wegen WEP(n) Applicationserver Tomcat Risikoeinschätzung häufig eingesetzt Keine besonderen Konfigurationsanpassungen erforderlich/bekannt (bisher!) Seite 4

5 Seite 5

6 Krisenaufarbeitungsfahrplan KW 36-42: Sicherung von Logs, Statistiken, erste Fehleranalyse Aufbereitung der Daten (10GB Material) Skripte / Tools zur Auswertung Dokumentation und Veröffentlichung Zeitplan Fehlersitutationen rekonstruieren, Symptome erneut hervorufen Einstieg in die Tomcat-Analysen Nachholbedarf festgestellt wegen Analyse, Konfiguration Analyse und Konfigurationsworkshop Tomcat Konzentration auf offene Verbindungen (TCP/IP-Sockets) Programmierung eigener Tools Reduzierung Komplexität der Systemumgebung für BT-Wahl Aktuell: Veröffentlichung Endergebnis Seite 6

7 Schlaglichter des Superwahljahrs 2009 Vorbereitungen ab Oktober 2008 Teilprojekte EWA, WEP(a), WEP(n) Adaption an das Sainte-Laguë/Schepers-Verfahren Geplanter Einsatz WEP(n) zur Europawahl verschoben Entwicklung aufwändiger als geplant Tests mit funktionalem Schwerpunkt geplanter Aufbau aller Systeme, inkl. Monitoring, Änderungsautomaten, Austauschgeräte termingerecht Seite 7

8 Der Wahlabend I Großeinsatz System-Leitzentrale Alle Männer auf Gefechtsstation UHD Hosties Entwicklung Netzwerker Geschäftsführung Beamer wirft 4 Arbeitsplätze auf Großleinwand 1 x Simulation des Bürgers 1 x Simulation der Kommune 2 x Monitoring und Administrationskonsolen 2 Mitarbeiter prüfen permanent die WEP(a) + (n) durch Browseraufrufe Seite 8

9 Der Wahlabend II Monitoring erkennt Probleme Paketverluste auf der Querverbindung 1. und 2. Krisensitzung Maßnahmen bleiben wirkungslos Automatik-Firewall??? Neue Baustelle : Webserver-Probleme Deaktivierung WEP(n)!!! Teilerfolg : Kundenzugriffe stabilisieren sich Reduktion Komplexität weniger Server müssen mehr Anfragen bewältigen Konfigurationsänderungen erforderlich Seite 9

10 Der Wahlabend III Überlauf bei der Verwaltung von Verbindungen auf zentraler Router erkannt zuviele offene Verbindungen Seite 10

11 Die Systematik der Aufarbeitung Symptome Hypothesen Maßnahmen Seite 11

12 Symptome Störung der IP-Kommunikation Paketverluste zu viele offene Verbindung Verwaltung von Verbindungen fehlerhaft Störungen der WEPs frühzeitiger Zusammenbruch bei geringer Zugriffslast zu restriktive Konfiguration des Webservers für die anfallende Anfragenspitze Eingefrorene Tomcats plötzliches Swapen auf den WEP-Servern Störungen dritter Komponenten Aussetzer, Überlastung der normalen Webserver Seite 12

13 Hypothesen Überlastung der Hardware Konfiguration verbesserungsfähig Apache Tomcat Systemnahe Probleme in der IP-Paketverwaltung der WEP-Server Verhalten der Firewall im Grenzbereich der conntrack Physik Störungen Netzwerkkomponenten PISA, Switche Überlastung des Datenbankservers Seite 13

14 Maßnahmen I Ausbau Arbeitsspeicher für WEP-Server Optimierung der Konfiguration Webserver Applikationsserver Anpassung des Speichermanagements an die Anforderungen der WEP neu zukünftig: neues Loadbalancing verteilt Last auf mehrere Applikationsserver auf einer Maschine Produktion der Bundestagswahl 2009 ausschließlich mit der WEP alt Nutzung eines Betriebssystemstandes ohne Socket- Restriktion Seite 14

15 Maßnahmen II Zentraler Router Erweiterung Arbeitsspeicher Erhöhung der Conntrack um Faktor 4 Stateless Entkopplung Web-Server-Zugriffe in offline- Prozesse Seite 15

16 Fragen? Ihr Ansprechpartner: Frank Albrecht Tel.: