Open Source Lösungen für High Performance Websites Julian Hein NETWAYS GmbH Deutschherrnstr. 15-19 90429 Nürnberg +49 911 92885-0
Agenda Kurzvorstellung NETWAYS Beispielszenario Clustering Loadbalancing Virtualisierung Storage Configuration Management Monitoring Fragen & Antworten NETWAYS GmbH Deutschherrnstr. 15-19 90429 Nürnberg +49 911 92885-0
Kurzvorstellung NETWAYS GmbH NETWAYS GmbH Deutschherrnstr. 15-19 90429 Nürnberg +49 911 92885-0
Profil Name NETWAYS GmbH Sitz Nürnberg Gründung 1995 Open Source 1997 Feste Mitarbeiter 20 Name: Julian Hein Funktion: Gründer, Geschäftsführer NETWAYS GmbH Deutschherrnstr. 15-19 90429 Nürnberg +49 911 92885-0
Leistungsbereiche Open Source Systems Management Open Source Data Center Solutions Monitoring Performance Management Configuration Management Service Management Knowledge Management Asset Management Identity Management Backup & Datensicherung High Availability Lösungen Cluster Lösungen Loadbalancing Virtualisierung Speicherlösungen Firewalls Datenbanken Voice over IP Managed Services Monitoring HW Veranstaltungen NETWAYS GmbH Deutschherrnstr. 15-19 90429 Nürnberg +49 911 92885-0
Community Aktivitäten Veranstalter der Nagios Konferenz Teilnehmer: 145 (06), 220 (07), 250 (08) 5 Tracks mit Vorträgen & Workshops Offizielles Plugin Repository 10.000 User, 1.400 Projects Mehr als 1 Mio Downloads Open Source Einsatz im Rechenzentrum Clustering, Loadbalancing, Security, usw. 29. & 30. April 2009 in Nürnberg NETWAYS GmbH Deutschherrnstr. 15-19 90429 Nürnberg +49 911 92885-0
Kunden & Referenzen NETWAYS GmbH Deutschherrnstr. 15-19 90429 Nürnberg +49 911 92885-0
Standard Webplattform Beispielszenario NETWAYS GmbH Deutschherrnstr. 15-19 90429 Nürnberg +49 911 92885-0
INTERNET Firewall 1 Firewall 2 Loadbalancer 1 Loadbalancer 2 App 1 App 2 App 3 App 4 DB 1 DB 2 Mail 1 Mail 2 Test 1 QM 1 NETWAYS GmbH Deutschherrnstr. 15-19 90429 Nürnberg +49 911 92885-0
Clustering mit Heartbeat HOCHVERFÜGBARKEIT NETWAYS GmbH Deutschherrnstr. 15-19 90429 Nürnberg +49 911 92885-0
INTERNET Firewall 1 Firewall 2 Loadbalancer 1 Loadbalancer 2 App 1 App 2 App 3 App 4 DB 1 DB 2 Mail 1 Mail 2 Test 1 QM 1 Monitor Conf 1 NETWAYS GmbH Deutschherrnstr. 15-19 90429 Nürnberg +49 911 92885-0
Heartbeat Clustering IP-Address Firewall-Rules VPN-Service Firewall Node I IP-Address Firewall-Rules VPN-Service Firewall Node II NETWAYS GmbH Deutschherrnstr. 15-19 90429 Nürnberg +49 911 92885-0
Eigenschaften von Heartbeat Überwachung und Steuerung von Ressourcen im Cluster Bis zu 16 Serverknoten innerhalb eines Clusters Komplexe Serviceabhängigkeiten Zeitabhängige Policies für Failover und Failback Split Brain Fencing Mechanismus Steuerung über GUI oder Konfigfiles Sehr ausgereifte und weit verbreitete Lösung Ähnliches Featureset wie kommerzielle Lösungen INTERNET Firewall 1 Firewall 2 NETWAYS GmbH Deutschherrnstr. 15-19 90429 Nürnberg +49 911 92885-0
LVS - Linux Virtual Server LASTVERTEILUNG NETWAYS GmbH Deutschherrnstr. 15-19 90429 Nürnberg +49 911 92885-0
Loadbalancing INTERNET Firewall 1 Firewall 2 Loadbalancer 1 Loadbalancer 2 App 1 App 2 App 3 App 4 DB 1 DB 2 Mail 1 Mail 2 Test 1 QM 1 Monitor Conf 1 NETWAYS GmbH Deutschherrnstr. 15-19 90429 Nürnberg +49 911 92885-0
Loadbalancing Loadbalancer 1 APP 1 APP 2 APP 3 APP 4 APP 5 NETWAYS GmbH Deutschherrnstr. 15-19 90429 Nürnberg +49 911 92885-0
Loadbalancing mit LVS Lineare Skalierung durch Lastverteilung auf mehrere Server Traffic Loadbalancing auf Basis IP & Port Verschiedene Lastverteilungsszenarien (bsp.) Round Robin Shortest Expected Delay Scheduling Verschiedene Weiterleitungsszenarien NAT IP Tunneling Direct Routing Loadbalancer 1 App 1 App 2 App 3 App 4 App 5 NETWAYS GmbH Deutschherrnstr. 15-19 90429 Nürnberg +49 911 92885-0
Einsatz von XEN, KVM VIRTUALISIERUNG NETWAYS GmbH Deutschherrnstr. 15-19 90429 Nürnberg +49 911 92885-0
Virtualisierung INTERNET Firewall 1 Firewall 2 Loadbalancer 1 Loadbalancer 2 App 1 App 2 App 3 App 4 DB 1 DB 2 Mail 1 Mail 2 Test 1 QM 1 Monitor Conf 1 NETWAYS GmbH Deutschherrnstr. 15-19 90429 Nürnberg +49 911 92885-0
Serverkonsolidierung Firewall Loadbalancer Loadbalancer Firewall Weniger Hardware Bessere Auslastung (30% -> 80%) Weniger Energieverbrauch Einfacheres HW-Management Weniger Komplexität NETWAYS GmbH Deutschherrnstr. 15-19 90429 Nürnberg +49 911 92885-0
Bessere Skalierbarkeit App Server App Server App Server App Server DELL IBM HP No Name Hardwareunabhängigkeit Einfachere Erweiterung Bessere Skalierung NETWAYS GmbH Deutschherrnstr. 15-19 90429 Nürnberg +49 911 92885-0
Migration Datenbank Datenbank Hardware Migration ohne Downtime Umzug von Systemen auf einen anderen Wirt bei Hardwareausfall Reduzierung von Downtimes bei Wartungsarbeiten Keine Behinderung durch Hardwareplattform Datenbank NETWAYS GmbH Deutschherrnstr. 15-19 90429 Nürnberg +49 911 92885-0
Hochverfügbarkeit Webserver Datenbank Webserver Datenbank Datenbank Webserver Heartbeat Cluster HA Betrieb ohne zusätzliche Hardware möglich Steuerung der virtuellen Server durch Heartbeat NETWAYS GmbH Deutschherrnstr. 15-19 90429 Nürnberg +49 911 92885-0
Qualitätsmanagement Testing & Staging Rollout Schneller Roll-Back durch Snapshots Testing unter den echten Praxisbedingungen Einfachere Lasttests Wesentlich einfache Übernahme der Testumgebung in Produktion Schneller Roll-Back durch Snapshots Nachbildung der echten Umgebung durch virtuelle Maschinen NETWAYS GmbH Deutschherrnstr. 15-19 90429 Nürnberg +49 911 92885-0
DRBD - Distributed Replicated Block Device Storage NETWAYS GmbH Deutschherrnstr. 15-19 90429 Nürnberg +49 911 92885-0
Shared Storage INTERNET Firewall 1 Firewall 2 Loadbalancer 1 Loadbalancer 2 App 1 App 2 App 3 App 4 DB 1 DB 2 Mail 1 Mail 2 Test 1 QM 1 DRBD Monitor Conf 1 NETWAYS GmbH Deutschherrnstr. 15-19 90429 Nürnberg +49 911 92885-0
DRBD Active - Passive Synchrone Replikation einer Partition via Netzwerk (wie RAID) Aktiv/Passiv Replikation mit normalen Dateisystemen Aktiv/Aktiv Replikation mit Clusterfilesystem (bsp. GFS, OCFS2) Keine spezielle Hardware notwendig Lokaler Schreib/Lese Vorgang ergibt schnelle Performance Kernelmodul in vielen Distributionen bereits integriert HDD 1 HDD 2 Read/Write HDD 1 Write vhdd HDD 2 DB 1 (Active) DB 2 (Passiv) NETWAYS GmbH Deutschherrnstr. 15-19 90429 Nürnberg +49 911 92885-0
Puppet Configuration Management NETWAYS GmbH Deutschherrnstr. 15-19 90429 Nürnberg +49 911 92885-0
Configuration Management INTERNET Firewall 1 Firewall 2 Loadbalancer 1 Loadbalancer 2 App 1 App 2 App 3 App 4 DB 1 DB 2 Mail 1 Mail 2 Test 1 QM 1 Monitor Conf 1 Configuration Management NETWAYS GmbH Deutschherrnstr. 15-19 90429 Nürnberg +49 911 92885-0
Configuration Management App 1 App 2 App 3 App 4 DB 1 DB 2 Mail 1 Mail 2 Test 1 QM 1 SVN Repository Conf 1 Configuration Management NETWAYS GmbH Deutschherrnstr. 15-19 90429 Nürnberg +49 911 92885-0
Puppet System zur Automatisierung von administrativen Tasks Basierend auf Ruby unter nahezu allen Unix Systemen verfügbar Einfach lesbare Konfiguration mit Templates Meta Deklaration => Architektur der Zielsystems egal Sehr leicht erweiterbar und anpassbar Archivierung von Changes Einmal konfigurieren, mehrfach ausführen App 1 App 2 App 3 App 4 Mail 1 Mail 2 Test 1 QM 1 Conf 1 NETWAYS GmbH Deutschherrnstr. 15-19 90429 Nürnberg +49 911 92885-0
Nagios Monitoring NETWAYS GmbH Deutschherrnstr. 15-19 90429 Nürnberg +49 911 92885-0
Availability Monitoring Firewall 1 Firewall 2 Loadbalancer 1 Loadbalancer 2 App 1 App 2 App 3 App 4 DB 1 DB 2 Mail 1 Mail 2 Test 1 QM 1 Monitor Monitoring Conf 1 NETWAYS GmbH Deutschherrnstr. 15-19 90429 Nürnberg +49 911 92885-0
Nagios im Überblick Aktive Überwachungen für Server, Dienste und Performancewerte Test von Verfügbarkeiten und quantitativen Auslastungsdaten Einfache Erweiterung durch Plugins und Plugin API Standard Plugin Sammlung Plugin Katalog www.nagiosexchange.org Eigene Plugins in Perl, Bash, Visual Basic,.NET, C Webinterface für Präsentation & Reporting Flexibles Benachrichtigungsystem (email, SMS, Voice) Sehr viele AddOns und Funktionserweiterungen NETWAYS GmbH Deutschherrnstr. 15-19 90429 Nürnberg +49 911 92885-0
Nagios AddOn NagVis NETWAYS GmbH Deutschherrnstr. 15-19 90429 Nürnberg +49 911 92885-0
Nagios AddOn NagiosGrapher Nagios generiert quantitative Daten Aufbereitung zu Performancecharts Zusatzfeatures Berechnungen, bsp. Average Multigraphen mehrerer Datenquellen Datenkonsolidierung & Housekeeping Extrapolation in die Zukunft Belastbare Daten für spätere Entscheidungen, Lasttests, usw. NETWAYS GmbH Deutschherrnstr. 15-19 90429 Nürnberg +49 911 92885-0
Nagios AddOn Business Process View Abbildung von Geschäftsprozessen Hierarchischer Treeview And / Or Verknüpfungen Drilldown zum Service Ausfallsimulationen möglich NETWAYS GmbH Deutschherrnstr. 15-19 90429 Nürnberg +49 911 92885-0
Warum Open Source im Datacenter? Viel Erfahrung auch in sehr großen Projekten Größere Flexibilität durch offenen Quellcode Professioneller Support im Markt vorhanden Hohe Skalierbarkeit und Verlässlichkeit Große Communities in allen etablierten Projekten Keine Abhängigkeit von Herstellern (vendor lock-in) Geringere Initial- und Betriebskosten NETWAYS GmbH Deutschherrnstr. 15-19 90429 Nürnberg +49 911 92885-0
Fragen & Antworten Jetzt und Hier Stände Bayern Innovativ: Halle 9 - B20 SUN: Hallo 6 E36 Online www.netways.de blog.netways.de twitter.com/netways Persönlich julian.hein@netways.de NETWAYS GmbH Deutschherrnstr. 15-19 90429 Nürnberg +49 911 92885-0