Rechnerarchitektur SS 2013

Transkript

1 Rechnerarchitektur SS 2013 Cluster Michael Engel TU Dortmund, Fakultät für Informatik Teilweise basierend auf Material von Gernot A. Fink und R. Yahyapour 16. Juli 2013

2 Cluster Einführung von Switches als Teil lokaler Netze (LANs) ermöglichte hohe Bandbreiten und Skalierbarkeit! Parallele Rechner können aus... Standard-Desktop-Maschinen und... Standard-Netzwerkkomponenten aufgebaut werden. (anstelle spezialisierter Hardware [insbes. für Verbindungen]) MP-Systeme dieser Art bezeichnet als Cluster Viele Anwendungen (z.b. Datenbank, Web-Service) auch bei lockerer Kopplung (im Ggs. zu [N]UMA) effizient ausführbar Erfordern aber hohe Verfügbarkeit Einfache Behebung von Hardwarefehlern (repairability) wichtig

3 Cluster of Workstations (COW) Große Anzahl von Workstations in Universitäten und Unternehmen dauernd in Betrieb Rechenleistung zum größten Teil ungenutzt Nachts, Mittagspause,... Normale Anwendungen lasten Workstation nicht zu 100% aus Idee: Nutzen der Rechenzyklen für verteilte Rechenaufgaben Vorteil: Kostenlos (Rechner existieren und laufen) Probleme: Zentrale Verwaltung von Rechten, Plattenplatz usw. notwendig Evtl. Beeinträchtigung der normalen Arbeit

4 COW: VAXcluster Erste kommerzielle Clusterlösung, ca Verwendung von Standardrechnern (digital VAX) Proprietäres Netzwerk Spezielle Kommunikations-Interfaces (CI) Auch weit verteilte Lösungen (über viele km) Aus Sicht des Benutzers Systemverhalten identisch auf allen Knoten Ein gemeinsames Dateisystem Gemeinsame Geräte, Drucker usw. Verteilte Rechenleistung Netzwerk Logisch: Busnetzwerk Physikalisch: Stern Verwendet CSMA (wie Ethernet), aber unterschiedliche Arbitrierung

5 COW: VAXcluster (2) (Quelle: DTJ Digital Technical Journal, No. 5, Sept. 1987)

6 VAXcluster: Software Prozesse haben eigenen Adressraum Dateiverwaltung ist Teil des Prozesses Lock Manager koordiniert Ressourcennutzung Festplattentreiber Generisch, sendet Nachrichten an reale Festplatten durch CI Virtualisierung von Speicherplatz Connection Manager steuert Clustermitgliedschaft Dynamische Anzahl und Art von Clusterknoten Seltene Änderungen (Hardwareausfall oder -upgrade) Änderungen im laufenden Betrieb möglich SCA-Software (Systems Communication Architecture) routet Nachrichten via CI

7 VAXcluster: Software (2) (Quelle: DTJ Digital Technical Journal, No. 5, Sept. 1987)

8 VAXcluster: SCA Eigenschaften von Nachrichten Können nicht verloren gehen, Reihenfolge gewährleistet (z.b. auch für Festplattenbefehle genutzt) CIs stellen Zuverlässigkeit sicher Länge bis zu 112 Bytes Datagramme Können verloren gehen, Reihenfolge wechseln, dupliziert werden Höhere Softwareschicht realisiert Zuverlässigkeit, Reihenfolge usw. (vgl. TCP/IP) Bis zu 576 Byte ( VAX-Pages passen in Datagramme) Block-Transfers Auf kontinuierlichen virtuellen Adressen Keine Größenbeschränkung Direkte Übertragung von Speicher zu Speicher (keine Pufferung im CI)

9 VAXcluster: CI-Architektur Sieben Queues Im Hauptspeicher der jeweiligen VAX angelegt Vier Befehls-Queues (priorisiert) Antwort-Queue für eingehende Nachrichten/Datagramme Free-Queues: Quelle für leere Pakete

10 VAXcluster: CI-Architektur (2) (Quelle: DTJ Digital Technical Journal, No. 5, Sept. 1987)

11 Beowolf-Cluster VAXcluster: Gute Idee, aber... Proprietäre Hardware (VAX, Alpha, Itanium) und Betriebssystem (Open)VMS Hohe Zuverlässigkeit und Leistung, aber auch hohe Kosten Wirtschaftliche Probleme des Anbieters (DEC) PCs sind billiger, aber unzuverlässiger Aber: Standard-Windows für Clustereinsatz schlecht geeignet Beowulf-Cluster (seit 1994): Donald Becker und Thomas Sterling (NASA) PC-Hardware + Linux (oder BSD) als Betriebssystem Weitere Freie und Open Source-Software: MPI, PVM,... Kostengünstige Lösung, ibs. für wissenschaftliches Rechnen

12 Beowulf-Cluster Beowulf-Cluster der McGill University, verwendet zur Suche nach binären Pulsaren (Quelle: Wikipedia, User Aarchiba)

13 Cluster im Supercomputing Günstige Kosten und Standardhardware PC-basierter Cluster verdrängen spezialisierte Supercomputer aus der TOP500-Liste:

14 Cluster: Popularität Wegen geringer Kosten und Skalierbarkeit seit Ende 1990er für Web-Services (viele isolierte Tasks, lose, langsame Kopplung keine Einschränkung) Bedeutung wächst auch im Bereich wissenschaftlichen Rechnens

15 Cluster: Popularität II Verteilung der Prozessorarchitekturen (bei Top500-Rechnern): x86 (Intel/AMD) dominiert, einige PPC, Rest unter ferner liefen...

16 Cluster: Popularität III Verteilung der TOP500-Betriebssysteme: Linux führend!

17 Cluster: Popularität VI Wachsende Bedeutung auch im Datenbank- Bereich wegen gutem Kosten/Leistungs- verhältnis Hier: Transaktionsbasierter Benchmark TPC-C c 2003 Elsevier Science

18 Cluster: Herausforderungen für die Systemleistung Problem 1 : Verbindung der Knoten (lose Kopplung) Kommunikation im Cluster über I/O-Bus der Knotenrechner (im Ggs. zu Speicher-Bus bei Multiprozessor) geringere Bandbreite, höhere Latenz Bedeutet auch: Cluster kommunizieren via Software (Kommunikation in Multiproz. in Hardware) Aber: Verbindungen standardisiert kostengünstig Problem 2 : Aufteilung des Speichers auf Rechenknoten Cluster hat N (vollständig!) unabhängige Speicher und N Kopien des Betriebssystems kann nicht wie in SMP- / DSM-Systemen von allen Knoten als Gesamtheit verwendet werden (weniger Arbeitsspeicher f. Anwendungen) Aber: Preisverfall d. Speicherbausteine relativiert Vorteil v. MPs

19 Cluster: Zuverlässigkeit und Skalierbarkeit Nachteil separater Speicher für Programmgröße wird Vorteil für Systemverfügbarkeit und Erweiterbarkeit Ersetzen einer Maschine im Cluster einfach (ist unabh. von anderen und nur über LAN verbunden) In Shared-memory MP Isolation eines Knotens schwierig, erfordert Aufwand in Hardware (z.b. hot swap -Fähigkeit) Aufbau aus Komplett-Rechnern und unabhängigen skalierbaren Netzwerken einfach erweiterbar Keine aufwendige Rekonfiguration der Verbindungsstruktur Erweiterung ohne Einstellung des Betriebs möglich (d.h. ohne laufende Anwendung herunterzufahren) attraktiv für Web-Service-Provider

20 Cluster: Vor- und Nachteile Nachteil: Cost of Ownership Administration eines Clusters mit N Knoten annähernd genauso aufwendig wie von N einzelnen Maschinen Aber: Administration von MP mit N Prozessoren annähernd so aufwendig wie Administration eines Rechners! Vorteil: Preis äquivalenter Rechenleistung Große MP-Systeme i.d.r. geringe Stückzahl hohe Kosten Verwendung von Standardkomponenten (Desktop, LAN) niedrige Hardwarekosten Vorteil: Skalierbarkeit, Isolation/Behebung von Fehlern Nachteil: Eingeschränkte Kommunikationsleistung Einsatzmöglichkeiten von Clustern eingeschränkt! Nachteil durch Aufteilung des Speichers heute zweitrangig

21 Cluster: Beispielstrukturen Betrachten (relativ einfache) Cluster mit) jeweils 32 Prozessoren in unterschiedlicher Konfiguration bzgl. Preis des Clusters Uni-Prozessor-basiert = klassischer Cluster 1 Prozessor mit lokalem Speicher und lokaler/n Festplatte(n) 2-fach SMP-Cluster ( hybride Konfiguration) Wie zuvor, jedoch SMP-Systeme mit 2 Prozessoren und lokalem/n Speicher/Platten 8-fach SMP-Cluster (nur 4 Knoten) s.o. mit 8-Prozessor SMPs Fazit: Ähnliche Kosten für Uni-Proz. bzw. 2-fach SMP 8-fach SMP ca. 30% höhere Kosten

22 Cluster: Beispielstrukturen II c 2003 Elsevier Science

23 Cluster: Beispielstrukturen III c 2003 Elsevier Science

24 Beispiel: Google Dramatisches Wachstum des World Wide Web und der korrespondierenden Suchanfragen für Web-Seiten: Indizierte Seiten Anfragen/Tag Suchmaschine Zeitpunkt (Millionen) (Millionen) April World Wide Web Worm Nov Alta Vista Dez Google Feb ? Google 2008 ca ? Google 2009? 293 Google Beachte: Anzahl Seiten von 1994 bis 2008! Ziel für Google Hardware: Skalierbarkeit mit Wachtumsrate des Suchproblems Kontinuierliche Verfürbarkeit Geringe Latenz der Suchanfragen (< 0.5s inkl. Netz-Latenz) Hohe Bandbreite für Anfragen und Indizierung des Web

25 Der Google-Cluster Struktur des Google-Clusters (Stand Dezember 2000) 6000 Prozessorknoten, (lokale) Festplatten Damals größtes privates Speichersystem Redundanz nicht durch RAID sondern durch redundante sites (1x Virginia, 2x Silicon Valley) Index (einige TB) und gecachte Seiten (einige TB) werden zwischen sites repliziert Innerhalb der sites zusätzlich repliziert zur Lastverteilung 2-Stufige, baumförmige Vernetzung mit redundanten Switches PCs organisiert in Racks zu je 40 (2 Racks ein Gehäuse) PCs: Standard Intel, lokale Platte, Betriebssystem: Linux

26 Der Google-Cluster II c 2003 Elsevier Science Redundante Vernetzung der Rechner-Racks: 2 Haupt-Switches für Verbindung nach außen 2 Switches pro Rack zur Vernetzung der PCs

27 Der Google-Cluster III Racks mit 40 PCs, je 1HE-Einschübe, lokale Switches

28 Data Center Data Center ˆ= Cluster XXL Hauptsächliche Herausforderungen: Modularität bzw. Skalierbarkeit: hierarchisch modulare Struktur ( Racks und Module [v. Google erstmals als Container ausgeführt]) Commodity Hardware Energieeffizienz (PUE ˆ= Power Utilization Efficiency) PUE = Reduktion durch: Gesamtleistungsaufnahme Leistungsaufnahme des IT-Equipments wenige, effiziente Transformationsstufen einfache unterbrechungsfreie Stromversorgung effiziente Kühlung

29 Data Center: Energieeffizienz PUE für 9 Google Data Centers

30 Beispiel: Die Google Data Center... Stand ca. 2008/09: Mindestens 36(!) Rechenzentren weltweit (19 USA, 12 Europa, 3 Asien, 1 Russland, 1 Süd-Amerika) Wohl größtes privates System von Rechenzentren bzw. Speicherkapazität Aber: Ex. vergleichbare Systeme von Microsoft, Amazon, Facebook,... Archive.org? Bedient neben Web-Suchanfragen auch verschiedenste andere Google-Dienste (Mail, Maps, YouTube, Docs,...)

31 Beispiel: Die Google Data Center Standorte der Google Data Centers weltweit Quelle: royal.pingdom.com nicht Google!, Stand 2008

32 Beispiel: Die Google Data Center Standorte der Google Data Centers in Eurpoa Quelle: royal.pingdom.com nicht Google!, Stand 2008

33 Beispiel: Die Google Data Center Gründe für die Standortwahl der Google Data Center (Quelle: royal.pingdom.com) Große Mengen billiger Elektrizität Grüne Energie, d.h. erneuerbare Energiequellen Nähe zu Flüssen oder Seen [Google verwendet große Mengen an Kühlwasser] Große, abgelegene Grundstücke wg. privacy und Sicherheit Distanz zu anderen Google Data Centern wg. schnellen Netzwerverbindungen zwischen diesen Steuervorteile

34 Beispiel: Die Google Data Center Quelle: Elsevier Science Struktur der Server Container

35 Beispiel: Die Google Data Center Luftstrom innerhalb d. Containers Quelle: Zentrale cold aisle, Rückführung der Warmluft hinter den Servern, Abkühlung der Warmluft durch Wärmetauscher (und Zirkulationslüfter) im Unterboden

36 Beispiel: Die Google Data Center Einzelner Google Server (inkl. Festplatten, Netzteil, und Batterie (r.o.) für unterbrechungsfreie Stromversorgung) Quelle: IEEE Spectrum

37 Informationen zu Data Centers... dokumentiert online / in Videos / Präsentationen: Google Data-Center: Efficient Data Center Summit 2009 (Gastgeber: Google) Google data center video tour Server für die Google Data-Center (Detail zu s.o.) Google Data-Center in Hamina, Finland Facebook Data-Center: Das Open Compute Projekt (OpenSource Design und Spezifikation eines Data Centers) Microsoft Cloud Data Centers

38 Die Zukunft... Rechenleistung von x86-prozessoren alleine nicht ausreichend Rechenleistung pro Volumen steigern Leistungsaufnahme für Rechenleistung senken Weitere Steigerung durch spezielle Beschleuniger: GPUs (schon gesehen): schwierig zu programmieren FPGAs: noch schwieriger zu programmieren Tianhe-2 Supercomputer (Platz 1 der TOP500 vom Mai 2013) Verwendet binärkompatiblen Beschleuniger Einsatz bekannter Compiler und Betriebssysteme Intel Xeon Phi: mehr dazu nächstes Mal...