Client/Server-Systeme

Transkript

1 Client/Server-Systeme Prof. Dr.-Ing. Wilhelm Spruth WS 2006/2007 Teil 11 Parallelrechner Sysplex Coupling Facility cs 0800 ww6 sch 02-97

2 Rechner Plattformen der Zukunft In der Zukunft werden 4 Plattform-Typen überleben: 1. Embedded Systems Handy, Palmtop, RFID, Kühlschrank Computer, Automobilanwendungen, Registrierkasse 2. Personal Computer Büro, Home Computer für Mail, Briefe und Fotografische Bearbeitung Blades für CPU intensive Anwendungen 3. Spiele Computer X-Box, Sony, Nintendo Blades für CPU intensive Anwendungen 4. Mainframe Enthält Funktionen, die auf den anderen Plattformen nicht verfügbar sind: Performance Impact, unnötige Kosten oder Entwicklungsaufwand, Verfügbarkeit

3 Beispiele für Mainframe Funktionen, die auf den anderen Plattformen nicht verfügbar sind Verfügbarkeit (Availability), Sicherheit Ein/Ausgabe Subsystem (Plattenspeicher, Bandgeräte) > parallele Prozesse Parallelrechner - Funktionen Coupling Facility Virtualisierung Logische Partitionierung Transaktionsverarbeitung mit Java

4 STI Bus Local Data Memory STI - PCI Bridge PowerPC Master Local Processor Memory PowerPC Checker Memory Controller Master Memory Controller PCI Bus Checker Interface Controller identische Hardware wie bei einem PC Fibre Channel zseries Fibre Channel Kanal basierend auf der Common I/O Card es 0361 ww6 wgs 09-02

5 Symmetrisch. Multi- CPU CPU CPU prozessor (SMP) tightly coupled Hauptspeicher Haupt- Haupt- Hauptspeicher speicher speicher Cluster loosely coupled CPU CPU CPU Haupt- Haupt- Hauptspeicher speicher speicher CPU CPU CPU closely coupled Globalspeicher Taxonomie von MIMD Parallelrechnern es 0315 ww6 wgs 08-00

6 vier Eingänge vier Ausgänge 4 x 4 Crossbar Matrix Switch es 0331 ww6 wgs 07-01

7 Leistungsverhalten eines Symmetric Multiprocessors (SMP) Angenommen, ein Zweifach Prozessor leistet das Zweifache minus n % eines Einfach Prozessors. Für n = 10 % ist es kaum sinnvoll, mehr als 4 Prozessoren einzusetzen. Für n = 5 % sind es 8 Prozessoren. Angenommen m = Anzahl CPUs. Der Leistungsabfall pro CPU ist Verlust pro CPU = n(m-1) Bei einem z9 Rechner mit z/os ist n << 2 %. Es ist sinnvoll, einen SMP mit bis zu 32 Prozessoren einzusetzen. Die Gründe für den Leistungsabfall sind Zugriffskonflikte bei der Hardware und Zugriffskonflikte auf Komponenten des Überwachers. Die Überwacherkonflikte überwiegen. es 0563 ww6 wgs 07-01

8 (S/390) MIPS Million Instructions Per Second Performance Benchmark für S/390 Rechner Ausführungszeit für eine Mischung von Maschinenbefehlen Reine CPU Leistung, keine Ein/Ausgabe Proprietärer IBM Standard verfügbar seit 1965, ständig erweitert und angepaßt an realistischen Anwendungsprofilen orientiert anwendbar für Rechner unterschiedlicher Hersteller Berücksichtigt Häufigkeit der einzelnen Maschinenbefehle Cache- und Hauptspeicherzugriffszeiten Bus Latency/Contention Cache Misses und Cache-Line reload Memory Refresh Benchmark besteht aus S/390 Maschinenbefehlen, daher nicht portierbar auf Rechner anderer Architektur ( Problem der S/390 äquivalenten MIPS ) es 0144 ww6 wgs 06-99

9 CPU CPU CPU CPU System Bus Hauptspeicher SMP, Prozessor Knoten Ein SMP (Symmetric Multiprocessor, Prozessor Knoten, Node) besteht aus mehreren CPU s, die auf einen gemeinsamen Hauptspeicher zugreifen Im Basisfall nur eine Kopie (Instanz) des Betriebssystems im gemeinsam genutzten Hauptspeicher SMP s Knoten Hochgeschwindigkeitsnetzwerk Cluster Bei einem Cluster werden mehrere SMP s (von denen jedes aus mehreren CPU s besteht), über ein Hochgeschwindigkeitsnetzwerk miteinander verbunden. Dieses Netzwerk kann ein leistungsfähiger Bus sein, wird aber häufig als Crossbarswitch implementiert. es 0318 ww6 wgs 08.00

10 Sun E System Board

11 CPU CPU CPU CPU Knoten I/O Hauptspeicher Switch 2.4 GByte/s pro Board 43.2 GByte/s Switch System Boards 4 fach SMP I/O Board Sun E15K 72 CPU s 18 System Boards, je 4 CPU/System Board I/O Controller auf jedem System Board es 1162 ww6 wgs 09-01

12 Sun Fire System hat max 576 Gbyte Hauptspeicher, max 18 CPU/Memory Boards, max 18 Domains, max 18 I/O Boards, max 72 PCI Slots für 72 PCI Karten. Board Set besteht aus Slot 0 Board, Slot 1 Board und Expander Board. Letzteres nimmt die beiden anderen Boards auf. Slot 0 Board ist entweder CPU/Memory Board (System Board, 18 max) oder System Controller Board (1 oder 2 max, nicht gezeigt). CPU/Memory Board hat 4 Sparc III, 1,2 Ghz CPUs, 8 DIMMS/CPU, 8GByte/CPU, 32GByte total. Hauptspeicher Zugriffszeit 180 ns für Hauptspeicher auf gleichem Board, ns für Hauptspeicher auf anderem Board. Es 0715 ww6 wgs 10-01

13 HP Superdome Cell Board

14 CPU CPU CPU CPU I/O Hauptspeicher Switch 4 Switches 16 Gbyte/s Switch Cell Boards 4 fach SMP Crossbar Interconnect HP Superdome Cluster 64 CPU s 16 Knoten (Cell Boards), je 4 CPU/Knoten I/O Anschluß auf jedem Cell Board es 1153 ww6 SJ p.340 wgs 09-99

15 Shared Nothing Modell es 0446 ww6 wgs 11-02

16 Concentrator Distributor 25 % 25 % 25 % 25 % System A B C D Database Shared nothing (partitioned data) Jeder Rechner greift auf seine eigenen Daten zu. Die Arbeitslast wird den einzelnen Rechnern statisch zugeordnet. Concentrator Distributor 2 x 1 x 3 x 2 x System A B C D Database Shared data (shared disk) Jeder Rechner greift auf alle Daten zu. Dynamische Zuordnung der Arbeitslast. es 0308 ww6 wgs 07-00

17 Rechner 1 Switch Rechner 2 SCSI SCSI Shared Disk Emulation Rechner 2 bittet Rechner 1, die gewünschten Daten zu übertragen es 0340 ww6 wgs 09-01

18 Processor Cards 4 fach SMP 4 Switches 16 Gbyte/s Switch Fibre Channel Switch Fibre Channel Storage Area Network (SAN) RAID, Storage Server HP Superdome Cluster 64 CPU s 16 Knoten, je 4 CPU/Knoten I/O Controller auf jeder Karte es 1154 ww6 wgs 06-01

19 CPU CPU CPU CPU 54 CPU s + 10 Support Prozessoren 512 Kanäle davon 8 I/O /System Hauptspeicher L2 Cache (z9 Rechner) Coupling Facility SMP SMP SMP SMP SMP SMP 32 max. Sysplex Timer 100 MByte/s FICON / Fibrechannel Protokoll (ESCON) / FICON andere E/A Switch 100 MByte/s Glasfaser CU CU CU CU Enterprise Storage Server Parallel Sysplex Es 0709 ww6 wgs 10-01

20 CTC Verbindung (Channel- to Channel) simu- simuz/series lierte lierte S/390 Rechner Control Control Rechner Unit Unit Channel- to Channel Verbindung Cross-System Coupling Facility (XCF) Die Cross-System Coupling Facility (XCF) verwendet das CTC Protokoll. Sie stellt die Coupling Services bereit, mit denen OS/390 Systeme innerhalb eines Sysplex miteinander kommunizieren. es 0336 ww6 wgs 06-01

21 Parallel Sysplex Cluster Technology Mehrfache z/os oder S/390 Systeme verhalten sich so, als wären sie ein einziges System (Single System Image). Parallel Sysplex Cluster Technology Komponenten: Prozessoren mit Parallel Sysplex Fähigkeiten Coupling Facility Coupling Facility Control Code (CFCC) Glasfaser Hochgeschwindigkeitsverbindungen ESCON oder FICON Switch Sysplex Timer Gemeinsam genutzte Platten (Shared DASD) System Software Subsystem Software Die Coupling Facility ermöglicht Data Sharing einschließlich Datenintegrität zwischen mehrfachen z/os oder S/390 Servern Der Sysplex Zeitgeber (Timer) stellt allen z/os und OS/390 Instanzen eine gemeinsame Zeitbasis zur Verfügung. Dies ermöglicht korrekte Zeitstempel und Ablaufsequenzen bei Datenbank Änderungen. Dies ist besonders bei Datenbank- Recovery Operationen wichtig. es 0409 ww6 wgs 04-99

22 zseries Coupling Facility Großrechner bearbeiten mehrere 1000 Transaktionen / Sekunde ACID Bedingungen

23 Literatur Wilhelm G. Spruth, Erhard Rahm: Sysplex-Cluster Technologien für Hochleistungs- Datenbanken. Datenbank-Spektrum, Heft 3, 2002, S Verfügbar (download): Sysplex Hardware: Sonderheft des IBM Journal of Research and Development, Vol. 36, No.4, July Sysplex Software: Sonderheft des IBM System Journal, Vol. 36, No.2, April Verfügbar (download): // es 1132 ww6 wgs 09-99

24 Coupling Facility Die Coupling (CF) Facility ist in Wirklichkeit ein weiterer zseries Rechner mit spezieller Software. Die Aufgaben der CF sind: Locking Caching Control/List Structure Management Der größte Teil des Coupling Facility Hauptspeichers wird für das caching von Plattenspeicherdaten eingesetzt. Locking Caching Control/List Die Coupling Facility ist über Glasfaser Verbindungen mit einem optimierten Protokoll und spezieller Hardware Unterstützung mit den Systemen des Sysplex verbunden. es 0335 ww6 wgs 06-01

25 Coupling Facility (CF) Die wichtigste Aufgabe der Coupling Facility ist ein zentrales Lock Management für die angeschlossenen Systeme. Der zentrale Lock Manager des SAP System R/3 hat in Ansätzen eine ähnliche Funktionalität. Der größte Teil des Hauptspeichers der Coupling Facility wird als Plattenspeicher Cache genutzt. Der CF Cache dupliziert den Plattenspeicher Cache in den einzelnen Systemen. Cast out der CF Cache auf einen Plattenspeicher erfolgt über ein System. CF Cache Cross-Invalidate nur an die betroffenen Systeme Control und List Strukturen dienen der Sysplex Cluster weiten Verwaltung. Beispiel: RACF Sicherheits Subsystem. es 0313 ww6 wgs 06-99

26 Coupling Facility Hardware Assist Lock Contention Überwachung globale Puffer Kohärenz-Steuerung optimiertes Protokoll, geringe Latency Glasfaser Synchrones Locking 100 MByte/s Synchrone Puffer Kohärenzsteuerung Synchrone Datenübertragung < 4 KByte Coupling Support Facility System A Anbindung eines Systems an die Coupling Facility Die CF Glasfaser Verbindung wird durch spezielle Hardware Einrichtungen und durch zusätzliche Maschinenbefehle in jedem System unterstützt. es 1103 ww6 wgs 08-00

27 Lock Cache Queue Structures Structures Structures Coupling Facility Link Prozessor CF Link (Glasfaser) Systeme Link Prozessor CPU s Lokale State Vectors Mehrere Systeme sind mit der gleichen Struktur logisch verbunden Je 1 lokaler State Vector für jede logische Verbindung zu einer Struktur Spezifische Maschinenbefehle für die Kommunikation CPU - CF. Zusätzlicher Link Prozessor für die Kommunikation. es 1109 ww6 wgs 09-99

28 Hauptspeicher der Lock Cache List Coupling Struktur Struktur Struktur Facility Lock Bit Vector Cache Bit Vector List Bit Vector Lock Bit Vector Cache Bit Vector List Bit Vector Hauptspeicher Hauptspeicher System 1 System 2 Zuordnung von Bit Vektoren zu CF Strukturen es 0713 ww6 wgs 12-01

29 getrennte Rechner, häufig SMP Unix, Linux, z/os Unix System Services Sperrverwaltung Anwendungs- Server Datenbank Server Anwendungs- Server Anwendungs- Server Datenbank Server TCP/IP LAN SAP Protokoll (SNA) Präsentation SAP System R/3 Sperrverwaltungs-Server Sperrverwaltungs-Server (Lock Server) ist ein normaler Unix oder Linux Rechner, über normales Netzwerkprotokoll angeschlossen. z/os CICS, IMS und DB/2 Stored Procedures verwenden stattdessen Coupling Facility, mit speziell für die Transaktionsverwaltung optimierter Hard- und Software. Höhere Skalierung. cs 1351 ww6 wgs 04-04

30 Locking Problem Anfangswerte: d1 = 15, d2 = 20 Transaktion 1 Transaktion 2 read d1 if d1 > 10 sub d1, 10 add d2, 10 read d1 if d1 > 10 sub d1, 10 add d2, 10 Ergebnis: d1 = - 5, d2 = 40

31 Benutzung von Locks (Sperren) Transaktion A Transaktion B GetReadLock (d1) read d1 if d1 > 10 GetReadLock (d1) read d1 if d1 > 10 GetWriteLock (d1) Nachricht an Transaktion 2 GetWriteLock (d2) sub d1, 10 add d2, 10 ReleaseLocks GetWriteLock (d1) GetWriteLock (d2) sub d1, 10 add d2, 10 Ergebnis: d1 = + 5, d2 = 30 Gray/Reuter p.380 es 1131 ww6 wgs 09-99

32 Two-phase Locking In Transaktions- und Datenbank-Systemen bezeichnen wir als Lock ein Objekt, das wenigstens über 4 Methoden verfügt: GetReadLock GetWriteLock PromoteReadtoWrite Unlock Locks müssen sowohl Lese- als auch Schreiboperationen abdecken: Vor einem Read, GetReadLock Vor einem Write, GetWriteLock oder PromoteReadtoWrite Wenn die Anforderung eines Locks erfolgreich ist, kann die Programmausführung fortgesetzt werden; andernfalls wird die Ausführung verzögert, bis das Lock verfügbar gemacht werden kann. cs 0925 ww wgs 02-97

33 Two-Phase Locking Two-Phase Transaktion In Transaktionssystemen und Datenbanksystemen ist ein Lock ein Objekt welches (mindestens) über 4 Methoden verfügt: GetReadLock reserviert S Lock (shared ) SHR GetWriteLock reserviert E Lock (exclusive) EXC PromoteReadtoWrite Wechsel S E Unlock Lock freigeben Mehrere Transaktionen können ein S Lock für das gleiche Objekt besitzen. Nur eine Transaktion kann ein E Lock für ein gegebenes Objekt besitzen. Wenn eine Transaktion ein S Lock in ein E Lock umwandelt, müssen alle anderen Besitzer des gleichen S Locks benachrichtigt werden. Normalerweise besitzt eine Transaktion mehrere Locks. In einer Two-Phase Transaktion finden alle Lock Aktionen zeitlich vor allen Unlock Aktionen statt. Eine Two-Phase Transaktion hat eine Wachstumsphase (growing), während der die Locks angefordert werden, und eine Schrumpf (shrink) Phase, in der die Locks wieder freigegeben werden. Nicht zu verwechseln mit dem 2-Pase Commit Protokoll der Transaktionsverarbeitung es 1130 ww6 wgs 09-99

34 Locking Protokoll Share Lock (SHR) erwerben vor dem erstmaligen Lesen Exclusive Lock (EXC) erwerben vor dem erstmaligen Schreiben derzeitiger Status Lesen Schreiben kein shared exclusive Anforderung Lesen bewilligt, bewilligt, abgelehnt, Share share- share- Mitteilung mode mode über Besitzer Schreiben bewilligt, bewilligt, abgelehnt, Exclusive exclusive Warnung Mitteilung mode über über Besitzer Besitzer es 1129 ww6 wgs 09-99

35 Lock Verwaltung System 1 System 2 Lock Tabelle 1. Lock prüfen 2. Lock setzen 3. Datenzugriff Im einfachsten Fall besteht die Lock Tabelle aus zusätzlichen Feldern in der Daten Tabelle es 1106 ww6 wgs 09-99

36 Shared Disk Verteilte Lock Tabelle in den Hauptspeichern der beteiligten Systeme. Zur Auflösung von Lock Konflikten Broadcast oder Nachricht von System i System j. Verarbeitung der laufenden Transaktion aussetzen; 20 ms Overhead. Beispiele: VAX DBMS und VAX Rdb/VMS es 1112 ww6 wgs 09-99

37 Haupt- Haupt- Haupt- Hauptspeicher speicher speicher speicher 2 write 1 invali date System System System System 3 A B C D cast out Database Database Database Database Invalidate-Broadcast Kohärenzsteuerung Nur System A besitzt Write Lock. B, C und D besitzen nur Read Lock. Invalidate Broadcast benachrichtigt B, C und D daß Kopie nicht mehr gültig. You cannot build a cluster that scales if you do not solve the locking problem es 0702 ww6 wgs 08-00

38

39 Commit Commit Start Transaction Start Transaction Get Lock Get Lock Lock freigeben Lock freigeben Eager und Lazy Locking Protokolle Eager Protokoll Lock freigeben wenn Commit Transaction Lazy Protokoll Lock freigeben wenn Contention Lazy Protokoll arbeitet besser, wenn Sharing selten auftritt. Beispiel TPC-C Sysplex Coupling Facility verwendet das Eager Protokoll (auch als force-at-commit bezeichnet). Sharing tritt häufig auf, wenn existierende Anwendungen auf den Sysplex portiert werden. es 1113 ww6 wgs 09-99

40 CPU Buffer Pool Hauptspeicher Plattenspeicher Elektronik Cache Cache Cache Plattenspeicher Plattenspeicher Cache und Hauptspeicher Buffer Pool Ein lokaler Cache im Hauptspeicher eines Knotens (System) wird als Buffer Pool bezeichnet. Er besteht aus einzelnen Puffern (Buffers), die Datenbankobjekte aufnehmen. Zusätzlich werden Daten in einem Plattenspeicher Cache gespeichert, der Bestandteil der Plattenspeicher Elektronik ist. es 0712 ww 6 wgs 12-01

41 Coupling Facility Cache Directory Ein Eintrag für jeden Block in jedem System optionaler Cache Blocks (Buffers) Bit Vektoren System A System B System C System D Database Database Database Database Aller Datentransfer in 4 KByte Blöcken. 1 System A Read from Disk 3 System A Write (to local Buffer) 1. Load Block from Disk 1. Register with CF 2. Register with CF Directory 2. CF invalidates all Bit Vectors 3. add Bit in Bit Vector 3. Write to local Buffer 2 System B Read from Disk 4 System B Read from Buffer 1. Load Block from Disk 1. Read 2. Register with CF Directory 2. detect invalid Bit 3. add Bit in Bit Vector in local Bit Vector es 1117 ww6 wgs 09-99

42 Hauptspeicher Coupling Cache Directory Cache Facility update/invalidate Directory LP CPU CPU CPU Hauptspeicher Bit Vektor System 2 LP CPU CPU CPU Hauptspeicher Bit Vektor System 1 LP CPU CPU CPU Link Prozessor Cache Directory Update in der Coupling Facility bewirkt, daß über die Link Prozessoren der Systeme deren Bit Vektoren im Hauptspeicher abgeändert werden, ohne daß der normale Programmablauf dadurch beeinflußt wird (kein Prozesswechsel) es 1147 ww6 7 wgs 09-99

43 CF List / Queue Strukturen 3 Zugriffsmöglichkeiten LIFO Queue FIFO Queue Key Sequenced Anwendungsbeispiele: Clusterweite RACF Steuerung Work Load Management Instanzen tauschen periodisch Status Information aus um Transaktionen dynamisch an unterbelastete Systeme weiter zu reichen es 1122 ww6 wgs 09-99

44

45 Cross Coupling Facility Address Space: XCFAS Angenommen mehrere Instanzen einer Anwendung oder eines Subsystems auf unterschiedlichen Knoten eines Sysplex, z.b. CICS oder WebSphere. Mit Hilfe von XCFAS können die Instanzen Status Information austauschen oder miteinander kommunizieren. Die gemeinsam genutzten Daten befinden sich als Listen- oder Queue-Strukturen auf der Coupling Facility. Der Zugriff auf diese Daten erfolgt mit Hilfe des Cross-System Extended Services (XES) Protokolls, welches Zugriffs- und Verwaltungsdienste zur Verfügung stellt. es 0723 ww6 wgs 09-02

46

47 Sysplex Overhead Durchsatz lineares Wachstum tatsächliches Sysplex Verhalten 1 Anzahl Systeme Installation Anzahl Systeme % Sysplex Overhead A 4 11 % B 3 10 C 8 9 D 2 7 E Relational Warehouse 2 13,30 Workload Die Sysplex Software (wenn installiert) erzeugt in jedem System zusätzlichen Overhead, selbst wenn der Sysplex nur aus einem einzigen System besteht. In jedem System wird zusätzliche CPU Kapazität benötigt um den gleichen Durchsatz zu erreichen. es 1128 ww6 wgs 09-

48 Verarbeitungskapazität 8 7 7, , Systeme Parallel Sysplex Leistungsverhalten CICS Transaktionsmanager, CICSplex System Manager, IMS Datenbank Mischung von OLTP, Reservierung, Data Warehouse und Bankanwendungen es 1127 ww6 wgs 09-99