Maik Zemann. Flynn s Taxonomie. Parallele Rechnerarchitekturen SS 2004 Technische Fakultät Universität Bielefeld. 3. Mai 2004 Flynn's Taxonomie 1

Transkript

1 Maik Zemann Flynn s Taxonomie Parallele Rechnerarchitekturen SS 2004 Technische Fakultät Universität Bielefeld 3. Mai 2004 Flynn's Taxonomie 1

2 Gliederung Einleitung Gliederung Flynn s Taxonomie Das SISD-Modell Das SIMD-Modell Das MISD-Modell Das MIMD-Modell Erweiterungen der Flynn schen Taxonomie Alternative Taxonomien Zusammenfassung Ausblick Quellen und Literatur 3. Mai 2004 Flynn's Taxonomie 2

3 Einleitung Wer ist Michael J. Flynn? IBM (Computer organizations and design) 1961 Promotion an der Purdue University Seit 1975 Professor an der Stanford University Awards: Eckert-Mauchley (1992), Harry Goode Memorial (1995), Tesla Medal und Ehrendoktor (1998) 3. Mai 2004 Flynn's Taxonomie 3

4 Einleitung Was ist eine Taxonomie? Wikipedia: Die Taxonomie ist die Wissenschaft von der Einteilung von Dingen in Taxa (Gruppen). Ursprünglicher Begriff aus der Biologie Viele Fachbereiche verwenden den Begriff der Taxonomie allgemein für ein Klassifikationssystem, eine Systematik oder den Vorgang des Klassifizierens. 3. Mai 2004 Flynn's Taxonomie 4

5 Einleitung Der Begriff der Taxonomie in der Informatik Klassifikation verschiedener Computer und Architekturen in bestimmte Gruppen z.b.: IBM PC, Alliant FX/8, U/Burroughs ILLIAC-IV NEC EarthSimulator, Quantencomputer, Transputer uvm. 3. Mai 2004 Flynn's Taxonomie 5

6 Einleitung Motivation (1) Vergleichbarkeit von Rechnern Einfache Charakteristika dienen als Klassifikationsbasis Keine detaillierten Informationen/Datenblätter notwendig Einfaches qualitatives Maß für die Ähnlichkeit zweier Architekturen Klassifikation kann nach verschiedenen Gesichtspunkten erfolgen (z.b.: Anzahl und Struktur funktioneller Einheiten oder Pipelining und Parallelismus) Gute Taxonomie weist jedem Rechner genau eine Gruppe zu 3. Mai 2004 Flynn's Taxonomie 6

7 Einleitung Motivation (2) Zunehmende Abweichung von der klassischen von Neumann Architektur Gleichzeitige Ausführung von Operationen (Parallelismus) Vielfältige Architektur-Möglichkeiten Führte zur Schaffung von Klassifikationsschemata Eine mögliche Klassifikation, die sich wegen ihrer Einfachheit durchsetzte, ist die nach Michael J. Flynn 3. Mai 2004 Flynn's Taxonomie 7

9 Flynn s Taxonomie Flynn s Taxonomie Bekannte Klassifikation von Michael J. Flynn (1972) Basiert auf zwei Konzepten: Befehlsströme Datenströme 3. Mai 2004 Flynn's Taxonomie 9

10 Flynn s Taxonomie Befehlsströme Instruktionen die auf Datenworten ausgeführt werden können Jeder Befehlsstrom benötigt einen eigenen Befehlszähler, der den aktuellen Befehl des ihm zugeordneten Stroms beinhaltet System mit n Prozessoren besitzt n Befehlszähler Bei Flynn: Anzahl der gleichzeitig ausführbaren Befehlsströme 3. Mai 2004 Flynn's Taxonomie 10

11 Flynn s Taxonomie Datenströme Sequenz von Werte-Tupeln auf denen Operationen (Befehle) ausgeführt werden können Bei Flynn: Anzahl der gleichzeitig bearbeitbaren Datenströme 3. Mai 2004 Flynn's Taxonomie 11

12 Flynn s Taxonomie Mögliche Kategorien 3. Mai 2004 Flynn's Taxonomie 12

13 SISD-Modell Das SISD-Modell Ein sequenziell abgearbeiteter Befehlsstrom verarbeitet einen entsprechend sequenziellen Datenstrom Die meisten Rechner gehören zu dieser Kategorie: Die meisten Mikroprozessoren Fast alle Mainframe-Computer Pipeline-Prozessoren werden allgemein dazugezählt Fast alle Minicomputer der 80er Jahre 3. Mai 2004 Flynn's Taxonomie 13

14 SISD-Modell Das SISD-Modell Allgemein: Alle Einzelrechner, die Eigenständig zur Lösung ihrer Aufgaben eingesetzt werden Beispiel: von Neumann-Architektur 3. Mai 2004 Flynn's Taxonomie 14

15 SISD-Modell Informationsfluss beim SISD-Modell 3. Mai 2004 Flynn's Taxonomie 15

16 SIMD-Modell Das SIMD-Modell Typische Architektur von Großrechnern bzw. Array-Prozessoren Bekannt als Vektorrechner oder Supercomputer (z.b. Cray 1) Schnelle Ausführung eines Befehlsstroms auf mehrere gleichzeitig eintreffende Datenströme 3. Mai 2004 Flynn's Taxonomie 16

17 SIMD-Modell Das SIMD-Modell Es gibt nur ein Leitwerk zur Befehlsentschlüsselung Parallele Nutzung mehrerer Rechenwerke Verteilung eines Befehlsstroms an mehrere Einheiten nennt man Instruction Broadcasting Jedes Rechenwerk verfügt über eigene bidirektionale Verbindung zum Hauptspeicher (Erweiterung des von Neumann-Prinzips) 3. Mai 2004 Flynn's Taxonomie 17

18 SIMD-Modell Das SIMD-Modell Einzelne Datenprozessoren können von der Verarbeitung einzelner Befehle ausgenommen werden, können aber zeitgleich keinen anderen Befehl ausführen Synchroner Ablauf: Tasks starten und terminieren alle zum selben Zeitpunkt 3. Mai 2004 Flynn's Taxonomie 18

19 SIMD-Modell Das SIMD-Modell 3. Mai 2004 Flynn's Taxonomie 19

20 SIMD-Modell Ein Beispiel SIMD-Rechner arbeiten auf Vektoren, deren Komponenten unabhängig voneinander verarbeitet werden können Beispiel: Addition von 6 Zahlen ((1+4)+(10+6)+(8+12)) Verteilung der Rechenoperationen auf 3 Datenprozessoren Nach 1. Takt liegen drei Zwischenergebnisse vor (5, 16, 20) Nach 2. Takt 2 Zwischenergebnisse (21, 20) Nach 3. Takt liegt das Gesamtergebnis vor (41) Vergleich SISD: 5 Takte 3. Mai 2004 Flynn's Taxonomie 20

21 MISD-Modell Das MISD-Modell Mehrere Leit- bzw. Rechenwerke bearbeiten einen Datenstrom Fließbandprinzip 3. Mai 2004 Flynn's Taxonomie 21

22 MISD-Modell Struktur erinnert an Pipelining Das MISD-Modell Gesamtaufgabe wird in aufeinanderfolgende Teilaufgaben zerlegt Mögliche Anwendung: Filtern von Videodaten Gesamtfilter wird in Teilfilter zerlegt Jeder Teilfilter wird von einem Pipelineprozessor verarbeitet 3. Mai 2004 Flynn's Taxonomie 22

23 MISD-Modell Das MISD-Modell Softwaretechnische Umsetzung des Prinzips in UNIX-Systemen Beispiel: pipe -Befehl: Ein Rechenprozess versorgt einen Anderen ständig mit Daten Die Ausführung auf nur einem Datenstrom ist eine zu starke Einschränkung Keine bekannte Hardwareimplementierung 3. Mai 2004 Flynn's Taxonomie 23

24 MIMD-Modell Das MIMD-Modell Mehrere Befehlsströme bearbeiten zeitgleich mehrere unterschiedliche Datenströme Ein Leitwerk und das von ihm gesteuerte Rechenwerk fasst man allgemein als Prozessor zusammen Jeder Prozessor arbeitet auf seinen eigenen Daten mit seinen eigenen Befehlen Asynchroner Ablauf: Da jeder Prozessor seine eigenen Tasks verwaltet, können diese zu unterschiedlichen Zeitpunkten starten oder terminieren 3. Mai 2004 Flynn's Taxonomie 24

25 MIMD-Modell Das MIMD-Modell 3. Mai 2004 Flynn's Taxonomie 25

26 MIMD-Modell Noch ein Beispiel: Sega-Spielekonsole Prozessor (Fa. Motorola, 16-Bit) führt Hauptprogramm aus Nutzt Z80-Prozessor (Fa. Zilog, 8-Bit) für nebenläufige Aufgaben Prozessor lädt Programme in den Z80-Prozessor, die dann vollkommen unabhängig vom Prozessor ausgeführt werden 3. Mai 2004 Flynn's Taxonomie 26

27 MIMD-Modell Das MIMD-Modell Solche MIMD-Systeme sind sehr vielfältig in ihren möglichen Architekturen Insbesondere in der Art der Kommunikation Sie können anhand einiger Erweiterungen der Flynn schen Taxonomie in Unterkategorien eingeteilt werden Eng gekoppelte Systeme (Mehrprozessorsysteme) Lose gekoppelte Systeme (Mehrrechnersysteme) 3. Mai 2004 Flynn's Taxonomie 27

29 Erweiterungen der Flynn schen Taxonomie Erweiterungen der Flynn schen Taxonomie Einteilung nach Kommunikations- und Speicherorganisation Nachrichtengekoppelt Speichergekoppelt Einteilung nach Verbindungs-Netzwerken Verbindungstopologie (hierarchisch, regulär,...) Blockierungsverhalten (blockierungsfrei, blockierend) Betriebsweise (synchron, asynchron) Mai 2004 Flynn's Taxonomie 29

30 Erweiterungen der Flynn schen Taxonomie Übersicht 3. Mai 2004 Flynn's Taxonomie 30

31 Erweiterungen der Flynn schen Taxonomie Übersicht 3. Mai 2004 Flynn's Taxonomie 31

32 Erweiterungen der Flynn schen Taxonomie Eng gekoppelte Systeme oder Multiprozessorsysteme Speichergekoppelte Systeme mit globalem Adressraum Keine explizite Kommunikation nötig, da der anfordernde Prozessor aus dem Hauptspeicher lesen kann (Zugriffskonflikte) Synchronisation erforderlich!! Anhand der Speicherzugriffsart unterteilbar in UMA (Uniform Memory Access) NUMA (Non Uniform Memory Access) 3. Mai 2004 Flynn's Taxonomie 32

33 Erweiterungen der Flynn schen Taxonomie Unified Memory Access Zentraler gemeinsamer Speicher (Shared-Memory) Vom Ort unabhängige Zugriffszeit für alle Prozessoren Zwei Varianten: Verbindung zum Speicher mittels Datenbus Verbindung zum Speicher mittels Switches 3. Mai 2004 Flynn's Taxonomie 33

34 Erweiterungen der Flynn schen Taxonomie Non Unified Memory Access Gemeinsamer verteilter Speicher (Distributed-Shared-Memory) Jeder Prozessor hat einen eigenen lokalen Speicher Zugriff auf lokalen Speicher erfolgt schneller als auf entfernten Speicher Ortsabhängige Zugriffszeit 3. Mai 2004 Flynn's Taxonomie 34

35 Erweiterungen der Flynn schen Taxonomie Hybride Strukturen In der Praxis Sowohl CPUs mit Busanbindung an den lokalen Speicher innerhalb eines Clusters, als auch Switch-Netzwerk zwischen Clustern Beispiel: Sun Enterprise Mai 2004 Flynn's Taxonomie 35

36 Erweiterungen der Flynn schen Taxonomie Lose gekoppeltes System oder Multirechnersysteme Nachrichtengekoppeltes System mit lokalen Adressräumen Jeder Prozessor hat seinen eigenen Speicher und ist u.u. ein eigenständiger Computer Kopplung mehrerer Computer über ein Verbindungsnetzwerk Verteiltes System Kommunikation wird wie Ein-/Ausgabe behandelt mittels spezieller Befehle wie send oder receive 3. Mai 2004 Flynn's Taxonomie 36

37 Erweiterungen der Flynn schen Taxonomie Multirechnersysteme Unterteilbar anhand des Netzwerkes: Busbasiert Verbindungsbasiert 3. Mai 2004 Flynn's Taxonomie 37

38 Erweiterungen der Flynn schen Taxonomie Busbasierte Multirechnersysteme Keine gemeinsamen Speicherzugriffe Nur einfacher Nachrichtenaustausch Meist lokale Netzwerkverbindungen mit 10 bis 100 MBit/s Beispiel: Workstations im LAN 3. Mai 2004 Flynn's Taxonomie 38

39 Erweiterungen der Flynn schen Taxonomie Verbindungsbasierte Multirechnersysteme Auch hier nur Nachrichtenaustausch ohne gemeinsamen Speicherzugriff Hauptanforderung in dieser Kategorie Schnelles und flexibles Netzwerk für den Nachrichtenaustausch Verschiedene Topologien denkbar z.b.: Hypercube Jeder Rechner bekommt eine binäre Identifikation Alle Rechner, deren IDs sich um 1-Bit unterscheiden, werden miteinander verbunden 3. Mai 2004 Flynn's Taxonomie 39

40 Erweiterungen der Flynn schen Taxonomie Verbindungsbasierte Multirechnersysteme 1-, 2- oder 3-dimensionale Netze Vorteil: theoretisch beliebig ausbaufähig 3. Mai 2004 Flynn's Taxonomie 40

41 Erweiterungen der Flynn schen Taxonomie Speichergekoppelt Multirechner vs. Multiprozessor Nachrichtengekoppelt _ -Einfach zu programmieren -Schwierig zu bauen -Kommunikation implizit durch Lade- und Speichere-Befehle -Häufiger Engpass: Datenbus -Zuverlässigkeit - Schwierig zu programmieren - Einfach zu bauen - verlangt schnelles, dynamisches Netzwerk - Höhere Kosten - Wachstumspotential -Wirtschaftlich - Sicherheit 3. Mai 2004 Flynn's Taxonomie 41

43 Alternative Taxonomien Handler`s Taxonomie (1977) Alternative Taxonomien 3 Ebenen: Leitwerke, Rechenwerke, parallel verarbeitete Bitstellen Computer T = <k * k, d * d, w * w > k= Anzahl der Steuereinheiten k = Anzahl der Steuereinheiten im Pipelining d= Anzahl der Rechenwerke pro Leitwerk d =Anzahl der Rechenwerke pro Leitwerk im Pipelining w=anzahl der parallel verarbeiteten Bits pro Rechenwerk w =Anzahl der Pipelinephasen einer Instruktion Beispiel: Intel Paragon XP/S: <1840 * 2, 1 * 2, 64 * 3> 3. Mai 2004 Flynn's Taxonomie 43

45 Zusammenfassung Zusammenfassung (1) Vier verschiedene Modelle: SIMD, SISD, MISD, MIMD Wichtigste Klassifikationsmerkmale: Datenströme und Instruktionsströme sowie Speicher- und Kommunikationsorganisation Wirkliche Parallelität bieten nur Rechner der Kategorien SIMD und MIMD SIMD bietet Datenparallelität MIMD unterstützt echte Prozessparallelität 3. Mai 2004 Flynn's Taxonomie 45

46 Zusammenfassung Zusammenfassung (2) Aufgrund der geringen Anzahl der Klassifikationsmerkmale gibt es ein breites Spektrum in den einzelnen Kategorien Erweiterung der Taxonomie: Multiprozessor- und Multirechner- Systeme Es gibt zahlreiche Klassifikationsmodelle, von denen das Flynn sche aufgrund seiner Einfachheit das Bekannteste und auch meist Kritisierte ist Im Großen und Ganzen verrät die Flynn`sche Taxonomie nur wenig mehr als die Tatsache ob ein Rechner Parallel ist, oder nicht 3. Mai 2004 Flynn's Taxonomie 46

47 Ausblick Ausblick PCs haben mit Video-, Sound-, und ähnlichen Karten schon ein erhebliches Maß an Parallelarbeit implementiert PCs und Server mit mehr als einer CPU sind heute bereits Stand der Technik Parallelisierung aufgrund der steigenden Datenmengen immer gefragter, gerade im Bereich von Multimediaoperationen Ansatz: Hyperthreading bis zu vier virtuelle CPU-Kerne auf einem Chip 3. Mai 2004 Flynn's Taxonomie 47

48 Quellen und Literatur Literatur Parallel Computer Taxonomy, Wasel Chemij Hardware Konzepte, Prof.Dr. K. Irmscher Mehrprozessorsysteme Weiterführende Literatur: M.J.Flynn: Computer Architekture, Jones and Bartlet, Mai 2004 Flynn's Taxonomie 48