Vorkurs Informatik 2003 Rechnerstrukturen

Transkript

1 Vorkurs Informatik 2003 Rechnerstrukturen Christian Bischof Lehrstuhl für Hochleistungsrechnen RWTH Aachen Literatur: Oberschelp/Vossen - Rechneraufbau und Rechnerarchitektur Hennessy/Patterson - Computer Architecture Andrew S. Tanenbaum - Structured Computer Organization C. Bischof Vorkurs Rechnerstrukturen Sept Geschichte des Rechners - Zahnräder 1642 Blaise Pascal Addieren und Substrahieren 1670 Gottfried Wilhelm von Leibniz Multiplizieren und Dividieren 1820 Charles Babbage: Difference Engine Addition und Substraktion,, fest programmiert 1834 Charles Babbage: Analytical Engine Über Lochkarten frei programmierbar C. Bischof Vorkurs Rechnerstrukturen Sept

2 Geschichte des Rechners Elektromechanische Relais Konrad Zuse: : Z1 - der erste Digitalcomputer der Welt 1939 Howard Aiken: Mark I - arbeitet mit Relais und wurde mittels eines perforierten Bandes gesteuert Speicherkapazität: t: 72 Zahlen (23 Dezimalstellen) Rechenleistung: eine Multiplikation in 10 Sekunden Technik: ca Relais Konrad Zuse C. Bischof Vorkurs Rechnerstrukturen Sept Geschichte des Rechners - Vakuumröhren : ENIAC I - schnellster Rechner seiner Zeit (ca fach schneller als alle anderen Systeme). Wäre ENIAC noch vor Kriegsende fertiggestellt worden, hätten die Aliierten den Code von mechanischen Verschlüsselungs- geräten,, z.b. der deutschen ENIGMA, knacken können. Entwicklungszeit: Technik: Röhren Gewicht: 30 Tonnen Länge/Breite: 30m / 3m Programmierung: Schalter und Steckbrett Ein-/Ausgabe: Lochkarten Geschwindigkeit: Operationen pro Sekunde Der erste bug am 9. Sept um Uhr: Eine Motte verklemmte sich zwischen einem Relais eines Mark II Rechners. C. Bischof Vorkurs Rechnerstrukturen Sept

3 Geschichte des Rechners - mehr Vakuumröhren : UNIVAC I - erster kommerziell erfolgreicher Computer. Es wurden 46 Systeme zum Stückpreis von über $1 Mio. gebaut. Geschwindigkeit: 1905 Operationen/Sekunde Ein-/Ausgabe: Magnetband, Printer Speicher: bit-worte IAS: John von Neumann, Herman Goldstine C. Bischof Vorkurs Rechnerstrukturen Sept Geschichte des Rechners der Transistor 23. Dezember 1947: in den Bell Laboratories wird der erste Transistor erfolgreich getestet. Kommerzielle Transistoren werden in Glasröhren montiert eingebaut TRADIC (Hersteller. Bell Telephone Laboratories) ) ist der erste voll transistorisierte Computer der Welt. Er besitzt 800 Transistoren, ist für r die damalige Zeit sehr klein. C. Bischof Vorkurs Rechnerstrukturen Sept

4 Geschichte des Rechners Integrierte Schaltkreise 1958: Der erste Integrierte Schaltkreis (IC) von Texas Instruments 1959: Der erste Integrierte Schaltkreis ohne interne Verkabelung 1961: Erster als monolitischer Chip realisierter integrierter Schaltkreis: Flip-Flop C. Bischof Vorkurs Rechnerstrukturen Sept Geschichte des Rechners - Minicomputer 1965: PDP-8 von Digital Equipment Corporation. Zum Preis von $ werden tausende der kleinen Computer in die Industrie, in Handelsfirmen und in Laboratorien verkauft. 1966: HP : : Eines der ersten general purpose Rechnersysteme. Als Programmiersprachen stehen Basic, Algol, und FORTRAN zur Verfügung. C. Bischof Vorkurs Rechnerstrukturen Sept

5 Geschichte des Rechners Erste PCs 1971: Der Kenbak-1 gilt als erster Personal Computer. Speicher: 256 Byte Preis: $750 Technik: Standard medium-scale IC Ein-/Ausgabe: Schalter und Lampen Erstes Auftreten des Dealer-Problems für Endkunden: nach dem Verkauf von 40 Geräten schließt t die Kenback Corporation 1977: Der Apple II war der erfolgreichste PC seiner Zeit: Farbgrafik (für r TV-Anschlu Anschluß) Video Games,, einfacher Joystick, Floppy und Kassettenrecorder als Speichermedium C. Bischof Vorkurs Rechnerstrukturen Sept Geschichte des Rechners Hochintegrierte Schaltkreise 1971: Intel erster funktionsfähiger Mikroprozessor. Anzahl Transistoren: Wortbreite: 4 bit Geschwindigkeit: Operationen pro Sekunde Der erste in MOS gefertigte Standard Chip für r die Datenverarbeitung (eine 8-bit8 arithmetische Einheit mit Accumulator) ) wird eingeführt. Die MOS-Technik (metal-oxide oxide-semiconductor) ) hat die höchste Wachtumsrate im gesamten Elektronik- bereich zu verzeichnen. Intel 4004 C. Bischof Vorkurs Rechnerstrukturen Sept

6 Entwicklung der Intel Produktlinie Aktuell: Pentium IV - 3 GHz C. Bischof Vorkurs Rechnerstrukturen Sept Arbeitsweise eines Rechners Eingabe Verarbeitung Ausgabe Frei programmierbar Aufgebaut als Datenverarbeiter C. Bischof Vorkurs Rechnerstrukturen Sept

7 Klassischer Rechneraufbau Im wesentlichen ist dies die Struktur,, die von John von Neumann schon 1938 in seinem First Draft of a Report on the EDVAC dargelegt wurde. Main = Hauptspeicher Central Processing Unit () = Zentrale Prozessoreinheit I/O (Input/Output) = Ein-/Ausgabe C. Bischof Vorkurs Rechnerstrukturen Sept Hauptspeicher speichert Daten in elektrischer Form (als( Ladung, Spannung, ) kleinste Speichereinheit: : Bit (Binary Digit) befindet sich in einem von 2 Zuständen mehrere Bits (8,16,32,...) zu einer Speicherzelle 2 zusammengesetzt Wichtige Grundgröße: : 8 Bit = 1 Byte speichert = 2 8 =256 Zustände wird zur Speicherung eines Buchstaben benutzt Speicherzellen durch Adressen ansprechbar C. Bischof Vorkurs Rechnerstrukturen Sept

8 Speicheraddressierung und -kapazität 1 Byte = 8 Bit 1 KByte (Kilobyte) = 2 10 Bytes 1 MByte (Megabyte) = 2 20 Bytes 1 GByte (Gigabyte) = 2 30 Bytes 1 Tbyte (Terabyte) = 2 40 Bytes = 1024 Bytes = Bytes = Bytes C. Bischof Vorkurs Rechnerstrukturen Sept ''aktiver'' Teil des Rechners verarbeitet die Daten im Hauptspeicher Steuerung der durch Programm Programm liegt als Datenfolge im Hauptspeicher kein Unterschied zwischen Programme und Daten im Hauptspeicher (von Neumann-Architektur Architektur) interpretiert diese Daten als Befehlsfolge führt die Befehle Schritt für Schritt aus Geschwindigkeit: einige 100 Millionen Befehle/s C. Bischof Vorkurs Rechnerstrukturen Sept

9 Numerische Simulation technisch-wissenschaftlicher Zusammenhänge Viele Probleme benötigen hohe Rechenleistungen bzw. sprengen heute immer noch die Leistungsfähigkeit moderner Hochleistungsrechner, z.b. Klimavorhersage: Lösung des gekoppelten Problems Ozean - Atmosphäre über Jahrzehnte hinweg. (Greenhouse Effekt) Crash-Analyse: Verformung von großen Strukturen, z.b. Autos oder ganzen Zügen (Gesetzgebung zum Schutz der Verbraucher) Molekulare Modellierung: Analyse komplexer Molekülstrukturen (Designer Drugs) Rechenleistung Rechenzeit Rechnertyp Speicher 100 Mflops 3,3 Monate Personal Computer Faustregel: 1 Gflops 10 Tage Workstations ein Gbyte 10 Gflops 1 Tag Hochleistungsrechn er pro 100 Gflops 2,4 Stunden Höchstleistungsrechner Gflops 1 Tflops 14 Minuten Superrechner Mflop = Million Floating Point Operations per Second, Gflop = 1000 Mflops C. Bischof Vorkurs Rechnerstrukturen Sept Meteorologie/Klimatologie (Bayerischer Forschungsverbund für Klimaforschung) Simulation mit MM5. Mesoscalares Wettermodell - weltweit im Einsatz C. Bischof Vorkurs Rechnerstrukturen Sept

10 Füllvorgang eines 4-Ventil 4 Motors Aerodynamisches Institut, RWTH Farbdarstellung der vertikalen Geschwindigkeitskomponente in einer Schnittebene Teilchenbahnen (Streichlinien, eingefrorene Strömung) C. Bischof Vorkurs Rechnerstrukturen Sept Techniken zur Leistungssteigerung - s Kleine schnelle Speicher,, in denen Daten gespeichert werden,, von denen man hofft, dass sie in Kürze gebraucht werden. Aber: Unterschiedliche Speicherzugriffsmuster erfordern unterschiedlich viel Zeit. C. Bischof Vorkurs Rechnerstrukturen Sept

11 Datenzugriffspfade, Speicherhierarchien und potentielle Engpässe Speichergeschwindigkeit ggf. Verschränkung Bankkonflikte Second Level Lokaler memory memory memory unit (Chip) instruction cache data cache local bus memory memory communication unit core operations (instr.) arith./log. unit Speicher Prozessorknoten Speicherbandbreite Kommunikationsbandbreite C. Bischof Vorkurs Rechnerstrukturen Sept Speicherhierarchie Geschwindigkeit: nsec Größe: 10 s KByte 10 nsec 0,5 GByte 100 nsec 50 GByte 10 msec 10 sec Terabytes C. Bischof Vorkurs Rechnerstrukturen Sept

12 Matrix-Matrix Multiplikation (C = C+A*B) Offensichtlicher Ansatz: do i = 1 to N do j = 1 to N do k = 1 to N c(i,j) = c(i,j) + a(i,k)*b(k,j) enddo enddo enddo Leistung in Mflops in Abhängigkeit von N: compiliert (schwarz) vom Hersteller optimiert (rot) maschinenspezifisch automatisch erzeugt (blau) Auf Sun Ultrasparc 20 Mflops mit dem naiven Ansatz, 225 Mflops mit Algorithmen, welche nutzung durch Zugriffslokalität optimieren. Die Anzahl der Gleitpunktoperationen ist dieselbe. Die Art und Weise der Nutzung des Speichers bestimmt die Leistung! C. Bischof Vorkurs Rechnerstrukturen Sept Techniken zur Leistungssteigerung - Parallelität Leistungssteigerung durch Replikation von funktionalen Einheiten Sowohl s als auch Speicher Technische Realisierung als Gemeinsamer Speicher (shared memory) Verteilter Speicher (distributed memory) Verteiltes Cluster von Cluster von Parallelen Knoten mit gemeinsamem Speicher (SMP Cluster) C. Bischof Vorkurs Rechnerstrukturen Sept

13 Shared Parallelsystem Alle Prozessoren greifen über ein Verbindungsnetzwerk auf einen gemeinsam genutzten Speicher zu. Jeder Prozessor kann jedes Speicherelement direkt addressieren. Kohärenz Problem PCI I/O 1 Agent 2 PCI I/O 3 Agent 4 (8x8). PCI I/O 15 Agent 16 (32-fach interleaved). C. Bischof Vorkurs Rechnerstrukturen Sept Beispiel des Kohärenzproblems P 1 P 2 P 3 u =? u =? 3 4 $ $ 5 $ u:5 u:5 u= 7 1 u:5 2 I/O devices Prozessoren sehen verschiedene Werte für u nach Ereignis 3. Hardware zur Lösung des -Kohärenzproblems ist teuer. Je mehr Prozessoren, desto aufwendiger (Drähte, Zeit) wird es. Deshalb Skalierung nur bis zu einer moderaten Anzahl von Prozessoren (bis zu 64). C. Bischof Vorkurs Rechnerstrukturen Sept

14 PCI I/O SCI 512 kb kb kb Bausteine sind PC-Knoten, typischerweise mit 2 oder 4 s an einem gemeinsamem Speicher. (sogenannte SMP - shared memory parallel- Knoten) Limitierender Faktor ist das Netzwerk Distributed Parallelsystem - am Beispiel PC Cluster - PCI Bus (100 MHz) Bus P1 Mem (kein Interleaving) Pn Mem C. Bischof 2 1 Inter connection network PCI I/O SCI Vorkurs Rechnerstrukturen Sept Cluster von SMP Knoten Sun Cluster am RZ SunFire 15k Cluster SunFire 6800 Cluster Ultrasparc Ultrasparc III III (900 (900 MHz) MHz) 24 Gbyte memory 24 Gbyte memory Gigabit Gigabit Ethernet Ethernet Ultrasparc Ultrasparc III III (900 (900 MHz) MHz) Gbyte Gbyte memory memory Gigabit Gigabit Ethernet Ethernet in production: 16 x SF 6800 system with: in production: 4 x SF 15k system with: Storage Area Network (SAN) C. Bischof Vorkurs Rechnerstrukturen Sept

15 Moore s Gesetz Moore s Law: Die Anzahl von Transistoren und deshalb die Leistung und Speicherkapazität verdoppeln sich alle 18 Monate. Bei Parallelrechnern Leistungssteigerung um Factor 2,5 alle 18 Mo. Die Zugriffsgeschwindigkeit der Speicher verdoppelt sich aber nur alle le 10 Jahre! Die theoretisch mögliche Leistung,, die durch die Taktrate und die Anzahl der Recheneinheiten definiert wird, kann nie erreicht werden Deshalb: : Die leistungsfähigsten Systeme sind PCs 15 Jahre voraus,, und die Kluft wird größer. Leistungsbestimmend ist nicht die sondern das Design und die Nutzung des Speichersystems. C. Bischof Vorkurs Rechnerstrukturen Sept Ausblick in die Zukunft (vor dem Hintergrund der Meinung der Experten) (c. 1950) Thomas J. Watson: Only about six computers are needed worldwide (c. 1977) Seymour Cray: There are only about 100 potential customers worldwide for a Cray-1 (den ersten Supercomputer) (c. 1980) IBM study: Only about 50 Cray-class computers will be sold per year Realität: Manche Wohnhäuser haben jetzt sechs Rechner der Cray-1- Klasse! C. Bischof Vorkurs Rechnerstrukturen Sept

16 Wie schnell kann ein serieller Prozessor sein? 1 Tflop 1 TB sequential machine r = 0.3 mm Betrachte den seriellen Rechner, der 1 Tflop leistet: Daten müßen eine Entfernung,, r, vom Speicher zur überbrücken Um 1 Datenelement pro Zyklus zu erhalten, benötigen wir insgesamt Daten pro Sekunde, bestenfalls mit Lichtgeschwindigkeit,, c = 3* 10 8 m/s Also r < c/ = 0,3 mm Jetzt packe 1 TB Speicher in ein Quadrat von 0,3 mm Seitenlänge. Jedes Wort benötigt ungefähr 3 Angstroms 2, die Größe eines kleinen Atoms Parallelrechner sind eine technische Notwendigkeit C. Bischof Vorkurs Rechnerstrukturen Sept Entwicklung der Halbleiterfertigung Characteristic Feature size (micron) DRAM size (Mbit( Mbit) K RISC processor (MHz) Transistors (millions) Cost per transistor (cents/10 ) Zukünftige Hochleistungsrechner werden viele Prozessoren mit sehr tiefen Speicherhierarchien haben. Die Architektur wird ein Cluster von Prozessoren mit gemeinsamem Speicher (SMP-Knoten) sein C. Bischof Vorkurs Rechnerstrukturen Sept