Einführung in die Systemprogrammierung 02

Transkript

1 Einführung in die Systemprogrammierung 02 Prof. Dr. Christoph Reichenbach Fachbereich 12 / Institut für Informatik 1. Mai 2013

2 Eine Aufgabe aus der Praxis Gegeben ein bestimmtes Programm: Machen Sie dieses Programm schneller. Neue Hardware? Neuer Compiler? Neues Betriebssystem? Neues Laufzeitsystem? Optimierungen? Neue Hardware + Installation kostet oft weniger als Entwicklerzeit

3 Speedup Definition: speedup(a, B) = Benötigte Zeit für B Benötigte Zeit für A Beispiel: Festgesetzte Aufgabe System A benötigt 1h System B benötigt 2h Speedup von System A über System B ist 2. Speedup gibt an, wieviele Probleme A in der Zeit lösen kann, in der B eines löst.

4 Auswahl der neuen Hardware Prozessor RegBit Kerne ISA Taktfrq.... Oracle SPARC T SPARC V9 3,6 GHz AMD Piledriver FX x86/64 4,0 GHz Intel Xeon E3 1285v x86/64 3,6 GHz IBM Power PowerPC 4,2 GHz Samsung Exynos 5 Octa 32 8 ARM 1,2 Ghz Qualcomm Snapdragon ARM 2,3 Ghz ISA = Instruction Set Architecture = Befehlssatzarchitektur 2- Viele Unterscheidungskriterien!

5 Wie vergleichen wir die Prozessoren? Registergröße? Anzahl der Kerne? Befehlssatzarchitektur? Taktfrequenz? Andere Prozessoreigenschaften? Andere Eigenschaften des Systems? Meist sind viele Aspekte relevant

6 Mehr Prozessorkerne? Mehrere Berechnungen gleichzeitig: Jeder Kern hat eigene Register Kerne verwenden gleichen Speicher Programme müssen meist umgeschrieben werden, um zusätzliche Kerne zu nutzen

7 Prozessorkerne: Positives Beispiel Beispiel: Web-Suchmaschine Suchbegriffe sortierte Ergebnisse Ein Prozessorkern: Webseiten Ergebnisse Vier Prozessorkerne: Webseiten (1/4) Ergebnisse (1/4) Webseiten (2/4) Ergebnisse (2/4) Webseiten (3/4) Ergebnisse (3/4) Webseiten (4/4) Ergebnisse (4/4) Ergebnisse müssen noch kombiniert werden, aber das ist relativ wenig Aufwand.

8 Prozessorkerne: Negatives Beispiel Element in sortiertem Binärbaum suchen Pfad durch Wurzelknoten deterministisch vorgegeben: selbst mit Programm-Modifikationen schwer zu parallelisieren Zusätzliche Kerne sind hier u.u. nutzlos.

9 Höhere Taktfrequenz? Taktfrequenz ist die Anzahl der Taktzyklen pro Sekunde Jeder Maschinenbefehl benötigt eine bestimmte Anzahl von Taktzyklen Meist schnell: Logik, einfache Arithmetik Meist langsam: Division, Speicherzugriff Beispiel Blinkanlage: Annahme: 1 MHz-Prozessor Annahme: Jeder Befehl benötigt einen Taktzyklus Blinkprogramm 10 (und Wiederholung) Lampe wird Mal pro Sekunde an- und ausgeschaltet

10 Höhere Taktfrequenz? Nicht alle Operationen laufen in einem Taktzyklus ab. Beispiel SGI MIPS R10000 (1992): Operation Zyklen (32 Bit) Zyklen (64 Bit) Ganzzahl-Multiplikation 6 10 Ganze Zahl laden 2 2 Fließkommazahl laden 3 3 Fließkomma-Addition 2 2 Fließkomma-Multiplikation 2 2 Fließkomma-Division Fließkomma-Quadratwurzel 17 32

11 Taktfrequenz: Positives Beispiel Suche nach größtem gemeinsamem Teiler (ggt): { x x y, y mod x = 0 ggt(x, y) = ggt(x, z) x < y, (y mod x) = z, z > 0 Standardalgorithmus hängt nur von Prozessorgeschwindigkeit ab Eher seltene Situation in der Praxis

12 Taktfrequenz: Negatives Beispiel Webserver für statische Informationen: Erhält Anfrage aus Netzwerk Durchsucht Festplatte nach passender Datei Schickt Antwort über Netzwerk Aufwand primär bei: Festplatte Netzwerk Verbindung Prozessor/Geräte Prozessor nur periphär beteiligt

13 Andere Befehlssätze? Unterschiedliche Prozessoren haben verschiedene Befehlssatzarchitekturen: Speicherzugriffsmodus Adressierungsmodi Operandengrößen und -typen Operationen Kodierung der Operationen

14 Speicherzugriffsmodus Register/Speicher-Architektur Keine speziellen Ladebefehle Operationen können Speicher direkt adressieren Lade-Schreib-Architektur Strikt getrennt: Speicherbefehle Ladebefehle Andere Befehle mov $23, %eax (EAX := 23) add [%ebx], %eax (EAX := EAX +mem32[ebx]) x86, m68k, IBM 360, VAX uldl t0, 0(t2) (t0 := mem32[t2]) addl t0, 23, t0 (t0 := t0 + 23) Alpha, MIPS, PowerPC, SPARC, ARM

15 Adressierungsmodi Erlaubte Operanden in Instruktionen: Register ($t0,... ) add $s0, $t1, $t2 (MIPS) Direktoperanden (1, 2, 3,... ) addi $t0, $t0, 23 (MIPS) Speicheroperanden (mem32[%eax],... ) add [%ebx], %eax (x86) Distanzadressen: lw $t0, 0x100($t0) (MIPS, $t0 := mem32[0x100 + $t0]) mov 0x8(%edx, %ebx, 4), %eax (x86, %eax := mem32[0x8 + %edx + %ebx 4])

16 Operandengrößen und -Typen Operandengrößen: 4, 8, 9, 16, 24, 32, 36, 40, 64, 128 Bit Zahlen ohne Vorzeichen Zweierkomplementzahlen Einerkomplementzahlen IEEE 754-Fließkommazahlen VAX-Fließkommazahlen...

17 Operationen Speicher/Ladebefehle Sprung-/Verzweigungsbefehle Systembefehle Arithmetische und logische Befehle Spezialbefehle: Fließkommabefehle Vektorbefehle Präfixbefehle: REP MOVSB (x86) Wiederhole MOVSB eine bestimmte Zahl von Iterationen Bedingte Befehle (32-Bit ARM): MOVVS r0, r1 Kopiere r1 nach r0 falls letzte Arithmetikoperation einen Überlauf verursachte Sehr große Instruktionsworte (Very Large Instruction Words, VLIW) (IA-64)

18 Kodierung der Operationen $ hexdump -C hallo-welt.o b bf be 00 be f...f...h ba f 05 b8 3c bf 00...< f c 6c 6f 2c c a 00 e8 03 Hallo, Welt! Maschinensprache Maschinensprache Assembler (x86/64) 66 b mov 0x1,%ax 66 bf mov 0x1,%di 48 be d movabs 0x6000d8,%rsi ba mov 0x11,%edx 0f 05 syscall b8 3c mov 0x3c,%eax bf mov 0x0,%edi 0f 05 syscall Manche Befehlssätze haben Operationen mit variabler Länge

19 Befehlssätze: Positives Beispiel Numerische Simulationen: Naturwissenschaften: Simuliere Verhalten von physikalischen / chemischen / biologischen Systemen Basiert auf ungenauen Kommazahlen Fließkommaoperationen: Hardwareunterstützung zu diesem Zweck Schneller als Software-Emulation von Kommazahlen

20 Befehlssätze: Negatives Beispiel LISP-Maschine: dediziertes System, um LISP-Programme auszuführen Spezialisierte Unterstützung für: LISP-Typanalyse Automatische Speicherverwaltung Mehrere Generationen der Maschine Inzwischen entwickelten sich Allzweckrechner schneller: Größerer Markt, mehr Investitionen, mehr Wettbewerb Allzweckrechner holten LISP-Maschine ein

21 Andere Rechnerkomponenten DRAM-Speicher Flash-Speicher Festplatte Netzwerk Grafikchip Performanz realistischer Systeme hängt oft wesentlich von den Komponenten / Peripheriegeräten ab

22 Zusammenfassung: Performanz Hängt von vielen Faktoren ab Eigenschaften des Prozessors: Ohne Softwareunterstützung: Taktfrequenz Aber: Vorsicht vor dem Megahertz-Mythos : ein schneller getakteter Prozessor muß nicht schneller sein! Mit Softwareunterstützung Zusätzliche Kerne Spezial-Befehlssätze Andere Komponenten

23 Ahmdahls Gesetz Wert einer einzelnen Optimierung ist Speedup speedup = Laufzeit ohne Optimierung Laufzeit mit Optimierung Annahme: Eine-Komponente (Hardware/Software) nimmt k% der Gesamtlaufzeit Maximaler Speedup durch Optimierung: max. speedup = Laufzeit ohne Optimierung Laufzeit ohne Optimierungen * (1-k) = 1 1 k z.b.: Komponente braucht 20% Gesamtzeit, max. Speedup ist 1, 25 Messen Sie die Wichtigkeit einer Komponente, bevor Sie optimieren!

24 Performanzmessung Anwendung Benchmarkfolgen Synthetische Benchmarkfolgen (Unrealistisch) Kleine Programme (Unrealistisch) (Mikro)kernel (Unrealistisch) MIPS/FLOPS (Operationen pro Sekunde aber welche Operationen? Wie repräsentativ?)

25 Benchmarkfolgen Standardisierte Sammlungen von Programmen mit verschiedenen typischen Arbeitslasten Vorteile: Standardisierung erleichtert Vergleichbarkeit Verschiedene Arbeitslasten vermeiden Überspezialisierung (Mikrokernel, Kleine Programme) oder unrealistische (Synthetische Benchmarks) Nachteile: Arbeitslasten nicht immer repräsentativ Benchmarkfolgen müssen sich anpassen Beispiele: SPEC (Prozessoren, mit Fokus auf C) TPC (Datenbanken) DaCapo (Java-Anwendungen)

26 Ein Beispiel für Benchmarkergebnisse A B Markierungen der y-achse? Fehlerbalken? Einheiten? Wie wurde gemessen? Was wurde gemessen? Mittelwert? Median? Maximum? Minimum? Keine Aussagekraft

27 Vorüberlegungen: Benchmarkstrategien Benchmarks sollten: Genau definierten Unterschied messen Messung trifft Aussage über kombiniertes System schlecht: mehrere Komponenten wechseln Reproduzierbar sein Neue Messung bei neuen Komponenten schlecht: keine Automatisierung Mehrere Messungen haben, Verteilung berechnen Praxis: Messungen nicht deterministisch schlecht: weniger als 10 Messungen Häufige Annahme: Gaußsche Normalverteilung. Muß nicht stimmen, aber normalerweise besser als keine Verteilung.

28 Vorüberlegungen: Was wird gemessen? Meßbare Eigenschaften: Gesamtlaufzeit (wallclock time) Prozessorzeit CPI (durchschnittliche Taktzyklen pro Instruktion) bzw. IPC (durchschnittliche Instruktionen pro Taktzyklus) Zugriffe auf RAM/Betriebssystem/Festplatte/......

29 Vorüberlegungen: Was wird verglichen? Prozessoren Speicher Netzwerksysteme Übersetzer Bibliotheken Anwendungsprogramme Betriebssysteme...

30 Benchmarkfolgen zusammenfassen Programm Laufzeit System P A P 2 2 A P 1 80 B P 2 20 B Arithmetisches Mittel: System A System B Problem: Arithmetisches Mittel der Laufzeiten gewichtet langsamere Programme stärker

31 Benchmarkfolgen zusammenfassen: Normalisierung Normalisierung der Programmlaufzeiten gegen Baseline (Basislinie) Beispiel: SPECint (Prozessor-Benchmark): VAX 11/780 Speedup ist eine Form der Normalisierung Programm Laufzeit Speedup System P Baseline P Baseline P A P A P B P B Speedups sind Verhältnisse: System A 5 20 = 10 Geometrisches Mittel: System B 6 2 3, 46...

32 Der geometrische Mittelwert t(p k, M): Laufzeit von Programm P k auf System M t(p k,m) t(p k,baseline) : Speedup von Programm P k auf System M über Baseline Geometrischer Mittelwert: t(p µ g = n 1, Baseline)... t(p n, Baseline) t(p 1, A) t(p n, A) Geometrische Standardabweichung: σ g = e (ln( t(p k,baseline) t(p 1,M) ) ln(µg )) (ln( t(p k,baseline) t(pn,m) ) ln(µg )) 2 n

33 Vorteil des Geometrischen Mittelwertes n n = n t(p 1,Baseline)... t(pn,baseline) t(p 1,A) t(pn,a) t(p 1,Baseline)... t(pn,baseline) t(p 1,B) t(pn,b) t(p 1,Baseline)... t(pn,baseline) t(p 1,A) t(pn,a) t(p 1,Baseline)... t(pn,baseline) t(p 1,B) t(pn,b) = n t(p1,b) t(p 1,A)... t(pn,b) t(p n,a) Bei direktem Vergleich der geometrischen Mittelwerte von System A und B kürzt sich die Baseline heraus

34 Zusammenfassung: Benchmarks Ideale Messung: Laufzeit der gewünschten Anwendung in allen möglichen Konfigurationen Wenn nicht praktikabel: Repräsentative Benchmarkfolgen statt gewünschter Anwendung Minimale Änderungen zwischen Konfigurationen messen Analyse der Bedeutung der einzelnen Komponenten Benchmarkfolgen zusammenfassen: Geometrisches Mittel: t(p1,a) t(pn,a) t(p n,baseline) n... t(p 1,Baseline) Ahmdahls Gesetz: Das Optimieren einer Komponente beeinflußt das Gesamtsystem maximal so viel wie die Komponente selbst.

35 Geschwindigkeit und Taktfrequenz Transistoren MHz SPECint-Performanz Performanz wächst schneller als Taktfrequenz

36 Gründe für die Beschleunigung Mooresches Gesetz: Alle Monaten verdoppelt sich die Anzahl der Transistoren in integrierten Schaltkreisen Verwendung der neuen Transistoren: Pipelining Superskalare Befehlsausführung Caches (nächste Vorlesung) Ausführung außer der Reihe (out-of-order execution) Spekulative Ausführung

37 Pipeline-Ausführung Prozessor besteht aus mehreren Komponenten Komponenten werden nacheinander verwendet Beispiel hier: Einfacher MIPS-Prozessor PSp Reg ALU DSp Reg

38 Pipeline-Ausführung: Protagonisten PSp IL Instruktion laden Reg ID Instruktion dekodieren ALU AUS Arithmetische und logische Komponenten der Instruktion ausführen DSp DS Datenspeicherzugriff Reg RS Register mit Ergebnissen beschreiben

39 Pipeline-Ausführung: IL Instruktion laden Nächstes Programmwort (gemäß Programmzähler) aus Programmspeicher laden Programmzähler um 4 erhöhen PSp

40 Pipeline-Ausführung: ID Instruktion dekodieren Instruktion entschlüsseln Benötigte Registerinhalte laden (Register sind bei MIPS an festen Adressen im Maschinensprachebefehl) Vorzeichenerweiterung des Direktoperanden Geladene Register auf Gleichheit prüfen (für Sprung) Reg

41 Pipeline-Ausführung: AUS Instruktion ausführen (arithmetisch/logisch) Verknüpfung der Operatoren aus ID (Direktoperanden, Registerinhalte) Arithmetik z.b. auch Distanzadressen (lw 0x200($t3)) addieren Logische Operationen ALU: Arithmetisch-Logische Einheit (arithmetic-logic unit) ALU

42 Pipeline-Ausführung: DS Datenspeicher-Zugriff Berechnete Adresse verwenden: Ladebefehl: Aus Datenspeicher lesen Schreibbefehl: In Datenspeicher schreiben DSp

43 Pipeline-Ausführung: RS Rückschreiben in die Register Ergebnis zurück in Zielregister schreiben Reg

44 Traditionelle Ausführung [0000] addi $t0, $t0, 7 [0004] lw $t1, 0($s0) IL ID AUS DS RS PSp Reg ALU DSp Reg t=0 [0000] t=1 [0000] t=2 [0000] t=3 [0000] t=4 t=5 [0004] t=6 [0004] t=7 [0004] t=8 [0004] [0000]

45 Ausführung mit Pipelining [0000] addi $t0, $t0, 7 [0004] lw $t1, 0($s0) [000C] lw $t2, 4($s0) [0008] mul $s2, $s3, $s3 [0010] j loop IL ID AUS DS RS t=0 [0000] t=1 [0004] [0000] t=2 [0008] [0004] [0000] t=3 [000C] [0008] [0004] [0000] t=4 [0010] [000C] [0008] [0004] [0000] t=5 [0010] [000C] [0008] [0004] Effiziente Ausnutzung: Theoretisch Speedup bis zu 5 Praktisch: Weniger; schnellere Komponenten warten auf langsamere

46 Speicherarchitektur mit Pipelining Gleichzeitiger Zugriff auf Daten- und Programmspeicher: Benötigt Harvard-Architektur Moderne Rechner benötigen Flexibilität der von-neumann-architektur Lösung: modifizierte Harvard-Architektur: Gemeinsamer Hauptspeicher wird durch zwei separate Kanäle an Prozessor angebunden

47 Hazards [0000] addi $t0, $t0, 1 [0004] add $t1, $t0, $t1 Pipelining nicht möglich: [0004] benötigt $t0 nach [0000]! Hazard: Pipeline-parallele Ausführung durch Abhängigkeiten blockiert RAW hazard (read after write): Lesebefehl muß auf Schreibbefehl warten (s.o.) WAR hazard (write after read): Schreibbefehl muß auf Lesebefehl warten (Nur bei Systemen mit Schreibkomponente vor Lesekomponente) WAW hazard (write after write): Schreibbefehl muß auf Schreibbefehl warten (Nur bei Systemen mit mehreren Schreibe-Komponenten)

48 Pipeline-Blasen [0000] addi $t0, $t0, 1 [0004] add $t1, $t0, $t1 [000C] lw $t2, 0($s0) [000C] lw $t3, 4($s0) [0010] j loop IL ID AUS DS RS t=0 [0000] t=1 [0004] [0000] t=2 [0008] [0004] [0000] t=3 [0008] [0004] [0000] Änderung an $t0 wird in 0004 gelesen: Müssen warten! t=4 [0008] [0004] [0000] RS schreibt in 1. Hälfte des Zyklus, ID liest in 2. Hälfte t=5 [000C] [0008] [0004] t=6 [0010] [000C] [0008] [0004] t=7 [0010] [000C] [0008] [0004]

49 Durchreichen von Registern [0000] addi $t0, $t0, 1 [0004] add $t1, $t0, $t1 [000C] lw $t2, 0($s0) [000C] lw $t3, 4($s0) [0010] j loop Zwischenregister: Können Zwischenergebnisse durchreichen Durchreichen PSp Reg ALU DSp Reg IL ID AUS DS RS Keine Pipeline-Blase in diesem Beispiel!

50 Durchreichen von Registern: Grenzen Auch mit Durchreichen Verzögerungen möglich Beispiel: ALU hängt von Speicher ab [0000] lw $t0, 0($s0) [0004] add $t1, $t0, $t1 Durchreichen PSp Reg ALU DSp Reg IL ID AUS DS RS

51 Zusammenfassung: Daten-Hazards Daten-Abhängigkeiten zwischen Befehlen können zu Blasen in der Pipeline führen Teilweise Lösung durch: Zwischenregister Durchreichen von Daten Arten von Daten-Hazards: RAW, WAR, WAW Reihenfolge von Instruktionen hat oft Einfluß auf Performanz

52 Verzweigungen und Pipelining [0000] lw $t1, 0($s0) [0004] beqz $t0, ziel [0008] lw $t2, 4($s0) [000C] lw $t3, 8($s0) ziel: [0010] lw $t4, 12($s0) PSp Reg ALU DSp Reg IL ID AUS DS RS Was, wenn wir den Sprung nehmen?

53 Verzweigungen und Pipelining [0000] lw $t1, 0($s0) [0004] beqz $t0, ziel [0008] lw $t2, 4($s0) [000C] lw $t3, 8($s0) ziel: [0010] lw $t4, 12($s0) PSp Reg ALU DSp Reg IL ID AUS DS RS Operation [0008] wird geladen (IL), aber gleichzeitig stellt Operation [0004] in ID fest, daß wir springen müssen. Wir invalidieren Opertion Operation [0008], was eine Pipeline-Blase erzeugt. Blase durch Sprung!

54 Sprünge in der Pipeline Der Programmzähler wird in IL erhöht Sprung kann frühestens in ID stattfinden Wir haben die Wahl: Annehmen, daß wir den Sprung nicht nehmen: IL wie bisher von PC+4 Annehmen, daß der Sprung nehmen: IL von Sprungzieladresse Beides gibt einen Zyklus Blase, wenn wir falsch annehmen Mehrere Verbesserungen möglich: Statische Verzweigungsvorhersage Verzögerte Verzweigung Dynamische Verzweigungsvorhersage

55 Statische Verzweigungsvorhersage Hochsprachen-Übersetzer sagt voraus, ob Sprung stattfindet oder nicht Alle Verzweigungsoperationen haben zwei Varianten: Warhscheinlich (likely, z.b. bgtzl auf MIPS R4000) Unwahrscheinlich (z.b. bgtz auf MIPS R4000) Weniger effektiv als Alternativen

56 Verzögerte Verzweigung Änderung der Bedeutung der Verzweigungs- und Sprungbefehle: Der Befehl unmittelbar nach einem Verzweigungs-/Sprungbefehl wird immer ausgeführt. Beispiel: MIPS R10000 Vorteil: Effizient und einfach Nachteil: Nicht immer möglich, müssen evtl. nop (no-op, Operation ohne Wirkung) einführen [0000] lw $t1, 0($s0) [0004] beqz $t0, ziel [0008] lw $t2, 4($s0) [000C] lw $t3, 8($s0) ziel: [0010] lw $t4, 12($s0) Mit verzögerter Verzweigung wird die Operation an Adresse 0008 immer ausgeführt, egal ob die Verzweigung stattfindet oer nicht

57 Dynamische Verzweigungsvorhersage Prozessor erweitert um eine Verzweigungsvorhersagetabelle Tabelle merkt sich wenige (z.b. 4096) Einträge mit: (Teil der) Adresse des Sprungbefehls Wurde der Sprung genommen? Bei nächstem Sprung: letztes Ergebnis aus Tabelle verwenden Nachteil: Sprunghäufigkeit wird nicht berücksichtigt In der Praxis problematisch bei verschachtelten Schleifen

58 Dynamische Verzweigungsvorhersage: 2 Bit Heute übliches Verfahren: 2-Bit Vorhersage genommen 11 Vorhersage: Nehmen nicht genommen genommen 10 Vorhersage: Nehmen genommen nicht genommen 01 Vorhersage: Nicht Nehmen nicht genommen genommen 00 Vorhersage: Nicht Nehmen nicht genommen

59 Zusammenfassung: Kontrollfluß-Hazards Nicht sicher, ob Befehle unmittelbar hinter Verzweigungen ausgeführt werden oder nicht Pipeline-Verzögerung bei Fehlabschätzung Reduzierung der Verzweigungskosten: Statische Verzweigungsvorhersage Verzögerte Verzweigung Dynamische Verzweigungsvorhersage

60 Superskalare Ausführung Mehrere parallele Pipelines Zwischenregister reichen zwischen Pipelines hin und her [0000] [0004] [000C] [0008] Pipeline #0 Pipeline #1

61 Zusammenfassung: Pipelining und Hazards Pipelining (auch ILP, Instruction-Level Parallelism) kann mehrere Befehle gleichzeitig ausführen Mehrere Befehle in unterschiedlichen Phasen einer Pipeline möglich Mehrere Pipelines parallel: Superskalare Ausführung Hazards: Daten-Hazards: Datenabhängigkeiten zwischen Registern Kontrollfluß-Hazards: Unvorhersehbare Sprünge Strukturelle Hazards: Komponenten, die nicht auf Pipeline-Architektur ausgelegt sind

62 Nächste Woche: Mehr Performanz: Die Speicherhierarchie / Daten-Parallelismus