Software Engineering für moderne, parallele Plattformen

Transkript

1 Software Engineering für moderne, parallele Plattformen Überblick IPD - Lehrstuhl für Programmiersysteme

2 Infobau, 3. OG, Zimmer 372 Tel: Sprechstunde: Über vereinbaren 2

3 Ziele und Inhalte der Vorlesung Ziele: Vermittlung von Konzepten, Methoden und Kontextwissen für die Entwicklung paralleler Software Programmierprinzipien aktueller paralleler Plattformen (insb. Multikernrechner) verstehen Inhalte Oberthema: Softwareentwicklung für Parallelrechner Ausgewählte Themen aus (überwiegend für Multicore-Architekturen mit gemeinsamen Speicher) Entwurf Implementierung Testen & Fehlerfindung Ergänzend: Fallstudien zu aktuellen Ansätzen im Bereich Parallelverarbeitung 3

4 Termine Klausur Wann: Montag, Uhr Wo: Redtenbacher Hörsaal, Geb Anmeldung: Über Link auf Web-Seite Darüber hinaus müssen Diplom-Studenten Ihren blauen Schein, auf dem die Vertiefungsfachprüfung vermerkt ist, beim Dozenten abgeben. Gerne auch Kopie des Prüfungsplans. Verwahrung von Unterlagen, Leistungsnachweisen: Sekretariat Prof. Tichy 4

5 Bezug zu anderen Lehrveranstaltungen Vorlesung ergänzt andere Lehrveranstaltungen im Bereich Parallelverarbeitung Vorlesung Multikern-Rechner und Rechnerbündel (Wintersemester) Vorlesung Praxis der Multikern-Programmierung: Werkzeuge, Modelle, Sprachen (jedes Semester) 5

6 Literatur (1) CRC Press ISBN-13:

7 Literatur (2) Parallele Programmierung, Thomas Rauber, Gudula Rünger, Springer Verlag, 2007 ISBN Parallel Programming, Wilkinson & Allen, Prentice Hall, 2004, ISBN Introduction to Parallel Computing, Ananth Grama et al., Addison Wesley, 2003, ISBN Patterns for Parallel Programming, Timothy G. Mattson et al., Addison-Wesley, 2004 ISBN Modern Multithreading, Richard C. Carver et al., Wiley, 2005, ISBN Concurrent Programming in Java, Doug Lea, Prentice Hall, 1999, ISBN Concurrency: State Models and Java Programs, 2nd Edition, Jeff Magee, Jeff Kramer, Wiley, 2006, ISBN: Parallel Programming in OpenMP, Rohit Chandra et al., Morgan Kaufmann, 2000 ISBN Using OpenMP, Barbara Chapman et al., The MIT Press, 2007, ISBN Cluster Computing, Heiko Bauke, Stefan Mertens, Springer 2005, ISBN

8 Literatur (3) Weitere Literaturangaben (Artikel, Konferenzbeiträge) werden als Bibtex-Datei zur Verfügung gestellt Zugriff auf PDFs bei ACM/IEEE aus dem Uni-Netz oder über VPN möglich 8

9 Software Engineering für moderne, parallele Plattformen 1. Einführung IPD - Lehrstuhl für Programmiersysteme

10 Agenda 1. Aktuelle Entwicklungen 2. Klassifikationskriterien für Parallelrechner 3. Architekturbeispiele für moderne, parallele Plattformen 4. Programmieransätze & Terminologie 5. Grundsätzliche Überlegungen Wann lohnt sich Parallelität? 10

11 Aktuelle Entwicklungen (1) Transistoren, Taktraten, Energie Power Wall Chips werden zu heiß Memory Wall Keine ausreichende Verbesserung der Speicherlatenz. Quelle: Fuller & Millter, Computing Performance: Game Over or Next Level?, IEEE Computer 41(1), Jan ILP Wall Parallelismus auf Instruktionsebene weitgehend ausgeschöpft (Begriffe: vgl. Berkeley Report) 11

12 Aktuelle Entwicklungen (2) Konsequenzen Ära der Leistungssteigerungen durch Erhöhen der Taktraten geht zu Ende Implizite Parallelität im Prozessor, z.b. durch Fließbandverarbeitung, dynamische Ablaufplanung, Abarbeitung mehrerer Befehle gleichzeitig (z.b. VLIW), reicht nicht mehr. Compiler-Optimierungen alleine reichen auch nicht Explizite parallele Programmierung unabdingbar Insbesondere auch auf höheren Abstraktionsebenen 12

13 Aktuelle Entwicklungen (3) Konsequenzen- Beispiele für parallele Plattformen Rechnerbündel (Cluster) besteht aus einer Menge von vollständigen Rechnern durch ein Kommunikationsnetzwerk verbunden kann wie ein einziger Rechner angesprochen und benutzt werden Multiprozessor-Rechner Ein Rechner mit mehreren Prozessoren, oft auf gleicher Hauptplatine eingebaut Prozessoren können andere Ressourcen (z.b. Hauptspeicher, Ein- /Ausgabe) gemeinsam nutzen Multikern-Prozessoren integrieren mehrere unabhängige CPUs auf einem Chip können z.b. gemeinsame Busse, Cache-Speicher haben Standard 13

14 Aktuelle Entwicklungen (4) Preisvergleich Multikernprozessoren Parallelverarbeitung nicht mehr nur in Nischen, sondern für jedermann erschwinglich Quelle: In-Stat Microprocessor Report, Mai

15 Klassifikationskriterien für Parallelrechner (1) Kontroll- & Datenfluss (Flynn) SISD: Single Instruction Stream, Single Data Stream (z.b. sequenzieller Prozessor) SIMD: Single Instruction Stream, Multiple Data Stream (z.b. Vektorrechner, Grafikkarte) MISD: Multiple Instruction Stream, Single Data Stream (z.b. systolischer Rechner) MIMD: Multiple Instruction Stream, Multiple Data Stream (z.b. Multiprozessorsysteme, Cluster, Multikernrechner) Organisation des physikalischen Speichers Verteilter Speicher Prozesse sehen nur eigenen Adressraum; Kommunikation über Nachrichtenaustausch (z.b. Cluster) Gemeinsamer Speicher Alle Prozesse können auf kompletten Adressraum zugreifen; Kommunikation über gemeinsamen Zugriff auf Speicherstellen (z.b. aktuelle Multikernrechner) Anmerkung Mischformen möglich Virtualisierung möglich (logische Prozesssicht auf gemeinsamen Speicher & Implementierung als verteilter Speicher + Zusatzschicht) 15

16 Klassifikationskriterien für Parallelrechner (2) Speicherzugriff Uniform Memory Access Gleich lange Zugriffszeiten auf Speicher für alle Prozessoren Non-Uniform Memory Access Zugriffszeit von Ort abhängig, z.b. lokale Adressen schneller erreichbar cache coherent NUMA Caches vorhanden; Cache- Kohärenz wird von Hardware sichergestellt Cache Only Memory Access Pro Knoten nur noch Cache- Speicher; verteilte Caches bilden gem. Speicher Adressraum Gemeinsam Getrennt Architektur zusammengeschalteter Rechner bzw. Recheneinheiten Homogen Speziallfall: Symmetric Multiprocessor (SMP) alle CPUs gleich; gleiche I/O Zugriffsmöglichkeiten; gleiche Sicht auf Gesamtsystem (z.b. einige Multikernprozessoren) Heterogen z.b. unterschiedliche Prozessoren, I/O- Möglichkeiten, etc. 16

17 Architekturbeispiele (1) Multikernprozessoren im Vergleich Doppelprozessor Intel Core Duo Core1 Core2 Bus 2 MB L2 Cache Quelle: Intel 17

18 Architekturbeispiele (2) Multikernprozessoren im Vergleich Dual-Core Prozessoren IBM Power5 AMD Opteron Intel Xeon Intel Montecito Chip Kern Cache Controller für Speicherzugriff Architekturen grob approximiert. Quelle: N. Aggarwal et al., Isolation in Commodity Multicore Processors IEEE Computer, 2007, 40,

19 Architekturbeispiele (3) Multikernprozessoren im Vergleich Quad-Core Prozessoren AMD Barcelona Quad-Core Intel Quad-Core Quelle: J. McGregor. The New X86 Landscape Microprocessor Report, 2007, 5,

20 Architekturbeispiele (4) Multikernprozessoren im Vergleich Sun Niagara (8 Kerne) P0 P1 P2 P3 P4 P5 P6 P7 L1 D1 L1 D1 L1 D1 L1 D1 L1 D1 L1 D1 L1 D1 L1 D1 L2 Mem ctrl DIM M Mem ctrl DIM M Mem ctrl Sun Niagara (16 Kerne) DIM M Mem ctrl DIM M einige Details: Niagara 3 Niagara 2 Datum Einführung Q2007 Taktfrequenz 1.6 GHz 1.4 GHz Niagara 1 4Q GHz Kerne Fäden/Kern Integer- Ausführungseinheiten 16 8 Gleitkomma- Ausführungseinheiten Quelle: L2 Cache 6 MB 4 MB 3 MB 20

21 Architekturbeispiele (5) Multikernprozessoren im Vergleich IBM Cell Broadband Engine Heterogene Architektur mit 2 Typen von Kernen 1 Power Processor Element (PPE): Systemfunktionen 8 Synergistic Processor Elements (SPEs): Rechnen (auch SIMD) Können selbst Speichertransfers initiieren SPEs SPU SPU SPU SPU SPU SPU SPU SPU Memory Flow Controller MFC MFC MFC MFC MFC MFC MFC MFC Element Interconnect Bus (EIB) (on chip) PPE L2 Cache 512 K L1 32K 21

22 Architekturbeispiele (5) Multikernprozessoren im Vergleich IBM Cell Broadband Engine Details zur Programmierung Jede Cell-BE-Anwendung besteht aus einem Prozess mit mehrere PPE- und SPE- Fäden, verteilt auf den jeweiligen Prozessoren Beim Start: Ein PPE Faden wird erzeugt. Dieser kann weitere Fäden erzeugen, die auf PPE oder SPE ausgeführt werden können. Beispiel: Summe aller Array-Elemente Aus: Gschwind,The Cell Broadband Engine: Exploiting Multiple Levels of Parallelism in a Chip Multiprocessor, IJPP, 2007 Auf PPE: Auf SPE: 22

23 Architekturbeispiele (6) Multikernprozessoren im Vergleich Intel Nehalem EX 8 Core 8 Kerne (16 Threads) 24 MB gemeinsamer L3 Cache Integrierte Speichercontroller 4 QuickPath Interconnect (QPI) Links bidirektionaler, 20 Bit breiter Bus für die Kommunikation zwischen CPU und Chipsatz löst Frontside Bus ab (Flaschenhals!) 2,3 Mrd. Transistoren (Quelle: April 2010) 23

24 Architekturbeispiele (7) Multikernprozessoren im Vergleich AMD Opteron 12 Core 12 Kerne 12 MB gemeinsamer L3 Cache Speichercontroller HyperTransport 3 (HT3) Konkurrenz-Technologie zu Intels QPI (Quelle: April 2010) 24

25 Architekturbeispiele (8) Multikernprozessoren im Vergleich Intels Single Chip Cloud Computer (48 Kerne) Quelle: UserFiles/en-us/File/terascale/ SCC_Sympossium_Feb212010_ FINAL-A.pdf

26 Architekturbeispiele (9) Multikernprozessoren im Vergleich Intels Single Chip Cloud Computer (48 Kerne) Quelle: UserFiles/en-us/File/terascale/ SCC_Sympossium_Feb212010_ FINAL-A.pdf

27 Architekturbeispiele (10) Multikernprozessoren im Vergleich Intels Single Chip Cloud Computer (48 Kerne) Quelle: UserFiles/en-us/File/terascale/ SCC_Sympossium_Feb212010_ FINAL-A.pdf

28 Architekturbeispiele (11) Multikernprozessoren im Vergleich Tilera Tile64 (64 Kerne) 64 homogene Kerne 750 MHz Cache: Insg. 5MB (auf Chip verteilt) Jedes Tile hat eigenen L1+L2 Cache 5 unabhängige Netzwerke: System + I/O Cache Misses, DMA Tile-to-Tile Speicherzugriff User-level Quelle: Tilera 28

29 Architekturbeispiele (12) Multikernprozessoren im Vergleich Cisco Metro (192 Kerne) 16 Gruppen zu je 12 Prozessoren Insgesamt: 192 Tensilica 250 MHz (2005) 29

30 Architekturbeispiele (13) Nvidia GeForce 8 Graphics Processing Unit Prozessor, je nach Modell ~ MHz, 32-Bit FPU, 1024 Register 128 Prozessoren insgesamt, jeder mit 96 Fäden in Hardware Insgesamt HW-Fäden! Faden-Verwaltung weitgehend automatisch 16 KB 30

31 Architekturbeispiele (14) Neuere Entwicklungen (Tafel) 31

32 Programmieransätze & Terminologie parallel [griechisch] allgemein: nebeneinander verlaufend, in gleichem Abstand [Brockhaus] Informatik: gleichzeitig ablaufend Anmerkung: In der Informatikliteratur wird manchmal zwischen nebenläufig (im Sinne von nicht kausal von einander abhängig ) und parallel (im Sinne von simultan ) unterschieden. Diese Unterscheidung werden wir an keiner Stelle brauchen und verwenden daher beide Begriffe synonym. 32

33 Programmieransätze & Terminologie Überblick Grundsätzlich zwei wichtige Programmieransätze Für Parallelrechner mit gemeinsamen Speicher Prozesse und Kontrollfäden (Threads) z.b. Anwendung bei Multikernrechnern Für Parallelrechner mit verteiltem Speicher Nachrichtenaustausch (Message Passing) z.b. Anwendung bei Rechnerbündel 33

34 Programmieransätze & Terminologie Parallelrechner mit gemeinsamen Speicher (1) Prozess Wird durch Betriebssystem erzeugt Enthält Informationen über Programmressourcen und Ausführungszustand, z.b. Prozess-ID Code-Segment (Programminstruktionen) Daten-Segment (für globale Variablen) Hält mind. 1 Kontrollfaden CPU-Kontextwechsel zwischen Prozessen teuer Kontrollfaden (Thread) Unabhängiger Instruktionsstrom, der ausgeführt werden kann Existiert in einem Prozess Ein Faden hat eigenen Befehlszeiger Keller-Zeiger Register-Kopien Teilt sich mit anderen Fäden Adressraum Code/Daten-Segment Andere Ressourcen (z.b. geöffnete Dateien, Sperren, etc.) CPU-Kontextwechsel billiger 34

35 Programmieransätze & Terminologie Parallelrechner mit gemeinsamen Speicher (2) Prinzipielles Vorgehen bei gemeinsamen Speicher Fäden enthalten parallel auszuführende Aufgaben (Instruktionen) Informationsaustausch über gemeinsam genutzte Variablen im Speicher Synchronisationskonstrukte koordinieren Ausführung im Falle von Datenoder Kontrollabhängigkeiten Fäden werden grundsätzlich vom Betriebssystem erzeugt und auf Prozessoren bzw. Cores verteilt Schnittstelle dazu meist in Programmiersprachen eingebaut oder über Bibliotheken (z.b. Pthreads, OpenMP) 35

36 Programmieransätze & Terminologie Parallelrechner mit verteiltem Speicher Prinzipielles Vorgehen bei verteiltem Speicher Prozesse erzeugen, die auf unterschiedlichen Rechnern ausgeführt werden können Prozesse können untereinander mit Send / Receive -Befehlen Nachrichten (z.b. berechnete Ergebnisse) verschicken Nachrichtenaustausch z.b. durch Bibliotheken realisiert Beispiel für standardisierte Schnittstelle: Message Passing Interface (MPI) Anmerkung: Prinzip kann ähnlich auch für gemeinsamen Speicher genutzt werden (z.b. Nachrichtenaustausch zwischen actors in Erlang) 36

37 Grundsätzliche Überlegungen Wann lohnt sich Parallelität? (1) Betrachten wir ein Programm mit einem sequentiellen Anteil, der sich nicht parallelisieren lässt und einem parallelisierbaren Rest, der gleichmäßig auf mehrere homogene Prozessoren (bzw. Kerne) aufgeteilt werden kann σ: Zeit für Ausführung des sequentiellen Teils π: Zeit für Ausführung des parallelen Teils Dann ist die Gesamtlaufzeit T(p) auf p Prozessoren (bzw. Cores): 37

38 Grundsätzliche Überlegungen Wann lohnt sich Parallelität? (2) Die Beschleunigung (Speedup) S(p) gibt an, um wieviel schneller das Programm mit p Prozessoren im Vergleich zur besten sequenziellen Ausführung wird: Idealfall: S(p) = p 38

39 Grundsätzliche Überlegungen Wann lohnt sich Parallelität? (3) - Gedankenexperiment Anweisungsblock mit Ausführungszeit parallelisierbar viele Cores ~ 0 Ausf.zeit viele Cores ~ 0 Ausf.zeit Seq. Ausführung: T(1): 500 Par. Ausführung: 500 Speedup 1 Seq. Ausführung: T(1): 500 Par. Ausführung: T(2): 400 Speedup 500/400= 1.25 Seq. Ausführung: T(1): 500 Par. Ausführung: T(n): 300 Speedup 500/300= 1.7 maximal 39

40 Grundsätzliche Überlegungen Wann lohnt sich Parallelität? (3) Betrachten wir relative Anteile Sei f der sequenzielle, d.h. nicht parallelisierbare Anteil: Mindestlaufzeit seq. Teil Mindestlaufzeit par. Teil T(1) Ein Prozessor: Mehrere Prozessoren: f * T(1) f * T(1) (1-f) * T(1) seq. Teil T(p) (1-f)/p * T(1) 40

41 Grundsätzliche Überlegungen Wann lohnt sich Parallelität? (4) Amdahls Gesetz: d.h., maximale Beschleunigung ist durch sequenziellen Anteil begrenzt 41

42 Grundsätzliche Überlegungen Wann lohnt sich Parallelität? (5) Betrachten wir zusätzlich Zeit T c für Kommunikation zw. Prozessoren σ π : Zeit für Ausführung des sequentiellen Teils : Zeit für Ausführung des parallelen Teils T c (p): Zeit, die durch Kommunikationsaufwand bedingt ist. Annahme: Lineare Zunahme mit der Anzahl der Prozessoren p Dann ist die Gesamtlaufzeit T(p) auf p Prozessoren (bzw. Cores): Weiterhin: Verhältnis zw. minimaler Kommunikationszeit und sequenzieller Rechenzeit wie viel mehr durch Kommunikation (Annahme: T C (2): Minimale Zeit, die Kommunikation überhaupt kosten kann) 42

43 Grundsätzliche Überlegungen Wann lohnt sich Parallelität? (6) Speedup unter Berücksichtigung von Kommunikation Keine Kommunikation mit sich selbst Zu beobachten: Für große p nimmt S(p) sogar ab Zu viel Parallelität kann kontraproduktiv sein Mit Kurvendiskussion Maximum bei: 43

44 Grundsätzliche Überlegungen Wann lohnt sich Parallelität? (7) Beispiel f = 0,03 r = 0,004 Idealer Speedup Speedup ohne Kommunikation Speedup mit Kommunikation p 44

45 Grundsätzliche Überlegungen Wann lohnt sich Parallelität? (8) Anmerkung: Die Speedup-Gleichung ohne Kommunikation kann verwendet werden, um den sequenziellen Anteil f eines parallelen Programms empirisch zu bestimmen. f sollte erwartungsgemäß konstant sein Vorgehen Löse nach f auf: Bestimme S(p)=T(1) / T(p) experimentell für mehrere p Berechne f f sollte unabhängig von p sein, wenn Verluste durch Kommunikation bzw. ungleiche Lastverteilung keine Rolle spielen Abhängigkeiten von f von p können z.b. auf Overhead durch Parallelität oder ungünstige Lastverteilung deuten vgl. auch A.H. Karp H.P Flatt, H. P., Measuring parallel processor performance Commun. ACM, ACM, 1990, 33,

46 Grundsätzliche Überlegungen Wann lohnt sich Parallelität? (10) Amdahls Ansatz besteht darin, Problem fester größer durch Parallelisierung schneller zu lösen Amdahls Gesetz scheint gegen hochgradig parallele Rechner zu sprechen Gustafsons Argument Mit leistungsfähigeren Rechnern werden auch größere Probleme bearbeitet Beispiel: Durch leistungsfähigere Grafikkarten steigt auch die Pixelauflösung oder Komplexität der Gegenstände in Computerspielen Grenzen zwar wieder vorhanden, aber auch zusätzliches Parallelisierungspotenzial Zur Diskussion Amdahl/Gustafson siehe Y. Shi, Reevaluating Amdahl's Law and Gustafson's Law,

47 Grundsätzliche Überlegungen Wann lohnt sich Parallelität? (11) Sonderfälle Anmerkung zu Sonderfällen Superlinearer Speedup In der Theorie nicht möglich, da jeder parallele Algorithmus, der ein Problem in Zeit T(p) mit p Prozessoren löst, im Prinzip durch einen sequenziellen Algorithmus in Zeit T(1)=p*T(p) simuliert werden kann. T(1) ist die Zeit, die der beste sequenzielle Algorithmus braucht D.h. Speedup = T(1)/T(p) = p*t(p) / T(p) = p In der Praxis jedoch aufgrund verschiedener Effekte beobachtbar Wie kann das sein? Zufall spielt eine Rolle 47

48 Grundsätzliche Überlegungen Wann lohnt sich Parallelität? (12) Sonderfälle Beispiel: Cache-Effekte als Grund für superlinearen Speedup Wenn durch Parallelisierung die Datenmenge pro Prozessor bzw. Kern kleiner wird, passen mehr Teile der Daten in jeden Cache Dadurch wird die Cache-Trefferquote im Vergleich zum Einzelprozessor erhöht Die Ausführungsgeschwindigkeit auf den einzelnen Prozessoren steigt dadurch, da häufiger lange Hauptspeicherzugriffe gespart werden (Voraussetzung: keine Kommunikationsverluste o.ä.) 48

49 Grundsätzliche Überlegungen Wann lohnt sich Parallelität? (13) Sonderfälle Beispiel zu Cache-Effekten CPU1 Problemgröße W Cache Hauptspeicher Annahme: Keine Kommunikation, Ergebnisse können getrennt berechnet werden CPU1 Problemgröße W/2 CPU2 Problemgröße W/2 Cache Cache Hauptspeicher Annahmen: Cache Hit Rate : 80% Zugriffszeit Cache : 2ns Zugriffszeit Hauptspeicher : 50ns Erwartungswert Zugriffszeit: 0,8*0,2ns+(1-0,8)*50ns = 11,6ns Programm macht 1 Mrd. Speicherzugriffe (und sonst nichts) Gesamtdauer T(1): 11,6s Mit 2 CPUs (bzw. 2 Kernen): Cache Hit Rate : 90% Zugriffszeit Cache : 2ns Zugriffszeit Hauptspeicher : 50ns Erwartungswert Zugriffszeit: 0,9*2ns+(1-0,9)*50ns = 6,8ns Programm macht nun pro CPU 500 Mio. Speicherzugriffe (Annahme: aufteilbar) Gesamtdauer T(2): 3,4s 49 Speedup T(1)/T(2) = 11,6s/3,4s = 3,4

50 Grundsätzliche Überlegungen Wann lohnt sich Parallelität? (14) Sonderfälle Superlinearer Speedup Beispiel Suchalgorithmen Sequenzielle Suche Teil-Suchraum 5*2s= 10s 4*2s Δt=1s nahe am Worst Case Wert gefunden nach 8s + 1s= 9s Parallele Suche mit 5 Prozessoren Wert gefunden nach 1s Speedup T(1)/T(5) = 9 Durch Zufallseffekt Δt=1s 50

51 Grundsätzliche Überlegungen Wann lohnt sich Parallelität? (14) Sonderfälle Superlinearer Speedup Beispiel Suchalgorithmen Sequenzielle Suche Teil-Suchraum 5*2s= 10s 4*2s Δt=1s nahe am Worst Case Wert gefunden nach 8s + 1s= 9s 51 Parallele Suche mit 5 Prozessoren Δt=1s Sonderfall 1) lim Δt 0 Speedup = Sonderfall 2) Im günstigsten Fall findet auch der sequenzielle Algorithmus den Wert im ersten Teil- Suchraum nach 1s. Dann Speedup T(1)/T(5) = 1 Aber: Durchschnittlicher Fall (beide finden Wert in der Mitte ): Zeit sequenziell: 5s, Zeit parallel =1s Speedup = 5 51

52 Grundsätzliche Überlegungen Wann lohnt sich Parallelität? (14) Sonderfälle Fazit Ein paralleles Programm muss nicht unbedingt fehlerhaft sein, wenn eine superlineare Beschleunigung beobachtet wird. 52

53 Grundsätzliche Überlegungen Weitere nützliche Maße Effizienz: gibt Anteil der Zeit an, die jeder Prozessor mit nützlicher Arbeit verbringt Idealfall: S(p)=p, also E=1 E<1 kann z.b. daher kommen, dass jeder Prozessor auf andere wartet oder Daten verschickt 53