Rechnerstrukturen: VO, WS 2012/13 Teil 2 Kapitel 5 Kapitel 7

Transkript

1 Rechnerstrukturen: VO, WS 2012/13 Teil 2 Kapitel 5 Kapitel 7 Diese Ausarbeitung habe ich mithilfe der Vorlesungsfolien sowie der deutschen Fassung des Buches Computer Organization And Design von David A. Patterson und John L. Hennessy gemacht. Sie ist zwar sehr umfangreich, sollte aber meiner Meinung nach alle wichtigen Themen der Vorlesung behandeln. Trotzdem sind Fehler und Unvollständigkeiten möglich. Da ich die meisten Informationen aus dem Buch habe, bin ich aber zuversichtlich, dass das meiste stimmen sollte ;-) Allerdings habe ich nicht alles von den Folien ausgearbeitet. Vernachlässigt werden in dieser Ausarbeitung unter anderem Graphiken bzw. deren Erklärung (vgl. dazu besonders die Folien oder auch das Buch) Rechenbeispiele (vgl. dazu besonders die Folien oder auch das Buch) Kapitel 4 habe ich nicht vollständig ausgearbeitet (in diesem Kapitel befinden sich in den Folien auch einige Graphiken dazu also auch Folien + Buch vergleichen) Weitere Unvollständigkeiten sind möglich. Ich habe mit dieser Ausarbeitung jedenfalls für die Prüfung bei Prof. Grünbacher gelernt und eine Zwei bekommen :-) Autorin: Quellen: Michaela e @student.tuwien.ac.at Rechnerorganisation und Rechnerentwurf: Die Hardware/Software-Schnittstelle von David A. Patterson und John L. Hennessy Folien von Prof. Herbert Grünbacher 1

2 Chapter 5: Large and Fast Exploiting Memory Hierarchy Es gibt unterschiedliche Arten von Speichern: Static Random Access Memory (SRAM) o 0.5ns 2.5ns, $2000 $5000 per GB Dynamic Random Access Memory (DRAM) o 50ns 70ns, $20 $75 per GB Magnetic disk o 5ms 20ms, $0.20 $2 per GB Die Memory-Hierarchie Die Speicherhierarchie ist eine Struktur, die mehrere Speicherebenen verwendet; je größer die Distanz zur CPU wird, desto größer werden die Speicher und desto länger ist die Zugriffszeit. Man sollte das Prinzip der Lokalität ausnutzen, um dem User so viel Speicher wie verfügbar ist in der billigsten Technologie mit der Geschwindigkeit der schnellsten Technologie zur Verfügung zu stellen. 2

3 Geographische Distanzen (Vergleichsbeispiel aus dem Alltag) Das Prinzip der Lokalität Programme greifen zu einem bestimmten Zeitpunkt immer nur auf einen kleinen Teil ihres Adressraums zu. Anhand verschiedener Aspekte von Lokalität lassen sich Vermutungen aufstellen, welche Adressbereiche vermutlich (häufig, bald wieder, etc.) adressiert werden. Temporäre Lokalität (Temporal locality) o Items, die erst kürzlich adressiert wurden, werden wahrscheinlich bald wieder adressiert werden o z.b. Instructions in einer Schleife, induction variables (Variablen, die um einen fixen Wert erhöht oder gesenkt werden Räumliche Lokalität (Spatial locality) o Items, die nahe zu solchen liegen, die erst kürzlich adressiert wurden, werden wahrscheinlich auch bald adressiert o z.b. sequentieller Instruction Zugriff, Array-Daten Das Prinzip der Lokalität kann nun folgendermaßen vorteilhaft genutzt werden: eine Memory-Hierarchie aufbauen auf der Disk muss alles gespeichert werden die Items, auf die erst kürzlich zugegriffen wurde (und alle naheliegenden) werden von der Disk in den kleineren DRAM Memory kopiert Main memory die Items, deren Zugriff am wenigstens weit zurückliegt (und alle naheliegenden) werden vom DRAM in den kleineren SRAM Memory kopiert Cache memory (direkt bei der CPU) Ein Block (auch Zeile genannt) ist die kleinste Informationseinheit, die in der zweistufigen Hierarchie vorhanden oder nicht vorhanden sein kann. Ein Block kann aus mehreren Words bestehen. Wenn die Daten, auf die zugegriffen werden soll, im oberen Level vorhanden sind, spricht man von einem Hit. Die Hit Rate ist dabei die Trefferrate, also der Anteil der 3

4 Speicherzugriffe, bei denen der gesuchte Block in einer Ebene der Speicherhierarchie (z.b. in einem Cache) gefunden wird. (Hit Ratio = hits / accesses; ratio = Verhältnis, Anteil) Wenn die Daten, auf die zugegriffen werden soll, nicht vorhanden sind, spricht man von einem Miss. Die Miss Rate ist dabei die Fehlzugriffsrate, also der Anteil an Speicherzugriffen, bei denen der gesuchte Block nicht innerhalb einer Ebene der Speicherhierarchie gefunden wird. (Miss Ratio = misses / accesses = 1 hit ratio) Hat ein Miss stattgefunden, muss der gesuchte Block aus einem unteren Level in das höhere kopiert werden. Dann kann auf die Daten im höheren Level zugegriffen werden. Unter Hit Time (Zugriffszeit) versteht man die Zeit für den Zugriff auf eine Ebene der Speicherhierarchie, einschließlich der Zeit, die benötigt wird, um festzustellen, ob der Zugriff ein Treffer oder ein Fehlzugriff ist. Unter Miss Penalty (Fehlzugriffsaufwand) versteht man die Zeit, die benötigt wird, um einen Block von einer unteren Ebene in eine höhere Ebene der Speicherhierarchie zu laden. Diese beinhaltet die Zeit für die Übertragung und das Einfügen des Blocks in die höhere Ebene, auf der der Fehlzugriff stattgefunden hat, sowie die Zeit für den Zugriff auf den block durch den Prozessor. Der Cache Memory Der Cache Memory ist jener Level in der Speicherhierarchie, der der CPU am nächsten ist. 4

5 Direct Mapped Cache (Direkt abgebildeter Cache) Beim mapped cache wird jede Speicheradresse auf genau eine Position im Cache abgebildet. Die Adresse bestimmt dabei die Stelle im Cache. (Block Adresse) modulo (Anzahl der Blocks im Cache Die Anzahl der Blöcke ist ein Vielfaches von 2. Die untersten log 2 Bits werden für die Bestimmung der Adresse verwendet. d.h. ein 8-Blöcke großer Cache verwendet z.b. die untersten 3 Bits der Adresse. Doch wie weiß man jetzt, welcher Block wirklich an einer bestimmten Cache Position gespeichert ist? Anhand der Adresse kennen wir ja nur die untersten Bits. Um eine Lösung für dieses Problem zu finden, wir der Cache um eine Menge von Tags erweitert. Ein Tag ist ein Feld in einer Tabelle, die für eine Ebene der Speicherhierarchie verwendet wird. Dieses Feld enthält die Adressinformation, die man benötigt, um zu erkennen, ob der zugehörige Block in der entsprechenden Hierarchieebene einem angeforderten Wort entspricht. In diesem Fall enthalten die Tags die notwendige Adressinformationen, um zu erkennen, ob ein Wort im Cache dem angeforderten Wort entspricht. Der Tag muss nur den oberen Teil der Adresse enthalten, der den Bits entspricht, die nicht als Index für den Cache verwendet werden. Zusätzlich gibt es noch das Valid Bit (auch Gültigkeits-Bit). Das ist ein Feld in den Tabellen einer Speicherhierarchie, das angibt, ob der zugehörige Block gültige Daten enthält. Ist das Valid Bit = 1, bedeutet das, dass gültige Daten in diesem Block gespeichert sind. Ist es 0, sind keine gültigen Daten gespeichert. Der Default-Wert für dieses Bit ist 0. 5

6 Ein Cache Beispiel 8-Blocks, 1 Word pro Block, direct mapped Initial State (Anfangszustand) > > > 6

7 Beispiel: Large Block Size (Beispiel auch im Buch, S. 455, deutsche Version) Überlegungen zur Block-Größe Größere Blöcke sollten die Miss Rate verringern. Grund dafür ist die räumliche Lokalität (spatial locality) da die Blöcke größer sind, kann auch mehr Information in den Cache geladen werden. Allerdings führen große Blöcke dazu, dass weniger von ihnen im Cache Platz haben. Es kommt es zu einem stärkeren Wettbewerb und somit steigt die Miss Rate (in einem fixed size cache). Weiters steigt durch eine größere Blockgröße auch die Miss Penalty (Dauer, bis ein Block auch einer unteren Ebene nachgeladen wird und dann vom Prozessor verwendet werden kann). Grund dafür ist, dass das Laden größerer Blöcke natürlich länger dauert. Dieser negative Effekt könnte die Vorteile einer durch größere Blöcke reduzierten Miss Rate überwiegen. Cache Misses Findet ein Cache Hit statt, kann die CPU normal ihre Arbeit fortsetzen. Kommt es jedoch zu einem Cache Miss, muss die CPU Pipeline gestallt (abgedrosselt) werden. Der Block muss vom nächsten Level der Hierarchie geholt werden (fetch). Nach einem Instruction Cache Miss muss der Instruction Fetch erneut gestartet werden. Nach einem Data Cache Miss muss der Datenzugriff abgeschlossen werden. Schreibverfahren Daten, die im Cache existieren, sind natürlich auch in den Ebenen darunter gespeichert. Wenn nun Information im Cache verändert wird (on data-write hit), gibt es unterschiedliche Möglichkeiten, diese Information auch in den unteren Levels auf den aktuellen Stand zu bringen, damit der Cache und der Memory nicht inkonsistent sind. 7

8 Write-Through Bei einem Write-Through wird immer, wenn Information im Cache verändert wird, auch der Memory upgedated. Der Nachteil daran ist allerdings, dass Schreibzugriffe dadurch länger dauern. Eine Lösung dafür ist ein sogenannter write buffer. Dieser ist ein FIFO (first in first out) Puffer, der die Daten aufnimmt, die drauf warten, dass sie in den Speicher geschrieben werden. Die CPU kann sofort ihre Arbeit fortsetzen, die Daten werden aus dem write buffer nach und nach in den Speicher geschrieben. Zu einem Stall kommt es nur dann, wenn der write buffer bereits voll ist. Write(Copy)-Back Eine Alternative zur Write-Through-Technik ist Write(Copy)-Back. Dabei wird bei einem data-write hit nur der Block im Cache upgedated. Zusätzlich wird vermerkt, ob der Block verändert wurde (man sagt auch, der Blick ist dirty). In diesem Zusammenhang gibt es das dirty bit. Ist dieses gesetzt, also 1, zeigt es an, dass ein Block verändert wurde. Die veränderte Information wird erst dann in den Memory übernommen, wenn ein solcher dirty Block ausgetauscht wird. Auch hier kann ein write buffer verwendet werden. Dieser macht es möglich, dass der Block, der den dirty block ersetzt, zuerst gelesen werden kann. Write Allocation Wenn es zu einem write miss kommt, ist (in einem write-through Cache) die übliche Methode, einen Block im Cache zu reservieren. Das wird auch als write allocate bezeichnet. Der Block wird aus dem Speicher geladen, und dann wird der entsprechende Teil des Blocks überschrieben. Eine alternative Strategie ist es, den Teil des Bocks im Speicher zu aktualisieren, ihn aber nicht in den Cache zu stellen, auch als no write allocate bezeichnet. Die Motivvation für diese Schemata ist die Beobachtung, dass Programme manchmal ganze Datenblöcke schreiben, bevor sie diese lesen (z.b. bei der Initialisierung). Für einen write-back Cache ist es komplizierter, da hier Information im Cache verändert worden sein kann. Dadurch könnte es passieren, dass wir einen Block überschreiben, der nicht auf der nächst niedrigeren Speicherebene gesichert ist. Design des Speichersystems zur Unterstützung von Caches Cache-Fehlzugriffe werden aus dem Hauptspeicher bedient, der aus DRAM-Bausteinen aufgebaut ist. Es ist zwar schwierig, die Latenz (Verzögerung; latent: unsichtbar, versteckt, unterschwellig) zu reduzieren, die anfällt, bis das erste Wort aus dem Speicher geholt wird, aber die Miss Penalty (Fehlzugriffsaufwand) kann reduziert werden, in dem die Bandbreite vom Speicher zum Cache erhöht wird. Dadurch kann man größere Blöcke verwenden und trotzdem einen geringeren Fehlzugriffsaufwand haben. 8

9 Cache Leistung messen und verbessern Die CPU Time setzt sich aus verschiedenen Komponenten zusammen. aus den Programm Execution Cycles (Zyklen zur Programmausführung) o hier ist die hit time inkludiert aus den Memory Stall Cycles (Zyklen bei einer Verzögerung im Speicher) o die Stalls entstehen vor allem durch Cache Misses Für die Performance spielt auch die Hit Time eine wichtige Rolle. Die Average Memory Access Time (AMAT) lässt sich folgendermaßen berechnen: Associative Caches Bei assoziativen Caches lassen sich verschiedene Arten unterscheiden: Fully associative o ein Block kann hier an jeder belieben Position im Speicher platziert werden o wird ein Block gesucht, müssen auch alle Einträge durchsucht werden o ein Comparator für jeden Cache-Eintrag ist notwendig, was allerdings teuer ist n-way set associative o jedes Set im Cache enthält n Einträge o Die Blocknummer bestimmt, welches Set gewählt wird (Block Number) modulo (Anzahl der Sets im Cache) o Um einen Eintrag zu finden, müssen alle Einträge in einem Set durchsucht werden o es werden n Comparators benötigt, was weniger teuer ist Höhere Assoziativität verringert die Miss Rate. but with diminishing (vermindert) returns 9

10 Beispiel für einen assoziativen Cache 10

11 Replacement (Austausch) Richtlinien Im Direct Mapped Cache gibt es keine Auswahl, welcher Block ausgetauscht werden soll, da jeder Block nur an eine ganze bestimmte Position im Cache geladen werden kann. Im Set Associative Cache werden ungültige (non-valid) Einträge bevorzugt, falls es solche gibt. Ansonsten wird aus den Einträgen in einem Set ausgewählt. Ein Prinzip der Auswahl kann das Least-recently used Prinzip (LRU) sein. Dabei wird jener Block gewählt, auf den für die längste Zeit nicht mehr zugegriffen wurde. Ein weiteres Prinzip ist das Random Prinzip. Dabei wird ein beliebiger Block zum Austausch ausgewählt. Die Performance ist hierbei bei hoher Assoziativität die gleiche wie mit dem LRU Prinzip. Multilevel Caches Unter Multilevel Caches versteht man eine Speicherhierarchie mit mehreren Cache-Ebenen (statt der Verwendung nur eines Caches und eines Hauptspeichers). Um die Lücke zwischen den schnellen Taktraten moderner Prozessoren und der relativ langen Zugriffszeit auf DRAMs weiter zu schließen, unterstützen viele Mikroprozessoren eine zusätzliche Cache-Ebene. Dieser Cache auf zweiter Ebene, der sich normalerweise auf demselben Chip befindet, wird herangezogen, wenn im primären Cacche ein Fehlzugriff erfolgt. Wenn dieser sekundäre Cache die gewünschten Daten enthält, ist der Fehlzugriffsaufwand für den primären Cache im Wesentlichen die Zugriffszeit des sekundären Caches, was sehr viel kleiner sein kann als die Zugriffszeit auf den Hauptspeicher. Enthalten weder der primäre noch der sekundäre Cache die Daten, ist ein Hauptspeicherzugriff erforderlich und es entsteht ein höherer Fehlgriffsaufwand (miss penalty). Die beiden Caches unterscheiden sich. Der Primary Cache, der direkt bei der CPU ist, ist kleiner als ein gewöhnlicher Cache, dafür aber schneller. Die L-1 Block Size ist auch kleiner als die L-2 Block Size. Der Level-2 Cache (sekundärer Cache) soll bei Misses im primären Cache Vorteile bringen. Er ist größer als ein normaler Cache, dafür langsamer als der primäre Cache. Allerdings ist er immer noch schneller als der Hauptspeicher. Tritt auch im Level-2- Cache ein Miss auf, muss sich der Hauptspeicher darum kümmern. Manche Systeme haben sogar einen L-3 Cache. Die Cache-Struktur mit zwei Ebenen erlaubt, dass sich der Entwurf des primären Caches auf die Minimierung der Trefferzeit konzentriert, um einen kürzeren Taktzyklus oder weniger Pipeline-Stufen zu erzielen. Der Entwurf des sekundären Caches hingegen konzentriert sich auf die Miss Rat, um die Miss Penalty für lange Speicherzugriffe zu reduzieren. Der Fehlerzugriffsaufwand wird durch den sekundären Cache für den primären Cache deutlich reduziert. 11

12 Virtual Memory Der Hauptspeicher fungiert sozusagen als Cache für den Sekundärspeicher (die Disk). Programme teilen sich den Hauptspeicher. Dabei steht jedem Programm ein privater sogenannter virtueller Adressraum zur Verfügung, der häufig verwendeten Code und häufig verwendete Daten des Programms speichert. Jeder Adressraum jedes Programms muss vor fremden Zugriffen geschützt sein. Der Adressraum eines Programms teilt sich in sogenannte Pages auf, die alle eine fixe Größe haben. Die Start-Position jeder Page (im Main Memory oder im Secondary Memory) ist in der Page Table des Programms enthalten. Durch eine Kombination aus Hardware und Software kann eine virtuelle Adresse in eine physische Adresse übersetzt werden. Jede Anfrage an den Hauptspeicher benötigt also erst eine Übersetzung der Adresse vom virtuellen Adressraum in den physischen Adressraum. Ein Miss im virtuellen Memory wird page fault genannt. Page Fault Penalty Wenn es zu einem Page Fault kommt, muss die Page von der Disk geholt werden. Das benötigt Millionen von Clock Cycles und wird vom Betriebssystem gehandhabt. Man kann versuchen, die Page Fault Rate zu minimieren, indem man Fully Associative Placement im Speicher verwendet sowie gute Replacement Algorithmen verwendet. Page Tables Die Page Table speichert Informationen über die Platzierung von Pages. Sie ist ein Array von Einträgen, die über die virtuelle Page-Nummer indiziert werden. Das Page Table Register in der CPU zeigt auf die Page Table im virtuellen Speicher. Wenn die Page im Hauptspeicher präsent ist, wird die physische Page Nummer im Page Table Eintrag gespeichert. Zusätzlich gibt es noch ein Status Bit (referenced, dirty,...). Ein Reference Bit (auch Verwendungsbit) ist ein Feld, das gesetzt wird, wenn auf eine Seite zugegriffen wird, und das für die Implementierung des LRU-Algorithmus oder andere Austauschschemata verwendet wird. 12

13 Wenn eine Page im Hauptspeicher nicht präsent ist, wird im Page Table Eintrag auf eine Stelle im Swap Space auf der Disk referenziert. Wenn das Gültigkeit-Bit für eine virtuelle Page nicht gesetzt ist, tritt beim Zugriff ein Page Fault auf. Das Betriebssystem übernimmt daraufhin den Prozessor und muss nun die Page in der nächsten Ebene der Hierarchie finden (das ist normalerweise die Festplatte). Dann muss es entscheiden, wo die angeforderte Page im Hauptspeicher abgelegt werden soll. Die virtuelle Adresse allein lässt nicht unmittelbar erkenne, wo sich die Page auf der Festplatte befindet. Also müssen die Positionen der virtuellen Speicherseiten auf der Festplatte in unserem virtuellen Speichersystem verwaltet werden. Weil wir nicht im Voraus wissen, wann eine Seite im Speicher ersetzt wird, reserviert das Betriebssystem normalerweise bei der Prozesserzeugen für alle Seiten des Prozesses einen Platz auf der Festplatte. Dieser Platz auf der Festplatte wird als Swap Space (Austauschspeicher) bezeichnet. Zu diesem Zeitpunkt wird auch eine Datenstruktur angelegt, in der aufgezeichnet wird, wo auf der Festplatte die einzelnen virtuellen Pages abgelegt sind. Diese Datenstruktur kann Teil der Page Table sein, aber auch eine zusätzliche Datenstruktur die auf dieselbe Weise indiziert wird wie die Page Table. Das Betriebssystem erzeugt auch eine Datenstruktur, die verwaltet, welche Prozesse und welche virtuellen Adressen die verschiedenen physikalischen Seiten verwenden. Wenn ein Page Fault auftritt und alle Pages im Hauptspeicher genutzt werden, muss das Betriebssystem entscheiden, welche Pages ausgetauscht werden soll. Um Page Faults zu minimieren, versucht das Betriebssystem eine Page auszuwählen, die vermutlich nicht in nächster Zukunft gebraucht wird (LRU Austauschschema). Replacement und Writes Um die Page Fault Rate zu reduzieren, sollen vorzugsweise Pages ersetzt werden, die in letzter Zeit nicht oft gebraucht wurden. Das heißt, man soll dem LRU (Last Recently Used) Prinzip folgen. Um zu kennzeichnen, dass auf eine Page zugegriffen wird, gibt es das Reference Bit, das bei einem Zugriff auf die Page auf 1 gesetzt wird. Dieses Bit wird regelmäßig wieder auf 0 gesetzt durch das Betriebssystem. Eine Page, die ein Reference Bit = 0 hat, wurde in letzter Zeit nicht verwendet. Schreiben auf die Disk benötigt Millionen an Cycles. Write through ist dabei sehr unpraktisch. Daher wird Write Back verwendet. Im Page Table Entry wird das dirty bit auf 1 gesetzt, wenn eine Page geschrieben wurde. Schnelle Translation unter Verwendung einer TLB (Translation Lookaside Buffer) Weil die Page Tables im Hauptspeicher untergebracht sind, kann jeder Speicherzugriff durch ein Programm wenigstens doppelt so lang dauern: Ein Speicherzugriff, um die physikalische Adresse zu ermitteln, und ein zweiter, um die Daten zu erhalten. Der Schlüssel für die Verbesserung der Zugriffsleistung ist, die Lokalität des Zgriffs auf die Page Table zu nutzen. Wenn eine Übersetzung für eine virtuelle Page Number verwendet wird, wird sie vielleicht in naher Zukunft schon wieder genutzt (aufgrund der räumlichen und temporären Lokalität). Deshalb enthalten die meisten modernen Prozessoren einen speziellen 13

14 Cache, der die zuletzt verwendeten Übersetzungen enthält. Dieser spezielle Adressübersetzungs-Cache wird üblicherweise Translation-Lookaside Buffer bezeichnet. TLB Misses Wenn sich die Page bei einem TLB Miss im Hauptspeicher befindet, wird der Page Table Eintrag geladen und es erfolgt ein erneuter Versuch. Wenn sich die Page bei einem TLB Miss nicht im Speicher befindet (page fault!), muss sich das Betriebssystem darum kümmern. Die Page muss geladen werden und anschließend die Page Table upgedated. Dann muss die Instruction neu gestartet werden. Memory Protection Es kann sein, dass unterschiedliche Tasks Teile ihres virtuellen Adressraums teilen. Allerdings ist dabei ein Schutz erforderlich, dass es zu keinen Fehlern kommt. Dabei wird die Unterstützung des Betriebssystems benötigt. Für diesen Schutz durch das Betriebssystem wird Hardware Support bereitgestellt. Privilegierter Supervisor Modus (auch genannt: Kernel Modus) Privilegierte Instructions Auf Page Table und andere Statusinformationen kann nur im Supervisor Modus zugegriffen werden System Call Exception 14

15 Quellen für Misses Compulsory Misses (zwangsmäßige Misses, auch genannt: cold start misses) o der erste Zugriff auf einen Block Capacity Misses (Kapazitäts-Misses) o entstehen durch die begrenzte Cache-Größe Blöcke müssen immer wieder ersetzt werden o zu einem solchen Miss kommt es, wenn ein Block ersetzt wurde, der nun wieder gebraucht wird Conflict Misses (Konflikt Misses, auch genannt: Collision/Kollisions-Misses) o diese treten in einem non-fully associative Cache auf o entstehen durch den Wettbewerb, der bei den Einträgen in einem Set besteht o dieser Miss tritt in einem fully associative Cache nicht auf bei der selben Totalgröße 15

16 Chapter 6: Storage and Other I/O Topics I/O Geräte können nach unterschiedlichen Kriterien charakterisiert werden: Verhalten: Input (nur lesen), Output (nur schreiben, kann nicht gelesen werden), Speicherung (Storage; kann mehrfach gelesen und normalerweise auch mehrfach geschrieben werden) Partner: Mensch oder Maschine; stellt entweder Daten als Eingabe bereit oder möchte Daten von der Ausgabe lesen Data rate: Bytes/Sekunde, Transfer/Sekunde die höchste Geschwindigkeit, mit der Daten zwischen Ein-/Ausgabe-Gerät und dem Hauptspeicher oder dem Prozessor übertragen werden können Bei I/O Systemen ist die Systemstabilität bzw. Zuverlässigkeit sehr wichtig, ganz besonders für Speichergeräte. Auch über die Leistung machen wir uns Gedanken. Hier betrachten wir folgende Aspekte: Latency (die Response Time bzw. Antwortzeit) Throughput (Bandwidth) Bei Desktops und Embedded Systems ist man vor allem an einer guten Response Time interessiert sowie an einer Vielfalt an Geräten Bei Servern ist man vor allem am Durchsatz (Throughput) interessiert sowie an der Erweiterbarkeit der Geräte Maßgrößen für Systemstatibiltät/Zuverlässigkeit (Dependability) Ein wichtiger Aspekt bei der Dependability ist die Reliability (ebenfalls mit Zuverlässigkeit, Verlässlichkeit, Funktionssicherheit zu übersetzen). Ein Maß für die Reliability oder eben Zuverlässigkeit ist die Mean Time To Failure (MTTF). Damit ist die mittlere Zeit bis zum Ausfall eines Systems gemeint. Dienstunterbrechungen (Service Interruptions) werden als die mittlere Zeit bis zur Reparatur (Mean Time To Repair, MTTR) angegeben. Die mittlere Zeit zwischen Ausfällen wird Mean Time Between Failures (MTBF) genannt und ist einfach o die Summe aus MTTF + MTTR = MTBF Availability (Verfügbarkeit) ist ebenfalls ein Maß für die Dependability (im Buch übersetzt mit Dienst-Bereitstellung), im Hinblick auf den Wechsle zwischen den beiden Zuständen der Bereitstellung und der Unterbrechung. Die Verfügbarkeit lässt sich folgendermaßen berechnen: o MTTF / (MTTF + MTTR) 16

17 Um die Availability zu verbessern, kann man folgendes tun: die Mean Time To Failure (MTTF) erhöhen - Fehlervermeidung, Fehlertoleranz, Fehler-Forecasting die Mean Time To Repair (MTTR) reduzieren - fortgeschrittene Tools und Prozesse für Diagnose und Reparatur Magnetic Disks Eine Disk ist ein nicht-flüchtiger (non-volatile), rotierender magnetischer Speicher und wird auch Festplatte genannt. Man kann sich eine Festplatte als rotierende Scheibe mit magnetischer Oberfläche vorstellen, die einen beweglichen Lese-/Schreibkopf für den Zugriff auf diese Scheibe verwendet. Da der Festplattenspeicher nicht flüchtig ist, bleiben die Daten auch erhalten, wenn der Strom abgeschaltet wird. Eine Festplatte besteht aus mehreren Platten, die jeweils zwei beschreibbare Oberflächen aufweisen. Jede Oberfläche ist in konzentrische Kreise unterteilt, die sogenannten Tracks (Spuren). Davon gibt es ca bis pro Oberfläche. Jeder Track wiederum ist in Sektoren unterteilt, die die eigentliche Information aufnehmen. Pro Track gibt es ca. 100 bis 500 Sektoren. Zum Lesen und Schreiben müssen die Lese-/Schreibköpfe bewegt werden, sodass sie sich über der richtigen Position befinden. Die Lese-/Schreibköpfe der Festplatte sind miteinander verbunden, wodurch sie sich zusammen bewegen können, sodass jeder Kopf auf jeder Oberfläche über demselben Track steht. Die Tracks auf allen Oberflächen, die sich an einer bestimmten Position unter den Köpfen befinden, werden als Zylinder bezeichnet. Um auf Daten zuzugreifen, muss das Betriebssystem die Festplatte in drei Schritten ansteuern. Bevor es jedoch zu Schritt 1 kommt, kann es noch zu einer Warteverzögerung (queuing delay) kommen, wenn andere Zugriffe noch nicht erledigt wurden. Schritt 1: der Lese-/Schreibkopf wird über den richtigen Track gestellt. Diese Operation wird als Seek (Kopf-Positionierung) bezeichnet, und die Zeit für die Positionierung als Seek Time (Suchzeit). Schritt 2: Nun muss darauf gewartet werden, dass sich der richtige Sektor unter dem Lese-/Schreibkopf befindet. Die Zeit bis dahin wird als Rotation Latency (Umdrehungslatenz oder Umdrehungsverzögerung) bezeichnet. Schritt 3: Nun muss der gefundene Bitblock übertragen werden. Die Zeit, die dafür benötigt wird, nennen wir Transferrate. Ein Festplattencontroller übernimmt normalerweise die Steuerung der Festplatte sowie der Übertragung zwischen Festplatte und Speicher. Somit kommt bei der Festplattenzugriffszeit noch die Controllerzeit hinzu, das ist jener Aufwand, der durch den I/O-Zugriff des Controllers entsteht. In jedem Sektor ist folgende Information gespeichert: die Sektor ID die Daten (512 Bytes, 4096 Bytes proposed = vorhaben, vorschlagen?) Error Correction Code (ECC) 17

18 o wird verwendet, um Defekte und Recording Errors zu verbergen Synchronisationsfelder und Gaps Locality (Lokalität) und OS scheduling (Betriebssystem bestimmt, wann welcher Prozess wie lang und wann drankommen darf) führt zu kleineren durchschnittlichen Suchzeiten (seek times). Flash Storage Ein Flash Speicher ist ein nicht-flüchtiger (non-volatile) semiconductor (in eine Richtung leitend) Speicher. Er ist 100x 1000x schneller als eine Festplatte, außerdem kleiner, braucht weniger Strom und ist robuster. Allerdings ist er viel teuerer, kostet also mehr $/GB (liegt preislich ungefähr zwischen Disk und DRAM). Es gibt verschiedene Typen von Flash Speichern: NOR Flash: eine Bitzelle ist hier wie ein NOR Gatter o es findet ein Random Lese-/Schreibzugriff statt o wird für den Instruction Memory in eingebetteten Systemen verwendet NAND Flash: eine Bitzelle ist hier wie ein NAND Gatter o dichter (mehr Bits/Area), aber Block-at-a-time Zugriff o billiger pro GB o wird für USB Keys, Media Storage, etc. verwendet Flash Bits verbrauchen mit der Zeit (ca. nach 1000en von Zugriffen) - nicht geeignet für direkten RAM oder Disk Replacement - Lösung ist hier Wear Leveling (Verschleißausgleich): Daten von Blöcken, die schon häufig geschrieben wurden, werden auf weniger frequentierte Blöcke neu abgebildet. Verbindungen von Prozessoren, Speicher und I/O Devices In einem Computersystem müssen die verschiedenen Untersysteme Schnittstellen zueinander haben. Der Speicher und der Prozessor müssen miteinander kommunizieren können, ebenso wieder Prozessor und die I/O Geräte. Jahrelang wurde dafür ein Bus verwendet. Das ist eine gemeinsam genutzte Kommunikationsverbindung, die verschiedene Verdrahtungen verwendet, um mehrere Untersysteme zu verbinden. Die wichtigsten Vorteile des Busaufbaus sind seine Vielseitigkeit und die geringen Kosten. Da es nur ein einziges Verbindungsschema gibt, können neue Geräte leicht hinzugeführt werden. Ein Nachteil ist jedoch, dass ein Bus einen Kommunikationsengpass erzeugt, der unter Umständen den maximalen Ein-/Ausgabe-Durchsatz einschränkt. Eine Alternative sind high-speed serielle Verbindungen mit Switches (ähnlich einem Netzwerk). Es gibt unterschiedliche Typen von Bussen. 18

19 Processor-Memory Bus Ein Bus, der Prozessor und Speicher verbindet, und der kurz ist, im Allgemeinen hohe Geschwindigkeit aufweist und an das Speichersystem angepasst ist, um eine maximale Bandbreite zwischen Speicher und Prozessor zu bieten. I/O Bus Dieser Bus ist länger und erlaubt mehrere Verbindungen. Er ist mit dem Processor-Memory Bus über eine Brücke verbunden. Weitere Informationen zu Bussen: Data Lines Die Data Lines übertragen Adressen und Daten. Control Lines Die Control Lines geben Datentypen and und synchronisieren die Transaktionen (können z.b. Steuern, wann etwas übertragen wird, also damit die Geschwindigkeit der Übertragung, indem sie den Takt vorgeben; können auch die Richtung vorgeben, wie die Übertragung erfolgen sein; können angeben, ob das Senden erlaubt ist oder nicht; u.ä.) Synchroner Bus Ein Bus, der einen Takt in den Steuerleitungen (Control Lines) und ein diesem Takt entsprechendes, festes Kommunikationsprotokoll verwendet. Asynchroner Bus Verwendet statt eines Taktes ein Handshake-Protokoll für die Koordination der Benutzung; kann viele unterschiedliche Geräte mit unterschiedlichen Geschwindigkeiten bedienen. Handshake-Protokoll Eine Folge von Schritten für die Koordination asynchroner Busübertragungen, wobei der Sender und der Empfänger nur dann zum nächsten Schritt weitergehen, wenn beide Teilnehmer einig sind, dass der aktuelle Schritt abgeschlossen ist. I/O Management Input/Output wird durch das Betriebsystem ausgehandelt. Da viele Programme I/O Ressourcen teilen, wird Schutz (protection) und Scheduling (Ablaufplanung) benötigt. Weiters können I/O asynchrone Interrupts erzeugen (ähnlich wie Exceptions). Das Programmieren bei I/O ist sehr kniffelig. Daher stellt das Betriebssystem den Programmen Abstraktionen zur Verfügung. Es gibt eine eigene I/O Controller Hardware, die I/O Geräte managet. Diese sorgt für den Transfer von Daten von bzw. zu einem Gerät und synchronisiert die Operationen mit der Software. Weiters gibt es bestimmte Arten von Registern: Command Register o sorgen dafür, dass das Gerät etwas macht 19

20 Status Register o Machen deutlich, was das Gerät tut oder zeigen das Auftreten von Fehlern an Data Register o Write: transferieren Daten zu einem Gerät o Read: transferieren Daten von einem Gerät Um einem I/O Gerät einen Befehl zu geben, muss der Prozessor in der Lage sein, das Gerät anzusprechen und ein oder mehrere Befehlswörter zu übermitteln. Für die Addressierung des Geräts gibt es zwei Methoden: memory-mapped I/O (speicherabgebildete Ein-/Ausgsabe) und gerichtete I/O Anweisungen. Memory-mapped I/O, darunter versteht man ein Ein-/Ausgabe-Schema, wobei Teile des Adressraums den verschiedenen I/O Geräten zugeordnet werden und Lese- und Schreiboperationen für diese Adressen als Befehle für das jeweilige Ein-/Ausgabe-Gerät interpretiert werden. Es kann auch eigene Instructions geben, um I/O Register anzusprechen. (vgl. Foliensatz 6, Folie 20) Polling Beim Polling wird regelmäßig der Status eines I/O Geräts abgefragt, um festzustellen, wann das Gerät wieder bedient werden muss. Dabei werden die I/O Status Register gecheckt. Wenn das Gerät fertig ist, kann eine Operation ausgeführt werden. Wenn ein Fehler aufgetreten ist, muss eine entsprechende Aktion gesetzt werden. In kleinen oder low-performance Real Time Embedded Systems ist Polling üblich (vorhersehbares Timing und niedrige Hardware Kosten sind hierfür die Gründe). In anderen Systemen würde Polling jedoch nur unnötige CPU Zeit benötigen. Interrupts Die Interrupt-gesteuerte Ein-/Ausgabe ist ein I/O Schema, das Interrupts verwendet, um dem Prozessor anzuzeigen, dass ein I/O Gerät Aufmerksamkeit benötigt. Das Ganze funktioniert folgendermaßen: Wenn ein Gerät fertig ist oder ein Fehler auftritt, unterbricht der Controller die CPU. Ein Interrupt ist dabei wie eine Exception. Solche Interrupts sind nicht mit der Ausführung von Instructions synchronisiert. Der Interrupt ist keinem Befehl zugeordnet, daher verhindert er nicht, dass dieser vollständig ausgeführt wird. Die Steuereinheit des Prozessors muss vor dem Starten einer neuen Befehlsausführung also prüfen, ob ein I/O Interrupt ansteht. Wenn ein Interrupt auftritt, muss natürlich auch die Information übermittelt werden, welches Gerät in ausgelöst hat, also dessen Identität. Häufig gibt die Ursacheninformation Auskunft darüber, welches Gerät den Interrupt ausgelöst hat. Interrupts können unterschiedliche Prioritäten haben. Geräte, die dringender Aufmerksamkeit benötigen, bekommen somit eine höhere Priorität als andere. Solche Interrupts können dann den Handler für Interrupts mit niedrigerer Priorität wiederum unterbrechen. 20

21 I/O Data Transfer Bei Polling und interrupt-driven I/O o Diese Übertragungen lassen dem Prozessor die Aufgabe, die Daten zu verschieben und die Übertragung zu verwalten. Der Prozessor kann genutzt werden, um Daten zwischen einem Gerät und einem Speicher basierend auf Polling zu übertragen. Der Prozessor lädt Daten aus I/O-Geräteregistern in prozessorinterne Register und legt sie anschließend im Speicher ab. Alternativ kann die Übertragung von Daten interrupt-gesteuert sein. o Hier liegt das Interesse vor allem darin, die Kosten für den Geräte-Controller und die Schnittstelle gering zu halten und nicht, eine Übertragung mit hoher Bandbreite zu realisieren. Direkter Speicherzugriff (DMA, direct memory access) o Ein Mechanismus, der einem Geräte-Controller die Möglichkeit gibt, Daten direkt zum oder vom Speicher zu übertragen, ohne dass der Prozessor daran beteiligt ist. o Dieser Mechanismus nimmt die Last vom Prozessor und überlässt es dem Geräte-Controller, Daten direkt zum oder vom Speicher zu übertragen, ohne dass der Prozessor daran beteiligt ist. DMA wird mit einem speziellen Controller implementiert, sodass die Übertragung wirklich prozessorunabhängig ist. Der DMA-Controller wird zum Bus Master und leitet die Leseund Schreiboperationen zwischen sich und dem Speicher weiter. (Ein Bus Master ist eine Einheit auf dem Bus, die Bus-Anforderungen initiieren kann). Das OS stellt eine Startadresse im Memory zur Verfügung der I/O Controller transferiert eigenständig vom/zum Speicher bei Fertigstellung oder einem Fehler unterbricht der Controller den Prozessor DMA/Cache Interaction Wenn ein I/O System DMA unterstützt, hat dies Auswirkungen auf das Speichersystem und den Prozessor. Ohne DMA kommen alle Zugriffe auf das Speichersystem vom Prozessor und gehen über die Adressübersetzung und die Caches, als hätte der Prozessor die Speicheranforderung erzeugt. Mit DMA gibt es einen anderen Weg zum Speichersystem der nicht durch den Adressübersetzungsmechanismus oder die Cache-Hierarchie verläuft. Dieser Unterschied führt zu Problemen. Wenn DMA in einen Memory Block schreibt, der auch gecached ist, ist die gecachte Kopie nicht mehr aktuell (sie wird stale = veraltet, abgenutzt, verbraucht). Wenn ein write-back Cache einen dirty block hat und DMA einen Memory Block liest, werden veraltete (stale) Daten gelesen daher muss die Cache Kohärenz gewährleistet werden: o flush blocks from cache if they will be used for DMA (flush = durchspülen; Blöcke werden aus dem Cache genommen oder ersetzt (?) wenn sie für DMA verwendet werden) o andere Möglichkeit: Memory Locations für I/O verwenden, die nicht gecached werden können 21

22 DMA/VM (Virtual Memory) Interaction Sollte DMA in einem virtuellen Speichersystem mit virtuellen oder mit physikalischen Adressen arbeiten? Das Problem bei virtuellen Adressen ist, dass die DMA-Einheit die virtuellen Adressen in physikalische Adressen übersetzen muss. Da Speicherpositionen, an die übertragen wird, im virtuellen Speicher nicht unbedingt fortlaufend sind, müssten bei der Verwendung physikalischer Adressen alle DMA-Übertragungen auf eine Seite beschränkt werden. Um DMA-Übertragungen hier zu ermöglichen, die Seitengrenzen überschreiten, muss man DMA mit virtuellen Adressen arbeiten lassen. Die DMA-Einheit hat in einem solchen System eine kleine Anzahl von Abbildungseinträgen, die die Abbildung von virtuellen auf physische Adressen für eine Übertragung bereitstellen. Die DMA-Einheit muss sich nicht um die Position der an der Übertragung beteiligten Seiten kümmern. Eine weitere Technik des OS ist es, die DMA-Übertragungen in eine Folge von Übertragungen zu zerlegen, die alle auf eine einzige physikalische Seite begrenzt sind. Die Übertragungen werden dann verkettet und weitergegeben; die gesamte Folge muss verarbeitet werden. Während eine Übertragung stattfindet, darf keine Seite neu zugeordnet werden, die an der Übertragung beteiligt ist. I/O Performance messen I/O Performance hängt ab von: o Hardware: CPU, Memory, Controllers, Buses o Software: OS, Database Management System, Application o Workload (Arbeitslast): request rates (Anfragerate) und patterns (Muster) Das Design eines I/O Systems muss einen Ausgleich finden zwischen Response Time und Throuhput o das Ausmaß an Throughput kann oft über eingeschränkte Response Time beeinflusst werden Amdahl s Law Das Amdahlsche Gesetz (benannt 1967 nach Gene Amdahl) ist ein Modell in der Informatik über die Beschleunigung von Programmen durch parallele Ausführung. Nach Amdahl wird der Geschwindigkeitszuwachs vor allem durch den sequentiellen Anteil des Problems beschränkt, da sich dessen Ausführungszeit durch Parallelisierung nicht verringern lässt. Don t neglect (vernachlässigen) I/O performance as parallelism increases compute performance. 22

23 RAID RAID steht für Redundant Array of Inexpensive (Independent) Disks. Gemeint ist eine Anordnung von Festplatten, wobei ein Feld kleiner und billiger Festplatten verwendet wird, um sowohl die Leistung als auch die Zuverlässigkeit zu erhöhen. Es werden also anstelle einer großen Disk mehrere kleine Disks verwendet. Der Parallelismus erhöht die Performance. Zusätzlich gibt es eine bzw. mehrere Extra-Disks für redundantes Datenspeichern (redundant = überflüssig, oder: mehrfach vorhanden sein). Damit Festplattenausfälle (bei mehreren Festplatten) ohne Informationsverlust kompensiert (= entschädigt, gedeckt) werden können, wurde Redundanz eingeführt. Die Zuverlässigkeit wird erschwinglicher, wenn man ein redundantes Feld billiger Festplatten verwendet. Das führte eben zu den RAIDs. Diese stellen ein störfalltolerantes (fault tolerant) Speichersystem dar. Es gibt unterschiedliche Arten von RAIDs. RAID 0 In diesem Fall ist RAID mehr oder weniger eine Fehlbenennung, da es hier keine Redundanz gibt. ES werden jedoch Daten über mehrere Festplatten verteilt, was auch Striping genannt wird. Dabei erhält die Software den Eindruck, mit einer einzigen großen Festplatte zu arbeiten, was die Speicherverwaltung vereinfacht. Außerdem wird dadurch die Verarbeitungsleistung für größere Zugriffe verbessert, weil der Zugriff auf viele Festplatten gleichzeitig geschehen kann. Dadurch wird die Performance verbessert. RAID 1 (Mirroring) Als Spiegeln (mirroring) wird das Schreiben von identischen Daten auf mehrere Festplatten bezeichnet, um die Datenverfügbarkeit zu erhöhen. RAID 1 verwendet doppelt so viele Festplatten wie RAID 0. Immer, wenn Daten auf eine Festplatte geschrieben werden, werden sie gleichzeitig auch auf eine weitere redundante Festplatte geschrieben, sodass es immer zwei Kopien der Information gibt. Wenn eine Festplatte ausfällt, wechselt das System einfach zu der Spiegelplatte und liest den dort abgelegten Inhalt, um die gewünschte Information zu erhalten. Das Spiegeln ist die teuerste RAID-Lösung, weil dafür die meisten Festplatten erforderlich sind es werden N + N Festplatten benötigt. RAID 2 RAID 2 besitzt N + E Disks. Es nutzt ein Fehlererkennungs- und Fehlerkorrekturschema, das häufig für Speicher verwendet wird. Die Daten werden auf Bitlevel über N Disks gesplittet. Ein E-bit Error Correction Code (ECC) wird generiert. Allerdings wird RAID 2 nicht mehr verwendet. Es ist zu komplex. RAID 3: Bit-Interleaved Parity RAID 3 besitzt N + 1 Disks. Statt eine vollständige Kopie der Originaldaten für jede Festplatte anzulegen, brauchen wir nur genügend redundante Informationen, um bei einem Ausfall die verlorenen Informationen wiederherzustellen. Lese- oder Schreiboperationen gehen an alle Festplatten in der Gruppe, und es wird eine zusätzliche Festplatte verwendet, die 23

24 die Prüfinformation für den Fehlerfall enthält. RAID 3 ist beliebt für Anwendungen mit großen Datenmengen, beispielsweise Multimediaanwendungen und numerische Programme. Hier wird das Prinzip der bitweisen verschränkten (interleaved; ineinander verschachtelt) Parität (Gleichheit) verwendet. Ein Paritätsbit ergibt sich einfach als die Summe modulo 2, was gleicht durch eine XOR-Verknüpfung der zu Prüfungen Bits implementiert werden kann. Die redundanten Festplatten enthält die Paritätsbits über die Daten der anderen Festplatten. Wenn eine Festplatte ausfällt, können deren Dateninhalte durch eine XOR-Verknüpfung der Bits aus den funktionsfähigen Festplatten und der paritätsfestplatte wieder erstellt werden. Lesezugriff: alle Disks lesen Schreibzugriff: alle Disk updaten und Parität generieren Bei einem Fehler: Parität verwenden, um fehlende Daten wieder herzustellen nicht weit verbreitet RAID 4: Block-Interleaved Parity RAID 4 besitzt N + 1 Disks. Hier wird die Parität als Blöcke gespeichert und einer Menge von Datenblöcken zugeordnet. Lesezugriff: es wird nur die Disk gelesen, die den geforderten Block enthält Schreibzugriff: es wird nur die Disk gelesen, die den veränderten Block enthält, und die Parity Disk Bei einem Fehler: Parität verwenden, um fehlende Daten wieder herzustellen nicht weit verbreitet 24

25 RAID 5: Distributed Parity RAID 5 besitzt N + 1 Disks. Es ist ähnlich wie RAID 4, allerdings sind die Parity Blocks über Disk verteilt. Das verhindert, dass die Parity Disk zu einem Bottleneck wird. Schreiboperationen können parallel stattfinden, solange sich die Paritätsblöcke auf unterschiedlichen Festplatten befinden. weit verbreitet RAID 6: P + Q Redundanz RAID 6 besitzt N + 2 Disks. Wenn eine einzelne Fehlerkorrektur nicht ausreicht, kann die Parität verallgemeinert werden, sodass eine zweite Berechnung über die Daten erfolgt und eine weitere Prüfplatte benötigt wird. Dieser zweite Prüfblock erlaubt die Wiederherstellung nach einem zweiten Ausfall. Die Fehlertoleranz ist durch mehr Redundanz größer. RAID Zusammenfassung: RAID kann die Performance und Verfügbarkeit verbessern. Server Computer Es ist immer weiter verbreitet, dass Applikationen auf Servern laufen (Web Search, Office Apps, Virtual Worlds, etc.). Dafür werden sehr große Daten-Center-Server benötigt: viele Prozessoren, Netzwerkverbindungen, massive Speicher. Allerdings gibt es Platz- und Leistungseinschränkungen. 25

26 Chapter 7: Multicores, Multiprocessors und Clusters Eine Idee ist es, leistungsfähige Computer einfach durch das Zusammenschalten von kleineren Computern zu schaffen. Das soll die Performance erhöhen. Diese Vision ist der Ursprung der Multiprozessoren. Multiprozessoren sind parallele Prozessoren mit einem einzigen, gemeinsam genutzten Adressraum. Sie müssen skalierbar sein (d.h. man kann eine unterschiedliche Anzahl von ihnen einsetzen). Hardware und Software werden so entsprechend entworfen, dass sie mit einer variablen Anzahl von Prozessoren eingesetzt werden können. Multiprozessoren führen auch zu einer effizienteren Leistungsnutzung, da große, ineffiziente Prozessoren durch kleinere, effizientere ersetzt werden. Dieser Austausch kann eine bessere Leistung pro Watt oder pro Joule bieten. Die Skalierbarkeit von Software führt dazu, dass Multiprozessoren den Betrieb auch bei defekter Hardware noch aufrecht erhalten können, d.h. wenn in einem Multiprozessor mit n Prozessoren ein Prozessor ausfällt, läuft das System mit n-1 Prozessoren weiter. Damit können Multiprozessoren auch die Verfügbarkeit verbessern. Unter Job-Level oder Prozess-Level Parallelismus (Parallelität auf Aufgaben- bzw. Prozessebene) versteht man den Einsatz mehrerer Prozessoren zur gleichzeitigen Ausführung voneinander unabhängiger Programme. Das bietet einen hohen Throughput für diese Programme. Unter einem parallel processing program (parallel arbeitendes Programm) versteht man ein einzelnes Programm, das auf mehreren Prozessoren gleichzeitig ausgeführt werden kann. Unter einem Multicore Microprocessor (Multikernprozessor) versteht man einen Mikroprozessor, der mehrere Prozessoren (so genannte Kerne oder Cores) in einer einzigen Schaltung beinhaltet. Unter einem Cluster versteht man mehrere Rechner, die über ein lokales Netzwerk (LAN) miteinander verbunden sind, und die sich wie ein einziger großer Multiprozessor verhalten. Nebenläufige Software kann auf serieller Hardware ausgeführt werden sowie auf paralleler Hardware. Ebenso kann sequentielle Software sowohl auf serieller als auch auf paralleler Hardware ausgeführt werden. Software sequenziell nebenläufig Hardware seriell parallel Matrixmultiplikation in MatLab, aufgesetzt auf einen Intel Pentium 4 Matrixmultiplikation in MatLab, aufgesetzt auf einem Intel Xeon e5345 (Clovertown) Windows Vista, aufgesetzt auf einem Intel Pentium 4 Windows Vista, aufgesetzt auf einem Intel Xeon e5345 (Clovertown) 26

27 Es gibt keine klare Vorstellung davon, wie man am besten für Multiprozessoren programmieren sollte. Ein einziger Core kann aufgrund der Power Wall jedenfalls nicht weiter skaliert werden. Die Schwierigkeit beim Parallelismus ist nicht die Hardware, sondern dass zu wenige wichtige Anwendungsprogramme für die Ausführung auf Multiprozessoren umgeschrieben wurden. Es ist schwierig, Software zu schreiben, die mehrere Prozessoren nutzt, um eine Aufgabe schneller zu machen, und das Ganze wird noch schlimmer, wenn die Anzahl der Prozessoren zunimmt. Der Grund, warum es so schwierig ist: Mit einem parallelen Programm muss man auf einem Multiprozessor gute Leistung und Kosteneffizienz erzielen, da man sonst gleich einen Einzelprozessor verwenden könnte, weil das für die Programmierung einfacher ist. Tatsächlich können Entwurfstechniken für Einzelprozessoren die Parallelität auf der Befehlsebenen nutzen, ohne dass der Programmierer eingreifen muss. Das reduziert die Bereitschaft, Programme extra umzuschreiben. Um mehrere Prozessoren erfolgreich zu nutzen, muss die Aufgabe in gleich große Teile zerlegt werden, damit kein untätiges Warten entsteht. Auch soll nicht zu viel Zeit auf Kommunikation untereinander verwendet werden (vgl. Reporterbeispiel im Buch mehrere Reporter sollen an einem Artikel arbeiten). Wichtig ist es also, sich um Folgendes zu kümmern bzw. zu beachten und eine Lösung dafür zu finden: - Scheduling (Ablaufplanung) - Lastausgleich - für Synchronisierung aufgewendete Zeit - Zusatzaufwand für Kommunikation Forschungen seit 1960 Es wurde nach der geeigneten Computersprache gesucht, um Programme auf Multiprozessoren auszurichten. Dabei gab es verschiedene Entwicklungen, aber keine schaffte es so schnell, effizient und flexibel wie die traditionellen sequentiellen Sprachen. An einem richtigen Hardware Design für diese Problemstellung ist bis jetzt jeder gescheitert. Weiters gibt es Forschungen im Bereich von Software, die sequentielle Programme automatisch parallelisieren sollen. Fortschritte Es ist leichter ein Programm zu parallelisieren, das mehrere Benutzer bewältigt, die dieselbe Aufgabe ausführen, als ein Programm, dass eine komplizierte Aufgabe eines einzelnen Benutzers bewältigen muss inherent (innewohnend) task-level parallelism Computergraphiken (animierte Videos, Special-Effects): individuelle Szenen, die parallel berechnet werden. Die GPU (Graphic Processing Unit) beinhaltet dafür hunderte von Prozessoren, wobei jeder einen kleinen Teil des Renderings eines Images meistert data-level parallelism Zu data-level parallelism zählt auch Scientific Computing (wissenschaftliches Computing) so wie Wetter, Crash Simulationen, etc. 27

28 Paralleles Programmieren Parallele Software ist ein Problem, da man wirklich eine signifikante Performance- Verbesserung erzielen muss. Ansonsten könnte man einfach einen schnelleren Uniprocessor ( nur ein Prozessor) verwenden, da dafür leichter zu programmieren ist. Folgende Schwierigkeiten bestehen: - Aufteilung, Lastenausgleich - Koordination, Synchronisation - Zeitaufwand (bzw. Overhead) durch Kommunikation - Sequentielle Abhängigkeiten Amdahl s Law Strong Scaling (Starke Skalierung), darunter versteht man die auf einem Multiprozessor erzielte Beschleunigung ohne Vergrößerung der Aufgabenstellung. Weak Scaling (Schwache Skalierung), darunter versteht man die auf einem Multiprozessor erzielte Beschleunigung bei proportional zur Anzahl der Prozessoren erfolgte Vergrößerung der Aufgabenstellung. Die Erzielung einer Beschleunigung auf einem Multiprozessor bei fester Aufgabengröße ist schwieriger, als eine gute Beschleunigung zu erzielen, wenn man die Dimension der Aufgabenstellung vergrößert. Dazu ein paar Beispiele: 28

29 (Annahme ist, dass die Last über die Prozessoren gut ausbalanciert werden kann) (Annahme ist, dass die Last balanciert wurde) Shared Memory Unter SMP (Shared Memory Multiprocessor, Multiprozessor mit gemeinsam genutztem Speicher) versteht man einen Multiprozessor mit einem einzigen Adressraum, was einer impliziten (innewohnend) Kommunikation mit Laden und Speichern entspricht. 29

30 Allen Prozessoren wird also nur ein einziger physikalischer Adressraum zur Verfügung gestellt. Prozessoren kommunizieren über gemeinsam genutzte Variablen im Speicher, wobei alle Prozessoren in der Lage sind, ladend und speichern auf alle Speicherpositionen zuzugreifen. Da parallel arbeitende Prozessoren Daten normalerweise gemeinsam nutzen, müssen sie sich bei der Arbeit an solchen Daten auch koordinieren. Andernfalls könnte ein Prozessor anfangen, mit den Daten zu arbeiten, bevor ein anderer damit fertig ist. Diese Koordination wird als Synchronisierung bezeichnet. Wenn die gemeinsame Nutzung durch einen einigen Adressraum unterstützt wird, muss es separate Mechanismen für die Synchronisierung geben. Ein Ansatz verwendet sogenannte Locks (Sperren) für eine gemeinsam genutzte Variable. Es kann jeweils nur ein Prozessor auf diesen Lock zugreifen, und andere Prozessoren, die auf die gemeinsam genutzten Daten zugreifen sollen, müssen warten, bis der erste Prozessor den Lock für die Variable aufhebt. Bei der Speicherzugriffszeit unterscheidet man zwischen UMA-Multiprozessoren und NUMA-Multiprozessoren. Bei UMA-Multiprozessoren (Uniform Memory Access) wird für den Zugriff auf den Hauptspeicher für alle Prozessoren gleich viel Zeit benötigt, unabhängig davon, auf welches Wort zugegriffen wird. NUMA-Multiprozessoren stehen dann für Non- Uniform Memory Access. Ihre Programmierung ist sehr viel schwieriger, dafür können sie größer ausgelegt werden und sie können eine geringere Latenz (Laufzeit eines Signals in einem technischen System) zum nahe gelegenen Speicher haben. Message Passing Der alternative Ansatz, einen Adressraum gemeinsam zu nutzen, ist, dass jeder Prozessor seinen eigenen privaten physischen Adressraum hat. Dieser alternative Multiprozessor muss über einen expliziten Nachrichtenaustausch erfolgen, womit traditionell auch solche Computer bezeichnet werden. Unter Nachrichtenaustausch versteht man hier die Kommunikation zwischen mehreren Prozessoren durch das explizite Senden und Empfangen von Informationen. Es werden Routinen zum Senden und Empfangen von Nachrichten benötigt. Eine Routine zum Senden von Nachrichten wird von einem Prozessor genutzt, um eine Nachricht an einen anderen Prozessor weiterzugeben. Eine Routine zum Empfangen von Nachrichten wird von einem Prozessor genutzt, um Nachrichten von einem anderen Prozessor entgegenzunehmen. Die Koordination ist in den Nachrichtenaustausch eingebunden. Ein Prozessor weiß, wann eine Nachricht gesendet wird, und der empfangende Prozessor weiß, wann eine Nachricht ankommt. Wenn der Sender eine Bestätigung benötigt, dass die Nachricht angekommen ist, kann der empfangende Prozessor eine Bestätigungsnachricht zurück an den Sender schicken. 30