Experimente. Zahlenbeispiel. Cache-Optimale Algorithmen. Warum Funktionieren Caches? Cache-Oblivious Speichermodell. Characterisierung von Caches

Transkript

1 M=10 9, B=10 6 Zahlenbeispiel Für c=1/7 folgt daraus Experimente 20 Millionen Operationen auf Priority Queue mit verschiedenen Implementierungen Datenstrukturen ohne Rücksicht auf Paging-Effekte (Fibonacci Heaps u.s.w.) brechen total ein Externe Radix Heaps am Besten, aber funktionieren nur wenn Schlüssel der mit Del_Min entfernten Elemente monoton fallen Externe Array heaps fast 9 mal schneller bei Del_Min aber Faktor 10 langsamer bei Insert L = Cache-Optimale Algorithmen Cache zwischen Arbeitsspeicher und Prozessor Beinhaltet Kopie von kleinem Teil des Arbeitsspeichers Daten im Cache können vom Prozessor ohne Zeitverzögerung verarbeitet werden (Cache Hit) Benötigte Daten nicht im Cach: müssen aus Hauptspeicher geladen werden (Cache Miss) 100 Mal langsamer als Cache Prozessor muss warten Warum Funktionieren Caches? Zeitliche Lokalität: Gleicher Bereich des Speichers wird von Programm innerhalb kurzer Zeit mehrmals benötigt Oft benötigte Daten schon vorher in Cache geladen und sind noch drin Örtliche Lokalität: Speicherbereiche die Programm benötigt liegen im Speicher nahe beieinander Daten werden Blockweise in Cache geladen Weniger loads nötig 3 4 Characterisierung von Caches Seitengröße C: Anzahl Bytes pro Seite (Block) des Cache Kapazität Z: Gesamtkapazität in Bytes Vielfaches von C Ein Load transferiert C Bytes vom Hauptspeicher zum Cache Ähnliche Situation wie bei Externspeicher Lösungsstrategien von Externspeicher funktionieren prinzipiell auch Cache-Oblivious Speichermodell In modernen Computern mehrere Speicherschichten Register L1 Cache L2 Cache Arbeitsspeicher Externspeicher Brauchen universell anwendbares Modell 5 6

2 Cache-Oblivious Speichermodell Unabhängig von Anzahl der Speicher- Ebenen Seitengrößen und Speichergrößen werden als unbekannt angenommen Algorithmen die für CO-Modell optimiert wurden funktionieren unabhängig von tatsächlicher Speicherhierarchie Portabilität der Algorithmen auf beliebige Systeme Ideales Cache-Modell von Frigo et al. Cache: Z Bytes Hauptspeicher: Bytes Cache Zeile: L Bytes Zeile kann in einem Schritt von/zum Hauptspeicher bewegt werden Annahme: Cache ist hoch 7 8 Ideales Cache-Modell von Frigo et al. Idealer Cache: Ersetzt jeweils die Zeile im Cache deren nächster Zugriff am weitesten in der Zukunft liegt Parameter der Algorithmenanalyse: 1. Anzahl CPU-Operationen im RAM-Modell 2. Cache-Komplexität: Anzahl Cache Misses abhängig von Z und L Ideales Cache-Modell von Frigo et al. Cache-Aware Algorithmus: Verhalten abhängig von Z und L Cache-Oblivious Algorithmus: Verhalten unabhängig von Z und L Cache-Oblivious Algorithmus optimal für Hierarchie mit 2 Ebenen Algorithmus auch optimal bei mehreren Ebenen 9 10 Beispiel Matrix-Multiplikation Cache-Aware Algorithmus Eingabe: Zwei N N Matrizen A und B Ausgabe: N N Matrix C mit Annahme: N sehr viel größer als L 11 12

3 Wahl von s Wählen s so, dass MULT komplett im Cache ausgeführt werden kann Parameter s muss klein genug sein, damit 3 Matrizen mit Größe s s in den Cache passen Wahl von s Anzahl Cache-Zeilen, die von s s Untermatrix besetzt sind: Haben angenommen: Also gilt: Worst Case Cache Misses bei Aufruf MULT: Gesamte Cache-Komplexität Komplette Matrix muss eingelesen werden Es gibt 3 geschachtelte Schleifen die n/s Mal durchlaufen werden In jeder Schleife 2 s s Matrizen multiplizieren Cache-Oblivious Algorithmus Wollen m n Matrix A mit n p Matrix B Multiplizieren Algorithmus soll unabhängig von Cache-Parametern sein Algorithmus ist rekursiv Folgt Teile und Herrsche Prinzip Fall1: m max{n,p} Fall 2: n max{m,p} Spalte Matrix A horizontal in Matrizen A 1 und A 2 A 1 hat dm/2e Zeilen A 2 hat bm/2c Zeilen Aufrufe A 1 B und A 2 B denn: Teile A vertikal in A 1 und A 2 A 1 hat dn/2e Spalten A 2 hat bn/2c Spalten Teile B horizontal in B 1 und B 2 B 1 hat dn/2e Zeilen B 2 hat bn/2c Zeilen Nutze aus: 17 18

4 Fall 3: p max{m,n} Spalte B vertikal B 1 hat dp/2e Spalten B 2 hat bp/2c Spalten Nutze aus: Anzahl Cache-Misses Fall 4: m = n = p = 1 Multipliziere A und B als normale Zahlen Begründung für Cache-Effizienz Algorithmus von Strassen Teile und Herrsche vom Prinzip her Cache-freundlich: Paßt ein Teilproblem komplett in Cache, sind Daten für alle Unterprobleme schon im Cache Teilproblem kann dann ohne Cache- Misses gelöst werden 21 Auch Teile und Herrsche Jede Matrix wird in 4 möglichst gleich große Teilmatrizen zerlegt Sehr aufwändig zu implementieren In Praxis erst ab 10 6 schneller als vorgestellter Algorithmus Anzahl Cache-Misses Geht es noch besser als n log7? 22 Optimierungsprobleme Kapitel 4 Optimierungsalgorithmen Viele zulässige Lösungen Jeder Lösung ist Wert zugeordnet Ziel: Finde zulässige Lösung mit größtem Wert Kombinatorisches Optimierungsproblem: Menge der zulässigen Lösungen ist endlich 23 24

5 Kombinatorisches Optimierungsproblem Grundmenge: endliche Menge E Zulässige Lösungen: I µ 2 E Gewichtungsfunktion: c: E! K Zielfunktion von F2 I: c(f):= e2 F c(e) Aufgabe: Finde I * 2 I mit c(i * ) maximal bzw. minimal 25 Beispiel TSP (Traveling Salesman Problem) Gegeben: V= Menge von n Punkte im (zweidimensionalen) Raum Gesucht: kürzeste Rundtour, die alle Punkte besucht Grundmenge: Menge aller Kanten im vollständigen Graphen K n =(V,E) Zulässige Lösungen: Kantenmengen, die Tour durch alle Punkte beschreiben Zielfunktionswert: Summe der Kantenlängen der Kanten in Tour 26 Beispiel für nicht-kombinatorisches Optimierungsproblem Lösungsmenge ist endlich weil diskret und durch Ungleichungen beschränkt Aber: Grundmenge nicht endlich ) kein kombinatorisches Optimierungsproblem Wenn x 1,x 2 2 {0,1} ist es kombinatorisch Warum Schwierig? Typischerweise Anzahl der Lösungen exponentiell in Eingabegröße Deshalb Aufzählen der Lösungen zu aufwendig TSP: Eingabe sind n Städte mit Koordinaten Anzahl der möglichen Rundtouren Lineare Optimierungsprobleme Lineares Programm Eingabe: positive ganze Zahlen m,n b 2 R m c 2 R n A 2 R m n Zielfunktion Gesucht: x * 2 R n mit c T x minimal (maximal) unter allen Vektoren mit Ax b Restriktionen bzw. Nebenbedingungen 29 Zulässiger Bereich: 30

6 von Problemen Probleme aus der Praxis oft als lineare Programme beschreibbar Geht das nicht kann man Problem oft leicht abändern so dass Problem linear aber Lösung immer noch nützlich Beispiele: Produktionsplanung Portfolio-Optimierung Transportprobleme Reales Beispiel: Raffinerie Aus Rohöl verschiedene Produkte herstellen Verschieden Crackprozesse produzieren unterschiedliche Mengen der Endprodukte Eingabe: Bedarfe an Endprodukten Kosten und Endprodukte der Crackprozesse Gesucht: Welche Crackprozesse in welchem Umfang anwenden um Kosten zu minimieren Reales Beispiel: Raffinerie Endprodukte: 1. Schweröl: S 2. Mittelschweres Öl: M 3. Leichtöl: L Crackprozesse: 1. Crackprozess 1: Liefert 2S, 2M, 1L kostet 3$ 2. Crackprozess 2: Liefert 1S, 2M, 4L kostet 5$ Bedarfe: 3S, 5M, 4L 33 Variablen für Anwendung Crackprozesse: 1. x 1 : Produktionsniveau Crackprozess 1 2. x 2 : Produktionsniveau Crackprozess 2 Bedeutung x 1 =2,5: Prozess x 1 wird auf 2,5 Einheiten Rohöl angewendet Kostet 2,5*3 $ Liefert 2,5*2 S, 2,5*2 M und 2,5*1 L Jeder nicht-negative Vektor (x 1,x 2 )2 R 2 bezeichnet Produktionsniveau der Crackprozesse 34 Es müssen 3 Einheiten S produziert werden 2x 1 +x 2 3 Es müssen 5 Einheiten M produziert werden 2x 1 +2x 2 5 Es müssen 4 Einheiten L produziert werden x 1 +4x 2 4 Die Kosten der Produktion sind: z=3x 1 +5x

7 Diätproblem Nahrungsmittel Gegeben: Nahrungsmittel Kalorien Proteine Calcium Preis in $ Verschiedene Nahrungsmittel mit Nährstoffgehalten und Preisen Bedarf an Nährstoffen Gesucht: Menge von jedem Nahrungsmittel so dass alle Bedarfe gedeckt sind und Gesamtsumme der Preise möglichst niedrig Haferflocken Huhn Eier Milch Kirschkuchen Bohnen Lineares Programm Variablen: Für jedes Nahrungsmittel gekaufte Menge Nebenbedingungen: Für jeden Nährstoff muss Summe der Nahrungsmittel-Variablen multipliziert mit Nährstoffgehalt die Mindestmenge erreichen Zielfunktion: Minimieren der Summe der Nahrungsmittel- Variablen multipliziert mit Preis Zusätzlich: Verkaufen nicht vorhandener Lebensmittel ist nicht erlaubt Wenn Haferflocken nurmit einerhalben Einheit Milch schmecken: 39 40