PRAKTIKUM ZUR VL NEUE KONZEPTE UND TECHNIKEN FÜR DATENBANKSYSTEME. Humboldt-Universität zu Berlin Martin Kost

Transkript

1 PRAKTIKUM ZUR VL NEUE KONZEPTE UND TECHNIKEN FÜR DATENBANKSYSTEME Humboldt-Universität zu Berlin Martin Kost

2 Übungen 2 ~fünf XML-Parsing Praktikum 4 - Programmierung auf Mehrkernarchitekturen

3 3 Verbrecherjagd

4 4 Verbrecherjagd

5 5 Verbrecherjagd Matrix als Eingabe

6 6 Verbrecherjagd Scannen der Matrix Scannen eines Quadranten nach Personen

7 7 Verbrecherjagd Ergebnis des Scanvorgangs Quadranten in denen Personen auftauchen Quadranten in denen Personen verschwinden

8 8 Verbrecherjagd Typerkennung der erkannten Personen Quadranten mit n Quadranten mit Polizisten

9 Verbrecherjagd Bewegungserkennung 9 Bewegung: Ein Personentyp verschwindet und taucht in einem benachbarten Quadranten auf Quadranten mit auftauchenden n Quadranten mit auftauchenden Polizisten in der ersten Matrix kein Verschwinden v. Personen keine Bewegung

10 10 Verbrecherjagd Scannen der Folgematrix Scannen eines Quadranten

11 11 Verbrecherjagd Ergebnis des Scanvorgangs Quadranten in denen Personen auftauchen Quadranten in denen Personen verschwinden

12 12 Verbrecherjagd Typerkennung der erkannten Personen Quadranten mit n Quadranten mit Polizisten

13 Verbrecherjagd Bewegungserkennung 13 Bewegung: Ein Personentyp verschwindet und taucht in einem benachbarten Quadranten auf Quadranten mit auftauchenden n Quadranten mit auftauchenden Polizisten

14 14 Verbrecherjagd Scannen nach Schlüsselereignis Schlüsselereignis Senden einer Benachrichtigung Schlüsselereignis = Aufeinanderzubewegen von Polizist und n

15 15 Programmierung eines Programms zur Verbrecherjagd unter einer Mehrkernarchitektur Eingabe Geordnete Liste von Matrizen Jede Matrix beinhaltet Informationen über das Auftauchen oder Verschwinden von Personen sowie Merkmale zur Identifizierung von Polizisten und n Das Verschwinden und gleichzeitige Auftauchen einer Person in einem Nachbarquadranten beschreibt eine Bewegung Bewegungen können horizontal, vertikal oder diagonal erfolgen Schlüsselereignis Ein Verbrecher und ein Polizist bewegen sich auf direktem Weg aufeinander zu Ausgabe Eine Nachricht sobald das Schlüsselereignis auftritt und eine Beschreibung der dazugehörigen Bewegungen des Polizisten und des n Entwurf und Beschreibung eines Algorithmus zur Lösung des Problems sowie einer Parallelisierungstrategie Abgabe von mind. zwei (animierten) Folien zum Vorlesungstermin vor Ablauf der Abgabefrist Implementierung des Algorithmus unter C (C++) unter Verwendung von Pthreads Messung der Ausführungszeit

16 Verbrecherjagd Algorithmus/Strategie 16 Scannen der Matrix Partitionierung Datenorientiert (z.b. räumliche Partitionierung) Zuweisen von Threats zu den Partitionen Zuweisen von Kernen zu den Threats Größe der Partitionen bzw. der Chunks festlegen (Zwischen-)Ergebnisse speichern Struktur? Praktikum 4 - Programmierung auf Mehrkernarchitekturen

17 17 Scannen der Matrix - Partitionierung P1 P2 P3 P4 Scannen eines Quadranten nach Personen

18 18 Scannen der Matrix - Partitionierung P1 P2 P3 P4 P5 P6 P7 P8 Scannen eines Quadranten nach Personen

19 19 Scannen der Matrix - Partitionierung P1 P2 P3 P4 P5 P6 P7 P8 P9 P10 P11 P12 P13 P14 P15 P16 Scannen eines Quadranten nach Personen

20 20 Scannen der Matrix - Partitionierung Für Aufgabe optimale Partitionierung in Bezug auf das Caching-Verhalten; Warum? P1 P2 P3 P4 P6 P7 P8 P5 Scannen eines Quadranten nach Personen

21 21 Scannen der Matrix - Partitionierung Vertikale Partitionierung bzgl. des Cachingverhaltens optimal Randbedingungen für die Aufgabe Zugriff von Zelleneinträgen einer 8*8 Matrix Matrix abgebildet als 8 arrays mit je 8 Einträgen als Block im Speicher 8 Kern-Architektur mit 64 Byte L1-Cache jede Partition wird von einem Thread bearbeitet jeder Thread wird einem Kern zugewiesen Zelleneinträge der Matrix bestehen aus Struktur von 2 integer- Variablen Zelle der Matrix 8 Byte groß Zeile der Matrix 64 Byte = Cachelinegröße Praktikum 4 - Programmierung auf Mehrkernarchitekturen

22 22 Scannen der Matrix - Partitionierung Zelleneinträge der Matrix bestehen aus Struktur von 2 integer-variablen Zelle der Matrix 8 Byte groß Zeile der Matrix 64 Byte = Cachelinegröße lesender Zugriff auf zugewiesene Partition durch einen Datentransfer jeder Kern beinhaltet zugewiesene Partition der Matrix vollständig im Cache schreibender Zugriff ohne Cache-Invalidierung 1. bei vertikaler Partitionierung würde das Schreiben einer Zelle erfordern, dass die gesamte Cachline(-größe) und somit die gesamte Zeile der Matrix (also über alle Partitionen hinweg) geschrieben wird 2. Somit erfolgt eine Invalidierung der anderen Partitionen 3. Aufgrund der obligatorischen Einhaltung der Cache Coherence erfolgt ein Cache Thrashing = Invalidierung der Caches der anderen Kerne 4. Cache der anderen Kerne muss verworfen und neu geladen werden Praktikum 4 - Programmierung auf Mehrkernarchitekturen

23 23 Scannen der Matrix - Partitionierung Zelleneinträge der Matrix bestehen aus Struktur von 2 integer-variablen Zelle der Matrix 8 Byte groß Zeile der Matrix 64 Byte = Cachelinegröße lesender Zugriff auf zugewiesene Partition durch einen Datentransfer jeder Kern beinhaltet zugewiesene Partition der Matrix vollständig im Cache schreibender Zugriff ohne Cacheinvalidierung Partitionierung einer Matrix mit n Zeilen auf einer Architektur mit m Kernen: i aus 0 m-1 Kern i mit Thread i zugewiesene Zeilen: von: n*i m bis: n*(i m Skalierung Was ändert sich bei gleichen Vorgaben und einer 16*16 Matrix? 1) 1 Optimale Partitionierung bzgl. des Cachingverhaltens plattform- und anwendungsabhängig? Praktikum 4 - Programmierung auf Mehrkernarchitekturen

24 24 Bewegungserkennung Partitionierung Bewegungsberechnung Regional (Kerne bekommen Regionen zugewiesen) Daten einer Region im Cache Ereignisaustausch für Bewegungsberechnung über Grenzen hinweg notwendig Festlegen von Zuständigkeiten um doppelte Berechnung über Grenzen hinweg zu verhindern Richtungsorientierte Zuweisung (z.b. Berechnung von Bewegungen in Richtung links, oben, links oben und links unten über Grenzen hinweg) Ereignisorientierte Zuweisung (z.b. Berechnung von Bewegungen welche in die Region führen) Unterschiedlicher Ereignisaustausch notwendig Praktikum 4 - Programmierung auf Mehrkernarchitekturen

25 25 Bewegungserkennung Regionale Partitionierung Bewegung: Ein Personentyp verschwindet und taucht in einem benachbarten Quadranten auf P1 P2 P3 P4 P5 P6 P7 P8 Quadranten mit auftauchenden n Quadranten mit auftauchenden Polizisten

26 Bewegungserkennung datenzentraler Ansatz 26 Bewegungsberechnung Regional (Kerne bekommen Regionen zugewiesen) Daten-Zentral Arbeitsverteilung durch funktionale Dekomposition (richtungsorientiert) Thread 1: Berechnung der Bewegungen: nach links, nach oben Thread 2: Berechnung der Bewegungen: nach rechts, nach unten Thread 3: Berechnung der Bewegungen: nach links oben, nach links unten Thread 4: Berechnung der Bewegungen: nach rechts oben, nach rechts unten Praktikum 4 - Programmierung auf Mehrkernarchitekturen

27 27 Verbrecherjagd Bewegungserkennung Bewegung: Ein Personentyp verschwindet und taucht in einem benachbarten Quadranten auf T1 T2 T3 T4 Quadranten mit auftauchenden n Quadranten mit auftauchenden Polizisten

28 28 Verbrecherjagd Algorithmus/Strategien Kodierung der berechneten Bewegungen Typ, Start, Vektor Ablagestruktur für den Speicher zeilenorientiert spaltenorientiert orientiert an Diagonalen Kombination aller Varianten Vorteil: Hohe Parallelisierung und optimale Cacheausnutzung Nachteil: Erhöhter Speicherverbrauch und Generierung notwendig Praktikum 4 - Programmierung auf Mehrkernarchitekturen

29 Verbrecherjagd Algorithmus/Strategien 29 Berechnung des Schlüsselereignisses zentral richtungsbasierter Austausch regional Praktikum 4 - Programmierung auf Mehrkernarchitekturen

30 30 Verbrecherjagd Scannen nach Schlüsselereignis Schlüsselereignis Senden einer Benachrichtigung Schlüsselereignis = Aufeinanderzubewegen von Polizist und n

31 31 Berechnen des Schlüsselereignisses Kodierung der berechneten Bewegungen Typ, Start, Vektor Ablagestruktur für den Speicher zeilenorientiert spaltenorientiert orientiert an Diagonalen Kombination aller Varianten (effizienter Cache-Zugriff zum Erkennen der Bewegungen und Schlüsselereignisse für alle Richtungen vs. erhöhter Speicherbedarf) Probagieren von relevanten Bewegungen entlang des Bewegungsvektors schnelles Erkennen ob ein Schlüsselereignis vorliegt für Bestimmung der exakten Paare des Schlüsselereignisses müssen ebenfalls die Paare verglichen werden Nachteil: probagierte Werte müssen gespeichert werden für die gestellte Aufgabe nicht optimal Praktikum 4 - Programmierung auf Mehrkernarchitekturen

32 32 Verbrecherjagd Scannen nach Schlüsselereignis

33 33 Verbrecherjagd Scannen nach Schlüsselereignis

34 34 Verbrecherjagd Scannen nach Schlüsselereignis Schlüsselereignis

35 35 Verbrecherjagd Kosten Scannen eines Quadranten Erkennen des Personentyps Kommunikation zwischen Partitionen (Threads/Kerne) Operation der Bewegungsberechnung Erstellen eines Threats Synchronisieren von Threats Optimierung Dimensionen 1. Performance Kommunikation, Synchronisation viele Chunks erfordern mehr Kommunikation und Synchronisation 2. Privacy (Tracking r vermeiden/minimieren) eher kleine auseinander liegende Chunks (im Extremfall 1 Quadrant = 1 Chunk) Praktikum 4 - Programmierung auf Mehrkernarchitekturen

36 36 Verbrecherjagd Auswertung der Strategien Vielzahl an Kriterien nach denen optimiert werden kann Zentral optimal, wenn a>b Regional optimal, wenn b<a Zwischenergebnisse (redundant) materialisieren Lese- vs. Schreiboperationen (Cache Thrashing) Skalierbarkeit (andere Strategien können optimal werden) Testen Praktikum 4 - Programmierung auf Mehrkernarchitekturen

37 37 Verbrecherjagd Eingabe-Matrix 1 Quadranten in denen Personen auftauchen Quadranten in denen Personen verschwinden

38 38 Verbrecherjagd Eingabe-Matrix 2 Quadranten in denen Personen auftauchen Quadranten in denen Personen verschwinden

39 39 Verbrecherjagd Eingabe-Matrix 2 Bewegung: Ein Personentyp verschwindet und taucht in einem benachbarten Quadranten auf Quadranten in denen Personen auftauchen Quadranten in denen Personen verschwinden

40 40 Verbrecherjagd Eingabe-Matrix 3 Quadranten in denen Personen auftauchen Quadranten in denen Personen verschwinden

41 41 Verbrecherjagd Eingabe-Matrix 4 Quadranten in denen Personen auftauchen Quadranten in denen Personen verschwinden

42 42 Verbrecherjagd Eingabe-Matrix 5 Quadranten in denen Personen auftauchen Quadranten in denen Personen verschwinden

43 43 Verbrecherjagd Eingabe-Matrix 6 Quadranten in denen Personen auftauchen Quadranten in denen Personen verschwinden

44 44 Verbrecherjagd Eingabe-Matrix 7 Quadranten in denen Personen auftauchen Quadranten in denen Personen verschwinden

45 45 Verbrecherjagd Eingabe-Matrix 8 Quadranten in denen Personen auftauchen Quadranten in denen Personen verschwinden

46 46 Verbrecherjagd Eingabe-Matrix 9 Quadranten in denen Personen auftauchen Quadranten in denen Personen verschwinden

47 47 Verbrecherjagd Eingabe-Matrix 10 Quadranten in denen Personen auftauchen Quadranten in denen Personen verschwinden

48 Satellite tracking for criminals : Offender wears tracker device on belt, with wireless connection to ankle tag. 2: Belt device tracks own location using GPS satellite signals. 3: Location data transferred from belt device to telephone network. 4: Data sent to control centre, which can be specifically alerted if offender enters exclusion zone or breaks other conditions. Radio frequency alarm also sent if tracker and ankle tag are separated. 5: Offender's position shown as location trails on computer map. Praktikum 4 - Programmierung auf Mehrkernarchitekturen