Vorlesung Datenstrukturen

Transkript

1 Vorlesung Datenstrukturen Sortieren von Feldern (1) Einfache Sortieralgorithmen Dr. Frank Seifert Vorlesung Datenstrukturen - Sommersemester 2016 Folie 82

2 Motivation Natürliche Sortierung Sortierte Datenmengen sind unabdingbare Voraussetzung für den Menschen, Informationen in großen Datenbeständen überhaupt auffinden zu können. z.b. Telefonbücher, Wörterbücher, Personenlisten. Maschinelle Sortierung Obwohl es algorithmisch möglich ist, Informationen auch in nicht sortierten Datenbeständen aufzufinden, können aufgrund der Anordnung von Daten gemäß eines Sortierkriteriums Suchprozesse wesentlich beschleunigt werden (siehe binäre Suche). Sortierverfahren Wir wollen nun verschiedene Sortierverfahren für Felder kennenlernen und hinsichtlich verschiedener Kriterien analysieren. Dr. Frank Seifert Vorlesung Datenstrukturen - Sommersemester 2016 Folie 83

3 Gegenstand der Untersuchung Kriterium Performanz Um Sortieralgorithmen maschinenunabhängig vergleichen zu können, untersuchen wir alle Verfahren bezüglich Anzahl notwendiger Vergleichsoperationen Anzahl vorzunehmender Datenverschiebungen Um von eher unbedeutenden Algorithmendetails zu abstrahieren, wollen wir nur die Vergleichsoperationen zählen, die sich auf die zu sortierenden Datenelemente beziehen. Analog wollen wir nur Verschiebungen der zu sortierenden Datenelemente zählen. Dr. Frank Seifert Vorlesung Datenstrukturen - Sommersemester 2016 Folie 84

4 Gegenstand der Untersuchung Kriterium Datenverteilung Einige der untersuchten Algorithmen unterscheiden sich in ihrer Leistungsfähigkeit in Abhängigkeit der Verteilung der zu sortierenden Daten. Wir wollen drei Fälle herausgreifen und untersuchen, inwieweit eine eventuell schon vorliegende Ordnung der Daten Einfluss auf die Performanz des Algorithmus aufweist und dabei folgende Situationen analysieren: Daten sind schon sortiert best case Daten sind invers sortiert worst case Daten sind unsortiert average case Dr. Frank Seifert Vorlesung Datenstrukturen - Sommersemester 2016 Folie 85

5 Gegenstand der Untersuchung Kriterium Zerlegbarkeit Inwieweit ist ein Verfahren für das so genannte externe Sortieren geeignet? Unter Umständen kann die zu sortierende Datenmenge so groß sein, dass sie nicht in den Primärspeicher (Hauptspeicher) passt. Dann muss das Sortierverfahren in der Lage sein, nur einen Teil des Datenbestandes zu bearbeiten und aus den bearbeiteten Teilen einen sortierten Gesamtdatenbestand generieren zu können. Konkret bedeutet dies dass die Daten zum Sortieren vom Sekundärspeicher (z.b. Festplatte, SSD) gelesen und anschließend die sortierten Daten auch wieder auf den Sekundärspeicher geschrieben werden müssen. Da die Zugriffszeiten sowie Schreib- und Leseoperationen auf dem Sekundärspeicher um Größenordnungen langsamer gegenüber vergleichbaren Primärspeicheroperationen sind, ist es nötig, die Anzahl dieser Zugriffe zu minimieren. Dr. Frank Seifert Vorlesung Datenstrukturen - Sommersemester 2016 Folie 86

6 Gegenstand der Untersuchung Kriterium Datensatz Für die endgültige Beurteilung der Leistungsfähigkeit eines Algorithmus spielen noch zwei weitere Parameter eine wesentliche Rolle: Größe des Sortierkriteriums (Schlüssel) Sind die zu vergleichenden Elemente nur einfache Werte (z.b. Integer-Zahlen) dann lassen sich Vergleichsoperationen vergleichsweise schnell durchführen. Sind die zu vergleichenden Elemente dagegen komplexerer Natur (z.b. Zeichenketten, Vektoren oder zusammengesetzte Datentypen), dann steigt aufgrund der längeren Dauer eines Vergleichs die Bedeutung der Anzahl durchzuführender Vergleiche für die Beurteilung eines Algorithmus enorm. Datensatzgröße Sind die zu sortierenden Datensätze groß (z.b. Zeichenketten und Strukturen), dann steigt der Einfluss der Anzahl zu verschiebender Datensätze für die Beurteilung eines Algorithmus. Dr. Frank Seifert Vorlesung Datenstrukturen - Sommersemester 2016 Folie 87

7 Gegenstand der Untersuchung Kriterium Komplexität (des Sortieralgorithmus) Auch die Frage, wie komplex das dem Sortieralgorithmus zugrundeliegende Verfahren gestrickt ist, sollte in die Entscheidung mit einfließen: Sortierszenario 1: Es werden gelegentlich eher wenig Elemente sortiert: Bei Selbstimplementierung sollte man einen einfachen Achtzeiler einem effizienteren aber auch komplexeren und somit fehleranfälligeren Verfahren vorziehen. Alternativ können existierende Bibliotheksfunktionen unbesehen verwendet werden. Sortierszenario 2: Es werden oft sehr viele Elemente sortiert Bei Selbstimplementierung sollte man auch einen auf den ersten Blick bescheiden anmutenden Leistungsvorteil von 10% zwischen zwei Verfahren nicht ignorieren. Bei Verwendung von Bibliotheksfunktionen sollte man sich über die Eignung der zugrunde liegenden Verfahren informieren. Dr. Frank Seifert Vorlesung Datenstrukturen - Sommersemester 2016 Folie 88

8 Einfache Sortieralgorithmen BubbleSort SelectionSort InsertionSort Dr. Frank Seifert Vorlesung Datenstrukturen - Sommersemester 2016 Folie 89

10 Vorbereitung Vertauschen zweier Elemente Eine Basisoperation der meisten der im folgenden untersuchten Sortieralgorithmen besteht im Vertauschen zweier Feldelemente. Aus Gründen der Übersichtlichkeit lagern wir das Vertauschen in eine Funktion swap aus, die via call-by-reference die beiden Funktionsargumente direkt vertauscht: void swap(elementtyp& a, Elementtyp& b) { Elementtyp temp = a; a = b; b = temp; } Jede durch Aufruf von swap durchgeführte Vertauschung bewirkt drei Datenbewegungen. Dr. Frank Seifert Vorlesung Datenstrukturen - Sommersemester 2016 Folie 91

11 BubbleSort Bedeutung Sortieren durch direktes Austauschen Funktionsweise Durchlaufe wiederholt das Feld und vertausche direkt benachbarte Elemente wenn nötig. void bubblesort(elementtyp data[], int n) { for ( int i = 0; i < n - 1; i++ ) for ( int j = n - 1; j > i; j-- ) if ( data[j] < data[j - 1] ) swap(data[j - 1], data[j]); } Dr. Frank Seifert Vorlesung Datenstrukturen - Sommersemester 2016 Folie 92

12 Laufzeit Anzahl Vergleiche Die Anzahl an Vergleichen ist unabhängig von der Verteilung der Daten und hängt nur von der Anzahl aller Iterationen der beiden Schleifen ab: n 2 i= 0 (n 1 i) = n(n 1) 2 void bubblesort(elementtyp data[], int n) { for ( int i = 0; i < n - 1; i++ ) for ( int j = n - 1; j > i; j-- ) if ( data[j] < data[j - 1] ) swap(data[j - 1], data[j]); } Dr. Frank Seifert Vorlesung Datenstrukturen - Sommersemester 2016 Folie 93

13 Laufzeit Anzahl Datenbewegungen Im Best Case werden keine Tausch- operationen durchgeführt. Im Worst Case haben wir genau so viel Vertauschungen wie Vergleiche. void bubblesort(elementtyp data[], int n) { for ( int i = 0; i < n - 1; i++ ) for ( int j = n - 1; j > i; j-- ) if ( data[j] < data[j - 1] ) swap(data[j - 1], data[j]); } Im Average Case können für den i-ten Durchlauf der äußeren Schleife 0 bis n 1 i Vertauschungen in der inneren Schleife folgen, im Schnitt sind dies (n 1 i) / 2 Tauschoperationen. Damit ergibt sich dann folgende Anzahl an Vertauschungen (die Anzahl an Datenbewegungen erhält man durch Multiplikation mit drei - siehe Definition der Funktion swap): n 2 n i 1 = 1 n 2 (n 1) 1 n 2 i = i= 0 i= 0 i= 0 (n 1)2 2 (n 1)(n 2) 4 = n(n 1) 4 Dr. Frank Seifert Vorlesung Datenstrukturen - Sommersemester 2016 Folie 94

14 Bewertung Vorteil Der BubbleSort-Algorithmus ist sehr einfach zu verstehen und zu implementieren und benötigt keinen zusätzlichen Speicher. Nachteil Laufzeit O(n 2 ) Optimierung BubbleSort kann beschleunigt werden, z.b. indem festgestellt wird, ob beim Durchlauf der inneren Schleife eine Tauschoperation stattgefunden hat. Ist dies nicht der Fall, dann ist das Feld bereits sortiert und der Algorithmus kann abgebrochen werden. vgl. Sortieralgorithmus aus der Lehrveranstaltung Algorithmen & Programmierung. Dr. Frank Seifert Vorlesung Datenstrukturen - Sommersemester 2016 Folie 95

16 SelectionSort Bedeutung Sortieren durch direktes Auswählen Funktionsweise 1. Suche das kleinste Element im Feld und tausche es mit dem ersten Feldelement. 2. Bilde ein neues (virtuelles) Feld, das alle Elemente des zuletzt betrachteten Feldes ab dem zweiten Feldelement beinhaltet. void selectionsort(elementtyp data[], int n) { for ( int i = 0; i < n - 1; i++ ) { int min = i; for ( int j = i + 1; j < n; j++ ) if ( data[j] < data[min] ) min = j; swap(data[min], data[i]); } } 3. Wenn das (virtuelle) Feld noch mindestens zwei Elemente enthält, gehe zu Schritt 1. Dr. Frank Seifert Vorlesung Datenstrukturen - Sommersemester 2016 Folie 97

17 Laufzeit Anzahl Vergleiche Die äußere Schleife wird n 1 mal ausgeführt und für den i-ten Durchlauf der äußeren Schleife iteriert die innere Schleife n 1 i mal. n 2 i= 0 (n 1 i) = (n 1) = Anzahl Datenbewegungen n(n 1) 2 void selectionsort(elementtyp data[], int n) { for ( int i = 0; i < n - 1; i++ ) { int min = i; for ( int j = i + 1; j < n; j++ ) if ( data[j] < data[min] ) min = j; swap(data[min], data[i]); } } Unabhängig von irgendwelchen Vergleichsergebnissen werden nur in der äußeren Schleife Daten bewegt, je Tauschoperation haben wir immer drei Datenbewegungen, insgesamt also 3(n 1). Situationsanalyse Unabhängig davon, ob die Elementfolge bereits vorsortiert ist oder nicht, die Anzahl an Vergleichen und Datenbewegungen bleibt immer konstant und ist nur von der Anzahl der Elemente n abhängig. Dr. Frank Seifert Vorlesung Datenstrukturen - Sommersemester 2016 Folie 98

18 Bewertung Laufzeit Die Laufzeit von SelectionSort ist nur von der Elementanzahl und nicht von der Verteilung der Daten abhängig. Vorteile intuitiver und leicht zu implementierender Algorithmus schnell bei kleinen Datenmengen es wird kein zusätzlicher Speicher benötigt im Vorhinein exakt kalkulierbare Laufzeit für z.b. Echtzeitanwendungen Nachteile Allgemeine Laufzeit O(n 2 ) Dr. Frank Seifert Vorlesung Datenstrukturen - Sommersemester 2016 Folie 99

20 InsertionSort Bedeutung Sortieren durch direktes Einfügen Funktionsweise Betrachte die Elemente nacheinander und füge jedes an seinen Platz zwischen den bereits betrachteten Elementen ein (Analogie: Sortierung von in die Hand genommenen Spielkarten) void insertionsort( Elementtyp data[], int n ) { int i, j; for ( i = 1; i < n; i++ ) { Elementtyp temp = data[i]; for ( j = i; j > 0 && temp < data[j - 1]; j-- ) data[j] = data[j - 1]; data[j] = temp; } } Dr. Frank Seifert Vorlesung Datenstrukturen - Sommersemester 2016 Folie 101

21 Beispiel Dr. Frank Seifert Vorlesung Datenstrukturen - Sommersemester 2016 Folie 102

36 Laufzeit Best Case n 1 Vergleiche void insertionsort( Elementtyp data[], int n ) { int i, j; for ( i = 1; i < n; i++ ) { Elementtyp temp = data[i]; for (j = i; j > 0 && temp < data[j - 1]; j--) data[j] = data[j - 1]; data[j] = temp; } } 2(n 1) Datenbewegungen (unabhängig von den Vergleichen) Worst Case Je Durchlauf der äußeren Schleife haben wir i Vergleiche, insgesamt also n 1 i=1 i = (n 1) = n(n 1) 2 Je Vergleich haben wir eine Datenbewegung und zusätzlich noch die 2(n 1) Datenbewegungen, die unabhängig von den Vergleichen sind, insgesamt also n(n 1) 2 + 2(n 1) = n 2 + 3n 4 2 Dr. Frank Seifert Vorlesung Datenstrukturen - Sommersemester 2016 Folie 117

37 Laufzeit Average Case Je äußerem Schleifen- durchlauf können 1,2,... oder i Vergleiche durchgeführt werden, das sind im Schnitt (i+1)/2 Vergleiche je Iteration, insgesamt ergeben sich void insertionsort( Elementtyp data[], int n ) { int i, j; for ( i = 1; i < n; i++ ) { Elementtyp temp = data[i]; for (j = i; j > 0 && temp < data[j - 1]; j--) data[j] = data[j - 1]; data[j] = temp; } } n 1 i +1 = 1 1 i + = i=1 n 1 i=1 n 1 i=1 n(n 1) / (n 1) = n 2 + n 2 4 Je äußerem Schleifendurchlauf können demzufolge 0,1,... oder i 1 Datenbewegungen (je nach Ergebnis) auftreten, das sind (i 1)/2 Datenbewegungen, dazu kommen noch zwei unbedingte Datenbewegungen; insgesamt ergeben sich n 1 i=1 # i 1 % $ & ( = 1 ' 2 n 1 i=1 i + n 1 i=1 3 2 = n(n 1) / (n 1) = n 2 + 5n 6 4 Dr. Frank Seifert Vorlesung Datenstrukturen - Sommersemester 2016 Folie 118

38 Bewertung Anmerkungen InsertionSort sortiert nur dann, wenn es unbedingt nötig ist. Ist ein Feld bereits vorsortiert, kommt es zu keinen nennenswerten Datenverschiebungen. Allerdings muss beim Einsortieren eines Wertes das gesamte Restfeld um eine Position nach hinten verschoben werden. Vorteile Nachteil verständlicher Algorithmus, der leicht implementiert werden kann schnell bei genügend vorsortierten Daten und sehr kleinen Datenmengen es wird kein zusätzlicher Speicher benötigt eine Folge muss nicht komplett vorliegen um sortiert werden zu können, neu eintreffende Elemente werden einfach an der richtigen Stelle eingefügt günstig für Online-Anwendungen Allgemeine Laufzeit O(n 2 ) Dr. Frank Seifert Vorlesung Datenstrukturen - Sommersemester 2016 Folie 119

39 Vergleich zu BubbleSort Anmerkungen Alle drei vorgestellten Sortieralgorithmen haben eine allgemeine Laufzeit von O(n 2 ) Im Schnitt benötigt BubbleSort jedoch doppelt so viele Vergleiche bei gleicher Anzahl an Datenbewegungen wie InsertionSort. Im Schnitt benötigt BubbleSort n-mal mehr Datenbewegungen als SelectionSort bei gleicher Anzahl an Vergleichen. Konsequenz Trotz gleicher Laufzeitobergrenze sind sowohl InsertionSort als auch SelectionSort dem BubbleSort-Verfahren vorzuziehen. Dr. Frank Seifert Vorlesung Datenstrukturen - Sommersemester 2016 Folie 120

40 Zwischenbilanz Performanz der Sortierverfahren Wir haben bisher drei Sortierverfahren kennen gelernt, die sich zwar im Detail in ihren Leistungsparametern unterscheiden, aber für den allgemeinen Fall einer unsortierten Folge von Elementen in die gleiche Leistungsklasse O(n 2 ) eingeordnet werden müssen. Exemplarischer Vergleich der Rechenschritte Feldgröße n O(log n) O(n) O(n log n) O(n 2 ) Dr. Frank Seifert Vorlesung Datenstrukturen - Sommersemester 2016 Folie 121

41 Effiziente Sortierverfahren Gibt es effizientere Sortierverfahren? Wir werden in der nächsten Einheit zwei effiziente Sortierverfahren kennenlernen, die in der Komplexitätsklasse O(n log n) liegen. Tatsächlich kann kein Sortierverfahren für allgemeine Daten besser als in O(n log n) laufen (wir werden diese Behauptung später noch beweisen). Jedoch ist es möglich, für spezielle Datenkonstellationen Sortierverfahren zu entwickeln, die in linearer oder sogar in sublinearer Zeit laufen. Wir wollen so ein Verfahren anhand der folgenden Aufgabenstellung demonstrieren: Gesucht sei ein Algorithmus zur Sortierung eines Feldes mit N Elementen. Dabei enthalte das Feld ausschließlich positive Integer-Zahlen im Bereich von 1 bis N in beliebiger Reihenfolge. Duplikate können existieren. Dr. Frank Seifert Vorlesung Datenstrukturen - Sommersemester 2016 Folie 122

42 Ende der Vorlesung Dr. Frank Seifert Vorlesung Datenstrukturen - Sommersemester 2016 Folie 123