Algorithmen und Datenstrukturen 8. Vorlesung

Transkript

1 lgorithmen und Datenstrukturen. Vorlesung Karl-Heinz Niggl. Mai 6 FG KTuE, TU Ilmenau ud..6 Untere Schranke und Sortieren in Linearzeit etrachtetenverschiedene lgorithmen, die n Werte aus einer totalen Ordnung (U, ) in Zeit O(n log n) sortieren können: merge-sort, heap-sort erreichen diese obere Schranke im worst case und quicksort im average case. Für jeden dieser lgorithmen findet man eine Eingabe der Größe n mit Laufzeit Ω(n log n). lle betrachteten Sortieralgorithmen sind vergleichsbasiert. Heute: ) Jedervergleichsbasierte Sortieralgorithmus benötigt Ω(n log n) Vergleiche im worst case bei Eingabegröße n. ) Sortieren in Linearzeit: counting-sort, radix-sort und bucket-sort. FG KTuE, TU Ilmenau ud..6 U. Schranke: vergleichsbasiertes Sortieren Im folgenden sei (U, ) eine totale Ordnung, ein beliebiger vergleichsbasierter lgorithmus für Eingaben über U: die erzielte Sortierung einer Eingabe (a,...,a n ) basiert (neben Verschieben und Kopieren) nur auf Vergleichen zwischen den Elementen der Eingabe. O.E. betrachten wir nur Eingaben (a,...,a n ) mit paarweise verschiedenen Elementen. Grund: Eine untereschranke hierfür ist auch eine untere Schranke für den allgemeinen Fall. O.E. führe dann nur Vergleiche der Form a i a j durch. U. Schranke: vergleichsbasiertes Sortieren Def. Ein Entscheidungsbaum für bzgl. Eingabegröße n ist ein voller inärbaum, der die durchgeführten Vergleiche auf Eingaben der Größe n in folgender Weise repräsentiert: Jeder innere Knoten ist mit i : j beschriftet, falls ein Vergleich zwischen a i und a j durchgeführt wurde. Derlinke Teilbaumenthält alle nachfolgendenvergleiche im Falle a i a j, der rechte Teilbaum enthält alle nachfolgenden Vergleiche im Falle a i > a j. Jedes latt, das auf einem Pfad von der Wurzel erreichbar ist, ist mit einer Permutation π(),...,π(n) die erzielte Sortierung beschriftet. FG KTuE, TU Ilmenau ud..6 FG KTuE, TU Ilmenau ud..6

2 U. Schranke: vergleichsbasiertes Sortieren em. Im Entscheidungsbaum für bzgl. Eingabegröße n, ignoriere alle Informationen über Kontrollstruktur, Datenbewegung und andere spekte von, bis auf von durchgeführte Vergleiche zwischen Komponenteneiner Eingabe dergröße n. sp. Entscheidungsbaum für insertion-sort bzgl. Größe n =. Grüner Pfad betrifft Eingabe (6,,). : : : > >,, :,, : > >,,,,,,,, > U. Schranke: vergleichsbasiertes Sortieren em. Sei T der Entscheidungsbaum für bzgl. Größe n.. Zu jeder usführung von auf einer Eingabe der Größe n gehört ein Pfad in T von der Wurzel zu einem latt.. us der Korrektheit von folgt daher: Jede Sortierung π(),...,π(n) einer Eingabe der Größe n muß als eschriftung eines in T erreichbaren lattes vorkommen. = T besitzt mindestens n! lätter. = Eine untere Schranke an die Tiefe von T ist auch eine untere Schranke an die Laufzeit von (jedem vergleichsbasierten Sortieralgorithmus) im worst case. FG KTuE, TU Ilmenau ud..6 FG KTuE, TU Ilmenau ud..6 U. Schranke: vergleichsbasiertes Sortieren Satz (Untere Schranke). Jeder vergleichsbasierte Sortieralgorithmus benötigt Ω(n log n) Vergleiche im worst case. eweis. Sei T der Entscheidungsbaum für einen beliebigen vergleichsbasierten Sortieralgorithmus bzgl. Eingabegröße n. Sei d die Tiefe und l die nzahl der lätter von T. Nach em genügt es zu zeigen d = Ω(n log n) und wir wissen: n! l d und somit d log n! = Ω(n log n) Denn: n n n! < i= n i i! = exp(n) = en und somit n! > ( n e )n = log n! > n log n n log e n log n für log n log e Sortieren in Linearzeit ) counting-sort: Ein stabiler Sortieralgorithmus, d.h. die Reihenfolge gleichwertiger Elemente bleibt erhalten. Stabilität ist wichtig, wenn an den zu sortierenden Zahlen (Schlüsseln) auch noch Verweise auf Daten hängen. Input: Ein (read-only) rray [..n] von natürlichen Zahlen, ein k N mit [..n] k, sowie ein usgabe-rray [..n] Output: [..n], eine Sortierung von [..n] Idee: estimme in einem rbeitsarray [..k] für jedes i k die nzahl der[j] i. Dann plaziere direkt jedes [j] (in einer Schleife j =n, n,...,) in die richtige Stelle in. FG KTuE, TU Ilmenau ud..6 6 FG KTuE, TU Ilmenau ud..6

3 Sortieren in Linearzeit : procedure counting-sort(,,k) : for i to k do : [i] Initialisierung von : for j to len() do : [[j]] [[j]] + [i]=nzahl der [j]=i 6: for i to k do : [i] [i] +[i ] [i]=nzahl der [j] i : for j len() downto do 9: [[[j]]] [j] Plaziere [j] direkt in : [[j]] [[j]] Dekrementiere #[j] um Laufzeit: Θ(k + n) bzw. Θ(n), falls k=o(n) sp. Phase Sortieren in Linearzeit 6 6 FG KTuE, TU Ilmenau ud..6 FG KTuE, TU Ilmenau ud..6 9 Sortieren in Linearzeit Sortieren in Linearzeit sp. 6 sp FG KTuE, TU Ilmenau ud..6 FG KTuE, TU Ilmenau ud..6

4 sp. Phase Sortieren in Linearzeit sp. Phase Sortieren in Linearzeit FG KTuE, TU Ilmenau ud..6 FG KTuE, TU Ilmenau ud..6 Sortieren in Linearzeit Sortieren in Linearzeit sp. 6 sp FG KTuE, TU Ilmenau ud..6 FG KTuE, TU Ilmenau ud..6

5 sp. Sortieren in Linearzeit 6 Sortieren in Linearzeit sp. Ergebnis: Sortierung von in (beachte Einträge in ) 6 6 Korrektheit: Einfach (Übung) em. counting-sort enthält überhaupt keinen Vergleich! FG KTuE, TU Ilmenau ud..6 6 FG KTuE, TU Ilmenau ud..6 ) radix-sort Sortieren in Linearzeit Input: Ein rray[..n] von rrays[i][..d] über einer totalen Ordnung (U,<) und Dimension d. Das heißt, man faßt als (n d)-matrix auf, in der jede Zeile [i][..d] einen Schlüssel über U der Länge d darstellt. Output: Eine Sortierung von [..n] in lexikographischer Ordnung < lex auf U d, d.h. für x = (x,...,x d ) U d und y=(y,...,y d ) U d gilt: x < lex y : j d: x =y... x j =y j x j <y j Sortieren in Linearzeit radix-sortist in verschiedenen Situationen anwendbar:. I.a. d verschiedene totale Ordnungen (U,< ),...,(U k,< k ), die durch die komponentenweise lexikographische Ordnung zu einer totalen Ordnung (U,< lex ), mit U :=U U k, werden, d.h. für x=(x,...,x d ),y=(y,...,y d ) U gilt: x < lex y : j d: x =y... x j =y j x j < j y j sp. Daten: {,...,} {,...,} {,...,9} Spielkarten: {,,, } {,...,,ube,dame,könig,ss} FG KTuE, TU Ilmenau ud..6 FG KTuE, TU Ilmenau ud..6 9

6 Sortieren in Linearzeit 6. Σ mit lexikographischer Ordnung, für ein lphabet Σ (eine nichtleere, endlichemenge vonuchstaben), z.. dersii- Zeichensatz, auf dem eine totale Ordnung erklärt ist, z.. a < b < c <...z < < <... Σ := Seq(Σ) ist dann die Menge der Wörter über Σ. Schreibweise: a a...a l anstelle von (a,a,...,a l ) Für Wörter (Schlüssel beliebiger Länge!) a = a...a s und b=b...b t gilt nun: a < lex b : s<t oder (s=t und j s: a =b... a j =b j a j <b j ) Sortieren in Linearzeit Idee für radix-sort(,d): In bwärtsschleife l = d,..., sortiere d-mal mittels counting-sort nach Spalte l. Grund: ei Schlüsseln aus d Ziffern wird die am wenigsten signifikante Komponente zuerst sortiert. : procedure radix-sort(,d) : for l d downto do : Sortiere nach Spalte l mittels counting-sort Laufzeit: Θ(d (n + k)) mit k := maximale Eintrag in. Korrektheit: bwärtsinduktion l=d,..., ergibt (Übung): Nach Schleifendurchlauf für l sind die Zeilen der Teilmatrix [ ][l..d] lexikographisch sortiert. FG KTuE, TU Ilmenau ud..6 FG KTuE, TU Ilmenau ud..6 Sortieren in Linearzeit em. Ist d eine Konstante und gilt k=o(n), so läuft radixsort in Linearzeit. sp Sortieren in Linearzeit 9 ) bucket-sort (Fachsortieren): Erwartete Laufzeit O(n) Input: Ein rray [..n] mit Elementen [i] [,) Output: Eine Sortierung von [..n] Idee:. Unterteile das Intervall [,) in n gleichgroße Teilintervalle,..., n, die uckets i := [i/n,(i + )/n), und verteile jedes [i] in das zugehörige j. Gleichverteilung Kein ucket enthält zu viele Elemente! Technisch werden die n uckets als rray [,...,n ] von einfach verketteten Listen [j] (uckets) realisiert. FG KTuE, TU Ilmenau ud..6 FG KTuE, TU Ilmenau ud..6

7 Sortieren in Linearzeit Sortieren in Linearzeit. Sortiere jedes ucket [j] mittels insertion-sort, d.h. ein Sortieralgorithmus mit schlechtester worst-case Laufzeit.. Fülle nunder Reihe nach mit den Elementen der sortierten uckets [],...,[n ]. : procedure bucket-sort() : n len() : for i to n do : Füge [i] in ucketliste [ n [i] ] ein. : for j to n do 6: Sortiere Liste [j] mittels insertion-sort. : Konkateniere in die Listen [],...,[n ] sp FG KTuE, TU Ilmenau ud..6 FG KTuE, TU Ilmenau ud..6 Sortieren in Linearzeit Korrektheit: Folgt offenbar aus der von insertion-sort. Laufzeitanalyse: etrachte eine beliebige Eingabe [..n], deren Elemente über [,) gleichverteilt sind. eobachtung: lle ProgrammzeilenaußerZeile 6 (ufrufvon insertion-sort) benötigen Zeit Θ(n). = Wir müssen wesentlich die erwartete Laufzeit jedes ufrufs von insertion-sort berechnen. ezeichne N i die Zufallsvariable, die die nzahl der Elemente in ucket i mißt. Wissen: insertion-sort besitzt quadratische Laufzeit. Sortieren in Linearzeit = Rekursion für die Laufzeit T(n) von bucket-sort: () T(n)=Θ(n) + i<n O(N i ) Die Laufzeit T(n) wird dadurch selbst zur Zufallsvariable. lso ergibt die Linearität des Erwartungswertes: () E[T(n)]=Θ(n) + i<n O(E[N i ]) eh. E[Ni ]= n für i < n. Damit gilt insgesamt: E[T(n)]=Θ(n)+n O( n )=Θ(n) FG KTuE, TU Ilmenau ud..6 6 FG KTuE, TU Ilmenau ud..6

8 Sortieren in Linearzeit eweis. Für i<n definiere Indikator-Zufallsvariablen X ij := I{[j] fällt in ucket i} für j =,...,n lso gilt: N i = #(Elemente in ucket i) = n = E[Ni ] = E[( n X ij ) ] j= = E[ n j= k= j= n X ij X ik ] j= k j X ij j= = E[ n Xij + n X ij X ik ] = n E[Xij ] + n E[X ij X ik ] j= j= k j Sortieren in Linearzeit Für /-wertige Zufallsvariablen Y gilt: E[Y ]=Pr{Y =}. Nach Gleichverteilung gilt: Pr{X ij =} = n, also E[X ij ] = n Nach Gleichverteilung gilt für k j: X ij,x ik sind unabhängig. Zusatz = E[X ij X ik ] = E[X ij ] E[X ik ] = n Insgesamt erhalten wir damit: E[Ni ] = n n + n j= j= k j n = n n + n (n ) n = + n n = n FG KTuE, TU Ilmenau ud..6 FG KTuE, TU Ilmenau ud..6 9