Algebraische Entscheidungsbäume

Transkript

1 Algebraische Entscheidungsbäume Behsaad Ramez 28. Mai Wiederholung 1.1 Allgemeine Sortieralgorithmen Definition:Allgemeine Sortieralgorithmen,sind Sortieralgorithmen, die nur auf Vergleichen zwischen Elementen der Eingabefolge beruhen. Sie sind auf beliebigen linear geordneten Universen (U, ) definiert. Abbildung 1: Ein Vergleichsbaum für 3 Elemente 1

2 Allgemeine Sortieralgorithmen sind durch einen Vergleichsbaum darstellbar. Im entsprechenden Vergleichsbaum repräsentiert jedes Blatt eine andere Permutation der n Eingabeelemente. Die Anzahl der Blätter k ist also n! Die Anzahl der Vergleiche entspricht im schlechtesten Fall der Höhe des Baums.Es folgt: Anzahl Vergleiche log(k) log(n!) Anzahl Vergleiche mindestens Θ(nlog(n)) Ein vergleichsbasierte Algorithmus benötigt zum Sortieren von n Elementen Ω(nlog(n)) Vergleiche.Wobei: f Ω(g) : c > 0 x 0 x > x 0 : f(x) c g(x) Wir haben also eine untere Schranke für das Sortieren auf beliebigen linear geordneten Universen gefunden. 1.2 Aussicht Wir werden nun ein Berechnungsmodell kennenlernen,in dem sich untere Schranken von Problemen systematisch feststellen lassen. 2 Algebraische Berechnungsbäume: 2.1 Einführung Ein Algorithmus P ist informal eine Prozedur,die eine Eingabe bestehend aus n reellen Zahlen auf eine Ausgabe aus dem Lösungsraum S abbildet. P : R n S Ein algebraischer Berechnungsbaum T für die Eingabe s 1...s n ist ein Binärbaum mit folgenden Einschränkungen: 1. Blätter enthalten Elemente aus S 2. Knoten u mit einem Kind,markiert durch Z(u): Z(u)=A 1 &A 2,& {+,,,/} Z(u)= A1 A i {Z(u ),R,s 1..s n },u : Vorfahre von u 3. Knoten mit zwei Kindern ist markiert durch A 0 A {Z(u ),R,s 1..s n },u : Vorfahre von u Kanten markiert durch,> A T ist der Algorithmus der T entspricht 2

3 Abbildung 2: algebraischer Berechnungsbaum 2.2 Definitionen: P : R n S sei ein Berechnungsproblem. P ist im algebraischen Berechnungsbaummodell lösbar, falls ein algebraischer Berechnungsbaum T existiert, sodass: (s 1,..s n ) R n,a T (s 1,..s n ) = P (s 1..s n ) Sei T ein algebraischer Berechnungsbaum.Die Zeitkomplexität von A T ist definiert als die Höhe von T. Sei P : R n S sei ein Berechnungsproblem,dass im algebraischen Berechnungsbaummodell lösbar ist. Die Zeitkomplexität von P ist definiert als die minimale Höhe aller algebraischen Berechnungsbäume,die P lösen. 3 Algebraische Entscheidungsbäume: 3.1 Definition Ein Berechnungsproblem P : R n S wird Entscheidungsproblem genannt,falls S = {Y ES,NO}. 3

4 Ein Beispiel dafür ist das element uniqueness Problem,das folgendermaßen definiert ist: { Y ES falls si s P (s 1..s n ) = j, i j NO, sonst Die Betrachtung von Entscheidungsproblemen hat den Vorteil,dass sie einfacher zu analysieren sind als Berechnungsprobleme. Da viele Berechnungsprobleme intern ein Entscheidungsproblem lösen,kann man ihre untere Schranke über eine Reduktion eines entsprechendes Entscheidungsproblem auf sie zeigen. Ein Algebraischer Berechnungsbaum T wir algebraischer Entscheidungsbaum genannt,falls die Blätter von T entweder YES oder NO beinhalten. 3.2 V P und die untere Schranke P : R n {Y ES,NO} sei ein Entscheidungsproblem. Ein Punkt (s 1..s n ) R n wird YES- Instanz genannt,falls P (s 1..s n ) = Y ES.V P R n sei die Menge aller YES-Instanzen: Beispiel element uniqueness: V P = (s 1,..s n ) R : 1 i<j n (s i s j ) 0 Eine untere Schranke eines Entscheidungsproblems P kann über die topologische Struktur von V P gefunden werden. CC(V P ) sei die Anzahl der Zusammenhangskomponenten von V P. Für die untere Schranke gilt dann: Im linearen Entscheidungsbaummodell: P Ω(log(CC(V P ))) Im algebraischen Entscheidungsbaummodell:P Ω( log(cc(v P ) nlog(3)) 1+2log3 ) 4 Lineare Entscheidungsbäume 4.1 Definition Als Einführung in das Thema werden wir eine erst einmal eine eingeschränkte Form von Entscheidungsbäumen betrachten. In linearen Entscheidungsbäumen ist jeder Knoten u mit einem Kind beschriftet durch Z(u) = A 1 &A 2,wobei: 1. & {+, },A i {Z(u ),R,s 1..s n },u : Vorfahre von u 2. & {,/} 4

5 A 1 {Z(u ),R,s 1..s n },u : Vorfahre von u A 2 R Es können also keine zwei Eingabeelemente miteinander multipliziert werden. Daraus folgt,dass jede Variable Z(u),die während der Ausführung entsteht eine lineare Funktion der Eingabevariablen ist.(z.b s 2 + 6s 3 ) 4.2 R(w) und Zeitkomplexität Sei R(w) die Menge der Eingaben für die A T im Blatt w terminiert. Seien v 1...v k alle Knoten auf dem Weg nach w,die zwei Kinder haben. Dann ist R(w) die Menge aller Punkte,(s 1...s n ) R n sodass für alle 1 i k gilt: 1. F i (s 1..s n ) 0 falls T auf dem Weg nach w,von v i aus zum linken Kind geht. 2. F i (s 1..s n ) > 0 falls T auf dem Weg nach w,von v i aus zum rechten Kind geht. Wobei F i (s 1..s n ) 0 eine lineare Funktion auf s 1..s n ist. Im linearen Entscheidungsbaummodell ist R(w) verbunden. Das heißt für p, q R(w) existiert eine stetige Kurve in R n zwischen p und q,die komplett in R(w) enthalten ist. Abbildung 3: R(w) ist konvex Daraus folgt: Seien A,B zwei verschiedene Zusammenhangskomponenten, p A, q B. 5

6 Die Blätter w p und w q,in denen A T bei Eingabe p,q terminiert sind verschieden. Es gibt mindestens so viele Blätter in T wie es Zusammenhangskomponenten in V P gibt. Abbildung 4: p und q sind in verschiedenen Blättern von T Da wir nun wissen,dass es mindestens so viele Blätter in T gibt,wie Zusammenhangskomponenten in V P folgt für die Zeitkomplexität eines Entscheidungsproblems P im linearen Entscheidungsbaummodell 4.3 Beispiel element uniqueness P Ω(log(CC(V P ))) Als Beispiel für das Finden von unteren Schranken nehmen wir wieder das element uniqueness Problem,mit: V P = (s 1,..s n ) R : 1 i<j n (s i s j ) 0 Seien π, p zwei verschiedene Permutationen von 1..n. Dann sind zwei Punkte p = (π(1)..π(n)),q = (p(1)..p(n)) in verschiedenen Zusammenhangskomponeten von V P. Es gibt nämlich immer 2 Indizes i,j mit 1 i n,1 j n so dass π(i) < π(j) und p(i) > p(j). Wenn man nun eine Kurve von p nach q zeichnen möchte, durchquert man immer die Hyperebene,in der x i = x j.dieser Punkt gehört aber nicht mehr zu V P,weshalb p,q in verschiedenen Zusammenhangskomponenten von V P seien müssen. CC(V P ) n! element uniqueness Ω(nlog(n)) 6

7 Abbildung 5: Beispiel element uniqueness 5 Allgemeine untere Schranke Das es mindestens so viele Blätter gibt wie Zusammenhangskomponenten gilt nur für lineare Entscheidungsbäume.Für den allgemeinen Fall müssen wir uns weitere Überlegungen machen. 7

8 Abbildung 6: Ein Blatt kann mehr als eine Zusammenhangskomponente beschreiben 5.1 Theorem zur Komplexität von Polynomen Seien k,g N\{0},und F 1...F k Polynome auf n Variablen, deren Grad kleiner oder gleich g ist: W = {(x 1..x n ) R n : F i (x 1,..x n ) = 0, 1 i k} Die Menge W hat höchstens g(2g 1) n 1 Zusammenhangskomponenten. Dieser Satz basiert auf einem nichttrivialen Beweis aus dem Bereich der algebraischen Topologie. Als nächstes werden wir sehen,wie man eine Menge von polynomiellen Ungleichungen und Gleichungen in eine Menge von polynomiellen Gleichungen umwandelt: 5.2 Umformung von Ungleichungen a,b,c N,E 1..E a,n 1..N b,p 1...P c sind Polynome mit Grad 2 W ist die Menge,für die die folgenden Punkte gelten: 8

9 1. E i (x 1..x n ) = 0, i : 1 i a 2. N i (x 1..x n ) 0, i : 1 i b 3. P i (x 1..x n ) > 0, i : 1 i c d = CC(W ),p j R n sei ein beliebiger Punkt aus der j-ten Zusammenhagskomponente von W. W ɛ ist dann: 1. E i (x 1..x n ) = 0, i : 1 i a 2. N i (x 1..x n ) 0, i : 1 i b 3. P i (x 1..x n ) ɛ, i : 1 i c ɛ = min{p i (p j ) : 1 i c,1 j d} mit b+c neuen Variablen formen wir E,N,P in polynomielle Gleichungen um. W sei die Menge aller Punkte (x 1..x n+b+c ) R n+b+c : 1. E i (x 1..x n ) = 0, i : 1 i a 2. N i (x 1..x n ) + x 2 n+i = 0, i : 1 i b 3. P i (x 1..x n ) x 2 n+b+i ɛ = 0, i : 1 i c Die Projektionvon W auf die ersten n Koordinaten ergibt genau W ɛ W ɛ = {(x 1..x n ) : x n+1..x n+b+c R,(x 1..x n+b+c W )} Da W ɛ eine Teilmenge von W ist,folgt nach dem obigen Theorem: CC(W ) CC(W ɛ ) CC(W ) 2 3 n+b+c 1 3 n+b+c 5.3 Reduktion von Entscheidungsbäumen u 1..u k+1 sei ein Pfad p in T von der Wurzel u 1 bis zum Blatt w=u k+1. Man kann R(w) mit k+s polynomiellen Ungleichungen darstellen. s=die Anzahl der Zuweisungen auf p. Wir benutzen dafür folgende Variablen: x 1..x n stellen die Eingabewerte s 1..s n dar x n+1..x n+k repräsentieren u 1..u k s Gehe auf dem Pfad p von der Wurzel bis w und füge für u i entsprechende Gleichungen und Ungleichungen hinzu. Wobei man für Knoten mit einem Kind(Berechnungsknoten) z.b. für Z(u i ) = Z(u j ) + Z(u l ), x n+i x n+j x n+l = 0 hinzufügt. 9

10 Abbildung 7: Ersetzungsregeln 10

11 Bei Knoten mit zwei Kindern fügt man die entsprechende Ungleichung hinzu,die zu u i+1 führt. Sei r nun die Anzahl der Berechnungsknoten,s die Anzahl der Funktionen(für die wir 2 Gleichungen brauchen) und t die Anzahl der Entscheidungen für den linken Weg in p. Es gibt also s+t polynomielle Ungleichungen.Und k-r-t polynomielle > Ungleichungen.Da wir n+k Variablen haben folgt: CC(R(w)) CC(W ) 3 n+2k+s r 3 n+2h,da s r,k h Da, folgt: V P = R(w) w:yes Blatt von T CC(V P ) w:yes Blatt von T CC(R(w)) CC(V P ) 3 n+2h 2 h h log(cc(v P )) nlog(3) 1 + 2log3 6 Beispiele Nach obigem Beweis folgt für das element uniqueness Problem: h nlog(n) nlog(3) 1 + 2log3 h Ω(nlog(n)) Wir können nun daraus untere Schranken für folgende Probleme folgern: Sortieren:Sei A der Algorithmus der das Sortierproblem in T(n) löst. Der Algorithmus B sei folgendermassen definiert:er bekommt als Eingabe n reelle Zahlen s 1..s n die er mit A sortiert.nun geht B durch die sortierte Folge und vergleicht je zwei Nachbarn auf Gleichheit.Falls keine gleichen Elemente in der Eingabe sind 11

12 gibt B NO zurück.andernfalls YES. Offensichtlich löst B das element uniquenes Problem in T(n)+O(n) Zeit.Da wir wissen,dass element uniqueness die untere Schranke von Ω(nlog(n)) hat folgt T (n) Ω(nlog(n)) closest pair: Das closest pair Problem auf einer Eingabe s 1..s n ist folgendermassen definiert: P (x 1..x n ) = min(x i x j,i j,1 i n,1 j n) Die untere Schranke von Ω(nlog(n)) folgt für closest pair, da P (x 1..x n ) 0 nur wenn alle Elemente x 1..x n verschieden sind. Diskriminante: Die Diskriminante von x 1..x n R ist definiert als: P (x 1..x n ) = i j(x i x j ) Da P (x 1..x n ) 0 nur wenn alle Elemente x 1..x n verschieden sind, gilt auch hier die untere Schranke Ω(nlog(n)) von element uniqueness. Set Disjointnis: Gegeben zwei Mengen A = {x 1..x n },B = {y 1..y n } Bestimme ob A B = W = (x 1..x n,y 1..y n ) : i,j (x i y j ) 0 Um CC(V P ) zu finden,geht man hier ähnlich vor wie bei element uniqueness. Seien p 1,p 2 zwei verschiedene Folgen von Zahlen von 1..2n, wobei die ersten Elemente (x 1..x n )eine Permutation π 1 der gerade Zahlen von 1..2n,und die letzten Elemente (y 1..y n )eine Permutation π 2 der ungerade Zahlen von 1..2n sind. (Wobei π 1 π 2 ) Es gibt nun immer zwei indizes i,j mit x i < y j in p 1 und x i > y j in p 2. Die beiden Punkte p 1 und p 2 liegen auf zwei verschiedenen Seiten einer Hyperebene x i = y j, die nicht in V P enthalten ist. Es muss also mindestens (n! (n! 1)) viele Zusammenhangskomponenten in V P geben. P Ω(log(CC(V P ))) = Ω(log((n!) 2 )) = Ω(nlog(n)) 12

13 Resultante: Gegeben 2n reelle Zahlen x 1..x n,y 1..y n R P (x 1..x n,y 1..y n ) = (x i y j ) i,j Da P (x 1..x n,y 1..y n ) 0 nur wenn es keine Schnitte in den Mengen A = {x 1..x n },B = {y 1..y n } gilt die untere Schranke Ω(nlog(n)) von Set Disjointnis. 7 Quellen Geometric Spanner Networks(Giri Narashimhan,Michiel Smid) Lower Bounds for Algebraic Computation Trees (Micheal Ben-Or) Skript zu Höhere Algorithmik aus dem WS 05/06 13