Seminar: Randomisierte Algorithmen Auswerten von Spielbäumen Nele Küsener

Transkript

1 Seminar: Randomisierte Algorithmen Auswerten von Sielbäumen Nele Küsener In diesem Vortrag wird die Laufzeit von Las-Vegas-Algorithmen analysiert. Das Ergebnis ist eine obere und eine untere Schranke für die maximal erwartete Laufzeit. Als Beisiel schauen wir uns einen randomisierten Algorithmus an, der Sielbäume auswertet. Inhaltsverzeichnis 1 Das Auswerten von Sielbäumen 1 2 Das Minimax-Prinzi Grundlegende Begriffe aus der Sieltheorie Beisiel von Neumann s Minimax-Theorem Anwendung des Minimax-Prinzi Berechnung der unteren Schranke für den Algorithmus von Snir 7 1 Das Auswerten von Sielbäumen Was ist ein Sielbaum? Ein Sielbaum ist ein verwurzelter und beschrifteter Baum mit einer gerade Anzahl von Generationen. Die Knoten, die einer geradzahligen Generation angehören, werden mit MIN beschriftet, die inneren Knoten aus einer ungeraden Generation werden mit MAX beschriftet. An jedem Blatt steht ein reeller Wert. Die Auswertung eines Sielbaumes ist das Bestimmen des Wertes an der Wurzel. Ein Knoten der mit MAX beschriftet ist, nimmt den maximalen Wert seiner Kinder an. Ein Knoten, der mit MIN beschriftet ist, entsrechend den minimalen Wert. Wir betrachten Binäre Sielbäume. Dort haben die Blätter entweder den Wert 0 oder 1. Die Boolschen Oerationen AND und OR ersetzen dort die Funktionen MIN und MAX. Notation t k = (v 1,..., v 4 k) {0, 1} 4k ist der Sielbaum der Höhe 2k. v i ist der Wert des i-ten Blattes bzgl. einer beliebigen, aber festen Abzählung der Blätter. Den Wert der Wurzel bezeichnet man mit w (t k ). Ein Sielbaum beschreibt folgendes Siel: Sieler A und Sieler B bestimmen abwechselnd von Knoten zu Knoten einen Weg von oben nach unten durch den Sielbaum. Den Wert des ausgewählten Blattes muss Sieler B an Sieler A bezahlen. Sieler B beginnt. Die inneren Knoten bezeichnen den maximalen Gewinn bzw. minimalen Verlust bei geschickter Sielweise. Ein Algorithmus zur Auswertung eines Sielbaums liest bei jedem Schritt den Wert eines Blattes ein, wobei die Wahl des als nächstes einzulesenden Blattes von den Werten der bereits insizierten Blätter abhängen darf. Als Maß für die Laufzeit eines

2 solchen Algorithmus nimmt man nur die Anzahl der eingelesenen Werte, da das Berechnen von Minimum und Maximum sehr schnell geht. Wir betrachten randomisierte Algorithmen, da diese den Vorteil haben, dass man ihnen keine gezielte Eingabebelegung geben kann, die sie zwingt alle Eingaben zu rüfen. Die deterministische Komlexität eines Algorithmus zum Auswerten eines Sielbaums ist n = 4 k. Man kann diese Laufzeit erzwingen, indem man dem Algorithmus an einem MAX/OR Knoten zuerst eine 0 liefert und bei einem MIN/AND Knoten zuerst eine 1. Randomisierter Algorithmus von Snir zur Auswertung eines Sielbaums Zur Auswertung eines AND-Knoten wähle man rein zufällig eines der beiden Kinder und bestimme rekursiv dessen Wert (= Wert eines in einem OR-Knoten verwurzelten Teilbaums). Ist der Wert des Kindes 0, so ist dies auch der zu bestimmende Wert des AND-Knoten. Ist der Wert des Kindes 1, dann bestimme man auch noch den Wert des anderen Kindes. Die Auswertung eines OR-Knoten verläuft analog mit vertauschten Rollen von 0 und 1. Der nächste Satz gibt eine obere Schranke für die maximal erwartete Anzahl der insizierten Blätter an: Satz 1.1: Sei L (t k ) die Anzahl der bei der Auswertung des Sielbaums t k insizierten Blätter, dann gilt max t k {0,1} 4k EL (t k) 3 k, k N. Beweis Wir beweisen den Satz er Induktion und fangen an mit k = 1. Unterteilung in zwei Fälle: w (t 1 ) = 0 und w (t 1 ) = 1: Im Fall, dass die Wurzel den Wert 0 annimmt, wählt der Algorithmus mit einer Wahrscheinlichkeit von 1 2 zuerst ein Kind mit dem Wert 0 und muss dann das zweite Kind nicht mehr auswerten. Jedes Kind der Wurzel hat zwei Blätter. Man kann also folgende Abschätzung machen: L (t 1 ) 2 (#insizierte Kinder). E [L (t 1 )] 2 E [#ins. Kinder] = 2 (P (ein ins. Kind) 1 + P (zwei ins.kinder) 2) = 2 (1 + 2 (1 )) = = Im Fall, dass die Wurzel den Wert 1 annimmt, müssen beide Kinder ausgewertet werden. Sie haben beide den Wert 1 und mit einer Wahrscheinlichkeit 1 2 ist das

3 erste Blatt eines Kindes eine 1. E [L (t 1 )] = 2 E [#ins. Blätter ro Kind] = 2 (1 + 2 (1 )) = 3 1 Nun folgt der Induktionsschritt von k zu k + 1: Seien t (i) k, i = 1,..., 4, die in den Enkeln der Wurzel von t k+1 verwurzelten binären Sielbäume der Höhe 2k. E [L (t k+1 )] = = = 4 E ( ) #ins. Blätter in Teilbaumi I {Teilbaum i ausgew.} i=1 4 E [#ins. Blätter in TB i] P (TB i ins.) i=1 4 3 k P (TB i ins.) i=1 4 3 k 3 4 i=1 = 3 k = 3 k+1 Bemerkung: Die Eingabe hat die Länge n = 4 k. Die erwarteten Kosten des rand. Algorithmus sind also durch n log 4 3 nach oben beschränkt. (log 4 3 = ) 2 Das Minimax-Prinzi Wie ist die Güte des Algorithmus von Snir zu beurteilen? Was ist die randomisierte Komlexität? Im folgenden Abschnitt wird allgemein eine Technik zur Herleitung einer unteren Schranke für die maximale erwartete Laufzeit von Las-Vegas-Algorithmen dargestellt. 2.1 Grundlegende Begriffe aus der Sieltheorie Bei einem Zwei-Personen-Nullsummen-Siel gewinnt der eine Sieler genau den Betrag, den der andere Sieler verliert. Sieler A verfügt über die reinen Strategien a i, 1 i n und Sieler B über die reinen Strategien b j, 1 j m. Bei Sielen der Strategien a i und b j, erhält Sieler A von Sieler B den Betrag c ij. c ij ist die Auszahlungs- oder Gewinnmatrix. Bei dem

4 bekannten Siel Schere, Stein, Paier ist eine Strategie die Auswahl von z.b. Schere. Wenn eine Strategie a i bzw. b j zufällig (mit Wahrscheinlichkeit i bzw. j ) ausgewählt wird, sricht man von einer gemischten Strategie. Sieler A wählt die Strategien (a i ) 1 i n mit den Wahrscheinlichkeiten = ( 1,..., n ) und Sieler B davon unabhängig die Strategien (b j ) 1 j m mit den Wahrscheinlichkeiten = ( 1,..., m ). Es gilt i i = j j = 1. Beisiel: Bei Schere, Stein, Paier ist eine mögliche gemischte Strategie: = = ( 1 3, 1 3, 1 ) 3 D.h. jeder Sieler bestimmt vor jeder Runde durch Zufall welche Strategie er sielt. In diesem Fall wählt er jede der Möglichkeiten mit der Wahrscheinlichkeit 1 3. Was ist der erwartete Gewinn von Sieler A? E c (I, J) = i,j i j c ij, wobei = ( 1,..., n ) und = ( 1,..., n ). A gewinnt in Erwartung mindestens min E c (I, J) ( ) V A := max min E c (I, J) ist der untere Wert des Siels. In Worten bedeutet dies: Sieler B bemüht sich die Auszahlung so klein wie möglich zu halten und Sieler A versucht dies zu maximieren. Eine Strategie *, die ( ) maximiert, nennt man eine otimale gemischte Strategie für Sieler A. V A ist bei Verwendung von * eine untere Schranke für den erwarteten Gewinn von Sieler A. Für Sieler B sieht es ähnlich aus: max E c (I, J) zu leistenden Zahlung bei Verfolgen der Strategie. ( ) ist die maximale Höhe der V B := min max E c (I, J) ist der obere Wert des Siels. Eine Strategie *, die ( ) minimiert, ist eine otimale gemischte Strategie für B. Bei Verwendung von * muss Sieler B in Erwartung einen maximalen Betrag in Höhe von V B an Sieler A bezahlen. V A V B, denn: min E E max min E max E Bemerkung: Existieren Strategien und, so dass E c (I, J) E c (I, J) E c (I, J) für alle und gilt, dann kann man zeigen, dass auch V B V A gilt V B max E c (I, J) E c (I, J) min E c (I, J) V A

5 V A = V B Wenn V A = V B gilt, dann ist das Siel otimal und es hat die Lösung (, ); V A bzw. V B werden als der Wert des Siels bezeichnet. 2.2 Beisiel Das Siel Schere, Stein, Paier hat die Gewinnmatrix: c ij = Sie beschreibt den Gewinn/Verlust aus der Sicht von Sieler A Die erste Zeile steht für die Strategie Schere, die zweite für Stein und die dritte für Paier. Die Strategien von Sieler B zeigen die Salten an. Wie hoch ist der erwartete Gewinn? = ( 1, 2, 3 ), = ( 1, 2, 3 ) E c (I, J) = = 1 ( 2 3 ) + 2 ( 3 1 ) + 3 ( 1 2 ) ( 1 = 0, falls = 3, 1 3, 1 ) 3 < 0, sonst Ein symmetrisches Zwei-Personen-Nullsummensiel ist otimal, wenn der Erwartungswert 0 ist. Bei reinen Strategien können V A und V B unterschiedlich sein: min c (i, j) = 1 für alle i max min c (i, j) = 1 = V A j i j max i c (i, j) = 1 für alle j min j max c (i, j) = 1 = V B i 2.3 von Neumann s Minimax-Theorem Satz 2.1 (von Neumann s Minimax-Theorem) Jedes durch eine endliche Matrix (c ij ) beschriebene Zwei-Personen-Nullsummen-Siel mit gemischten Strategien besitzt eine Lösung und hat den Wert max min E c (I, J) = min max E c (I, J) Bei festem ist die Funktion E c (I, J) = j i c ij linear in und nimmt ihr Minimum in einem der Extremalunkte des Simlex der Verteilung auf {1,..., m} an. Also gilt: min E c (I, J) = min j E c (I, j).

6 In Worten: Wenn der Sieler B die gemischte Strategie von A kennt, kann er eine reine Strategie sielen um seinen Verlust zu minimieren. (Entsrechendes gilt für Sieler A, wenn er die Strategie von B kennt.) Am Beisiel von Schere, Stein, Paier bedeutet dies, dass Sieler B immer Stein sielt, wenn in der Strategie von Sieler A Paier die größte Wahrscheinlichkeit hat. Eine Variante des Minimax-Theorems ist der Satz von Loomis max min E c (I, j) = min max E c (i, J). j i j und i sind die reinen und und die gemischten Strategien. 2.4 Anwendung des Minimax-Prinzi Nun wollen wir das Minimax-Prinzi zur Analyse der Güte von Las-Vegas-Algorithmen benutzen. Die Kosten des Algorithmus soll die Höhe der Zahlung sein, die der Sieler, der den Algorithmus entwirft, an den Sieler zahlen muss, der die Eingabe wählt. Bei den folgenden Überlegungen soll die Zahl der möglichen Eingaben und die Zahl der deterministischen Algorithmen (immer korrekt, in endlicher Zeit terminierend) zur Lösung des Problems endlich sein. A sei die Menge der deterministischen Algorithmen zur Lösung eines Problems und I die Menge der möglichen Eingaben. Für a A und i I bezeichne c (i, a) die Kosten des Algorithmus a bei Eingabe i. Kleiner Einschub: In diesem Abschnitt ist es zweckmäßig einen randomisierten Algorithmus als eine Wahrscheinlichkeitsverteilung auf einer Menge von deterministischen Algorithmen aufzufassen. Salo ausgedrückt: Bei einem randomisierten Algorithmus wird zufällig ein Weg für die Auswertung bestimmt. Danach kann man sagen, dass es genau einen deterministischen Algorithmus gibt, der diesen Weg geht. Wie sehen V A und V B jetzt aus und was bedeuten sie? Die Komlexität in Verteilung ist definiert als c dist := max min E c (I, a) = V A a Es wird das Maximum über alle Verteilungen auf I gebildet (also die schlimmste Eingabe ), bei dem Algorithmus, der die erwarteten Kosten minimiert. Die randomisierte Komlexität ist definiert als c rand := min max E c (i, A) = V B i Das ist das Minimum über alle Verteilungen auf A, bzw. bestes Worst-case-Verhalten eines zufälligen Algorithmus.

7 Das Minimax-Prinzi in der Form des Satz von Loomis besagt, dass die beiden Komlexitätsbegriffe übereinstimmen. Insbesondere gilt: Proosition 2.2 (Yao s Minimax-Theorem) Für alle Verteilungen auf der Menge I der möglichen Eingaben und alle Verteilungen auf der Menge A der deterministischen Algorithmen zur Lösung eines endlichen Problems gilt min E c (I, a) max E c (i, A). a A i I Wir können also sagen: Die erwartete Laufzeit eines randomisierten Algorithmus bei schlechtester Eingabe ist nach unten abgeschätzt durch die erwartete Laufzeit eines otimalen Algorithmus bei beliebiger aber fest gewählter Eingabe. Wir haben jetzt also eine untere Schranke für die maximal erwartete Laufzeit. 3 Berechnung der unteren Schranke für den Algorithmus von Snir Nun schauen wir uns wieder die Sielbäume an und berechnen eine untere Schranke für die maximal erwartete Laufzeit des Algorithmus von Snir. Zuerst müssen einige Dinge festgelegt werden. Man kann leicht zeigen, dass die Werte der Wurzel eines Sielbaums gleich bleiben, wenn man die AND/OR-Oerationen durch NOR-Oerationen ersetzt. Diese logische Oeration gibt nur dann eine 1 aus, wenn beide Eingaben 0 sind. Für Bäume der Höhe 2 ist dies leicht zu zeigen und dann erinnere man sich daran, dass Bäume der Höhe 2 (k + 1) im Prinzi Bäume der Höhe 2 sind, an deren 4 Blättern Bäume der Höhe 2k hängen. Um eine untere Schranke für die maximal erwartete Anzahl der durch einen zufälligen Algorithmus insizierten Blätter herzuleiten, brauchen wir eine bestimmte Verteilung der Blattbelegung und wir müssen eine untere Schranke für die maximal erwartete Anzahl der insizierten Blätter bei einem otimalen deterministischen Algorithmus beweisen. Die Blattbelegung: Den Blättern wird unabhängig mit Wahrscheinlichkeit der Wert 1 zugewiesen. = (1 ) 2 = Wir wählen so, da jetzt die Wahrscheinlichkeit, dass ein innerer Knoten den Wert 1 annimmt, auch ist. Die Werte von Knoten, die nicht in einer Vorfahr-Nachkomme-Beziehung stehen, sind unabhängig. Dies gilt insbesondere für benachbarte Knoten in einer Generation. Wie sollte ein otimaler deterministischer Algorithmus vorgehen? Der Algorithmus sollte immer zuerst den Nachbar eines Knoten angucken, bevor er den Rest des Baumes anschaut. Der Baum wird also nach einer Deth-first-search durchlaufen. Wenn der Wert eines Teilbaums bestimmt ist, werden die anderen Blätter nicht mehr eingelesen. Was ist die erwartete Laufzeit dieses Algorithmus? Sei Z h := # Blätter, die der Algorithmus zur Bestimmung des Wertes eines Knotens in der Generation 2k h insiziert. Dann gilt:

8 Z h = Z (1) h 1 + Z(2) h 1 I A h 1 und Z (i) h 1, i = 1, 2 unabh. Koien von Z h 1 Die Anzahl der insizierten Blätter in Generation 2k h setzt sich zusammen aus der Anzahl der insizierten Blätter in einem Teilbaum der Generation 2k h 1 und, falls dieser den Wert 0 annimmt, auch noch aus der Anzahl der insizierten Blätter im anderen Teilbaum. Das Ereignis A h 1 ist unabhängig von Z (2) h 1. Man kann also den Erwartungswert berechnen: EZ h = EZ h 1 + EZ h 1 EI Ah 1 = EZ h 1 + (1 )EZ h 1 = (2 )EZ h 1 Durch Induktion kann man zeigen, dass EZ 2k = (2 ) 2k gilt. Aus Yao s Minimax-Prinzi folgt nun: Satz 3.1 Die maximale erwartete Anzahl der von einem zufälligen Algorithmus bei der Auswertung eines binären 0-1 Sielbaums insizierten Blätter ist mindestens n α. Dabei ist n die Anzahl der Blätter des Baums und α = log 2 (2 ) = Dabei ist n die Anzahl. Nun kennen wir also eine obere und eine untere Schranke für die maximal erwartete Laufzeit von randomisierten Algorithmen. Für den Algorithmus von Snir kann man man die Komlexität des Auswertens exakt berechnen: Satz 3.2 Der randomisierte Algorithmus von Snir zur Auswertung binärer 0-1 Sielbäume ist otimal. Die Komlexität ( des Auswertens eines binären Sielbaums mit n Blättern ist n β ), wobei β = log =