Probabilistische Analyse von Algorithmen

Transkript

1 Lehrstuhl Informatik I Algorithmen & Komplexität RWTH Aachen 27. Mai 2005

2 Übersicht Einführung 1 Einführung 2 Exkurs: Wahrscheinlichkeitstheorie Borgwardts 3 Idee 4 Formale Beschreibung des s

3 Motivation Woran erkennt man eine nützliche Theorie? Zwei notwendige Aspekte: Sie sollte Beobachtungen erklären können. Sie sollte zuverlässige Voraussagen machen.

4 Motivation Woran erkennt man eine nützliche Theorie? Zwei notwendige Aspekte: Sie sollte Beobachtungen erklären können. Sie sollte zuverlässige Voraussagen machen. Worst-Case-Analysen sind dafür oft zu pessimistisch. Beispiele: Simplex-Algorithmus Rucksackproblem

5 Simplex-Algorithmus Simplex-Algorithmus Im Worst-Case exponentielle Laufzeit (siehe Abschnitt 2.5). In der Praxis deutlich schneller als die Ellipsoid-Methode. Auch heute noch in der Praxis bevorzugte Methode zur Lösung von LPs.

6 Simplex-Algorithmus Simplex-Algorithmus Im Worst-Case exponentielle Laufzeit (siehe Abschnitt 2.5). In der Praxis deutlich schneller als die Ellipsoid-Methode. Auch heute noch in der Praxis bevorzugte Methode zur Lösung von LPs. Schlussfolgerung Worst-Case-LPs treten in praktischen Anwendungen nicht (oder nur sehr selten) auf.

7 Average-Case-Analyse Möglicher Ausweg: Average-Case-Analyse? Untersuche nicht, was im Worst-Case passiert, sondern, was im Durchschnitt passiert. Klingt gut, aber was ist ein durchschnittliches LP?

8 Average-Case-Analyse Möglicher Ausweg: Average-Case-Analyse? Untersuche nicht, was im Worst-Case passiert, sondern, was im Durchschnitt passiert. Klingt gut, aber was ist ein durchschnittliches LP? Naiver Ansatz max c T x, Ax b, wobei alle Einträge aus A, b und c unabhängig und uniform aus dem Intervall [0, 1] gewählt werden. Aussagen über die (erwartete) Laufzeit des Simplex-Algorithmus in diesem Modell sind bedeutungslos, denn typische Eingaben sind nicht völlig zufällig.

9 Typische Eingaben sind nicht völlig zufällig Ansonsten wäre Fernsehen sehr langweilig...

10 Average-Case-Analysen Prinzipielle Probleme von Average-Case-Analysen Was der Average-Case ist, ist häufig nicht formalisierbar und hängt von der konkreten Anwendung ab. Eine Average-Case-Analyse bezüglich einer Verteilung auf den Eingaben sagt nichts über das Verhalten bezüglich anderer Verteilungen aus.

11 Übersicht Einführung Exkurs: Wahrscheinlichkeitstheorie Borgwardts 1 Einführung 2 Exkurs: Wahrscheinlichkeitstheorie Borgwardts 3 Idee 4 Formale Beschreibung des s

12 Exkurs: Wahrscheinlichkeitstheorie Borgwardts Den probabilistischen Analysen, die wir skizzieren werden, liegt die sogenannte zu Grunde. Betrachte das LP max c T x, Ax b, x 0. Annahme: Wir kennen einen Knoten x R n des Lösungspolyhedrons.

13 Exkurs: Wahrscheinlichkeitstheorie Borgwardts

14 Exkurs: Wahrscheinlichkeitstheorie Borgwardts Berechne zunächst einen Vektor u R n, so dass x die Zielfunktion u T x maximiert.

15 Exkurs: Wahrscheinlichkeitstheorie Borgwardts Berechne zunächst einen Vektor u R n, so dass x die Zielfunktion u T x maximiert. Projiziere das Lösungspolyhedron auf die Ebene, die durch c und u aufgespannt wird.

16 Exkurs: Wahrscheinlichkeitstheorie Borgwardts 2-dimensionale Projektion Die Projektion ist 2-dimensional, also ein Polygon. c u

17 Exkurs: Wahrscheinlichkeitstheorie Borgwardts 2-dimensionale Projektion Die Projektion ist 2-dimensional, also ein Polygon. Die Projektion von x ist ein Knoten dieses Polygons. c x u

18 Exkurs: Wahrscheinlichkeitstheorie Borgwardts 2-dimensionale Projektion Die Projektion ist 2-dimensional, also ein Polygon. Die Projektion von x ist ein Knoten dieses Polygons. Die Projektion von x opt ist ein Knoten dieses Polygons. c x opt u x

19 Exkurs: Wahrscheinlichkeitstheorie Borgwardts 2-dimensionale Projektion Die Projektion ist 2-dimensional, also ein Polygon. x opt Die Projektion von x ist ein Knoten dieses Polygons. Die Projektion von x opt ist ein Knoten dieses Polygons. Kanten des Polygons entsprechen Kanten des Polyhedrons. c u x

20 Exkurs: Wahrscheinlichkeitstheorie Borgwardts 2-dimensionale Projektion In 2d ist die Simplexmethode einfach: Folge den Kanten des Polygons! c x opt x u

21 Exkurs: Wahrscheinlichkeitstheorie Borgwardts 2-dimensionale Projektion In 2d ist die Simplexmethode einfach: Folge den Kanten des Polygons! Wir starten am Knoten x... c x opt x u

22 Exkurs: Wahrscheinlichkeitstheorie Borgwardts 2-dimensionale Projektion In 2d ist die Simplexmethode einfach: Folge den Kanten des Polygons! Wir starten am Knoten x und folgen den Kanten zu x opt. c x opt x u

23 Exkurs: Wahrscheinlichkeitstheorie Borgwardts 2-dimensionale Projektion In 2d ist die Simplexmethode einfach: Folge den Kanten des Polygons! Wir starten am Knoten x und folgen den Kanten zu x opt. c x opt x u

24 Exkurs: Wahrscheinlichkeitstheorie Borgwardts 2-dimensionale Projektion In 2d ist die Simplexmethode einfach: Folge den Kanten des Polygons! Wir starten am Knoten x und folgen den Kanten zu x opt. Beachte: Das Polygon kann exponentiell viele Kanten haben. c x opt u x

25 Exkurs: Wahrscheinlichkeitstheorie Borgwardts Analyse der Die Anzahl der Kanten des Polygons ist also eine obere Schranke für die Anzahl der Pivotschritte des Simplexalgorithmus.

26 Exkurs: Wahrscheinlichkeitstheorie Borgwardts Analyse der Die Anzahl der Kanten des Polygons ist also eine obere Schranke für die Anzahl der Pivotschritte des Simplexalgorithmus. Die probabilistischen Analysen, die wir ansprechen werden, basieren darauf, die erwartete Anzahl von Kanten zu beschränken.

27 Exkurs: Wahrscheinlichkeitstheorie Borgwardts Analyse der Die Anzahl der Kanten des Polygons ist also eine obere Schranke für die Anzahl der Pivotschritte des Simplexalgorithmus. Die probabilistischen Analysen, die wir ansprechen werden, basieren darauf, die erwartete Anzahl von Kanten zu beschränken. Hinweis: Eigentlich betrachten die Analysen das duale Lösungspolyhedron und eine duale Schatteneckenregel, das wollen wir aber in dieser Vorlesung nicht vertiefen.

28 Verteilung und Dichte Exkurs: Wahrscheinlichkeitstheorie Borgwardts Verteilung und Dichte (Ω, A, P) sei ein Wahrscheinlichkeitsraum X : Ω R sei eine reelle Zufallsvariable Verteilung von X: F(x) = Pr [X x]

29 Verteilung und Dichte Exkurs: Wahrscheinlichkeitstheorie Borgwardts Verteilung und Dichte (Ω, A, P) sei ein Wahrscheinlichkeitsraum X : Ω R sei eine reelle Zufallsvariable Verteilung von X: F(x) = Pr [X x] Pr [X [a, b]] = F (b) F (a)

30 Verteilung und Dichte Exkurs: Wahrscheinlichkeitstheorie Borgwardts Verteilung und Dichte (Ω, A, P) sei ein Wahrscheinlichkeitsraum X : Ω R sei eine reelle Zufallsvariable Verteilung von X: F(x) = Pr [X x] Pr [X [a, b]] = F (b) F (a) Dichte von X: f : R R 0 F (x) = x f (t)dt.

31 Beispiel: Uniforme Verteilung Exkurs: Wahrscheinlichkeitstheorie Borgwardts Verteilung 0 falls x 0 F (x) = x falls 0 x 1 1 falls x 1 1 Dichte 0 falls x 0 f (x) = 1 falls 0 x 1 0 falls x

32 Beispiel Einführung Exkurs: Wahrscheinlichkeitstheorie Borgwardts Verteilung F (x) = 1 0 falls x 0 2x 2 falls 0 x 1 2 4x 2x 1 falls 1 2 x 1 1 falls x 1 Dichte f (x) = 2 0 falls x 0 4x falls 0 x 1 2 4(1 x) falls 1 2 x 1 0 falls x

33 Exkurs: Wahrscheinlichkeitstheorie Borgwardts Borgwardts Analyse Anfang der 80er Jahre gelang Borgward eine Average-Case-Analyse des Simplex-Algorithmus für das folgende Eingabemodell. Eingabemodell Er untersuchte LPs der folgenden Form: max c T x a 1 x 1,..., a m x 1 Dabei seien c, a 1,..., a m R n identisch, unabhängig und rotationssymmetrisch verteilt.

34 Exkurs: Wahrscheinlichkeitstheorie Borgwardts Was bedeutet rotationssymmetrisch? Rotationssymmetrische Verteilung Eine rotationssymmetrische Verteilung G auf R n ist eindeutig durch eine Verteilung F : R 0 R 0 beschrieben. Ein Vektor gemäß G wird wie folgt erzeugt. Wähle zunächst die Länge r des Vektors gemäß der Verteilung F. r r r r

35 Exkurs: Wahrscheinlichkeitstheorie Borgwardts Was bedeutet rotationssymmetrisch? Rotationssymmetrische Verteilung Eine rotationssymmetrische Verteilung G auf R n ist eindeutig durch eine Verteilung F : R 0 R 0 beschrieben. Ein Vektor gemäß G wird wie folgt erzeugt. Wähle zunächst die Länge r des Vektors gemäß der Verteilung F. Wähle dann einen Vektor auf dem Rand der n-dimensionalen Kugel mit Radius r uniform zufällig. r r r r

36 Einführung Exkurs: Wahrscheinlichkeitstheorie Borgwardts Theorem (Borgwardt 1987) Die erwartete Anzahl von Schritten des Simplex-Algorithmus mit der auf LPs, die gemäß Borgwardts Eingabemodell mit beliebiger rotationssymmetrischer Verteilung erzeugt werden, beträgt O(m 1/(n 1) n 4 ).

37 Einführung Exkurs: Wahrscheinlichkeitstheorie Borgwardts Theorem (Borgwardt 1987) Die erwartete Anzahl von Schritten des Simplex-Algorithmus mit der auf LPs, die gemäß Borgwardts Eingabemodell mit beliebiger rotationssymmetrischer Verteilung erzeugt werden, beträgt O(m 1/(n 1) n 4 ). Der Beweis ist technisch anspruchsvoll und würde wegen seines Umfangs den Rahmen dieser Vorlesung sprengen.

38 Fazit Einführung Exkurs: Wahrscheinlichkeitstheorie Borgwardts Fazit Borgwardts Modell ist in dem Sinne flexibel, dass die rotationssymmetrische Verteilung beliebig gewählt werden kann.

39 Fazit Einführung Exkurs: Wahrscheinlichkeitstheorie Borgwardts Fazit Borgwardts Modell ist in dem Sinne flexibel, dass die rotationssymmetrische Verteilung beliebig gewählt werden kann. Dennoch ist es stark eingeschränkt und nicht realitätsnah. (Rotationssymmetrie ist für die Analyse hilfreich, aber warum sollten Eingaben in der Praxis so aussehen? Gleiches gilt für die Einschränkung auf 1 Bedingungen.)

40 Fazit Einführung Exkurs: Wahrscheinlichkeitstheorie Borgwardts Fazit Borgwardts Modell ist in dem Sinne flexibel, dass die rotationssymmetrische Verteilung beliebig gewählt werden kann. Dennoch ist es stark eingeschränkt und nicht realitätsnah. (Rotationssymmetrie ist für die Analyse hilfreich, aber warum sollten Eingaben in der Praxis so aussehen? Gleiches gilt für die Einschränkung auf 1 Bedingungen.) Borgwardts Analyse hat aber den Grundstein für eine realitätsnähere probabilistische Analyse gelegt, die wir nun skizzieren wollen.

41 Übersicht Einführung Idee 1 Einführung 2 Exkurs: Wahrscheinlichkeitstheorie Borgwardts 3 Idee 4 Formale Beschreibung des s

42 Idee Smoothed Analysis (Geglättete Analyse) Motivation Eingaben, die in der Praxis vorkommen haben eine bestimmte Struktur (die wir i.a. nicht genau kennen), sie unterliegen aber typischerweise auch zumindest leichten zufälligen Einflüssen.

43 Idee Smoothed Analysis (Geglättete Analyse) Motivation Eingaben, die in der Praxis vorkommen haben eine bestimmte Struktur (die wir i.a. nicht genau kennen), sie unterliegen aber typischerweise auch zumindest leichten zufälligen Einflüssen. Beispiel: Ein LP, das Warenpreise enthält, die von den aktuellen Währungsschwankungen abhängen.

44 Idee Smoothed Analysis (Geglättete Analyse) Motivation Eingaben, die in der Praxis vorkommen haben eine bestimmte Struktur (die wir i.a. nicht genau kennen), sie unterliegen aber typischerweise auch zumindest leichten zufälligen Einflüssen. Beispiel: Ein LP, das Warenpreise enthält, die von den aktuellen Währungsschwankungen abhängen. Spielman und Teng haben deswegen semi-zufällige Modelle untersucht.

45 Idee Smoothed Analysis (Geglättete Analyse) Semi-zufälliges Modell Eingaben werden in zwei Stufen generiert: 1 Ein Gegner gibt eine Eingabe I vor. Beispiel: LPs max c T x, Ax b mit A R m n, b R m und c R n 1 Gegner wählt A, b und c beliebig.

46 Idee Smoothed Analysis (Geglättete Analyse) Semi-zufälliges Modell Eingaben werden in zwei Stufen generiert: 1 Ein Gegner gibt eine Eingabe I vor. 2 I wird zufällig ein wenig verändert (perturbiert). Beispiel: LPs max c T x, Ax b mit A R m n, b R m und c R n 1 Gegner wählt A, b und c beliebig. 2 Auf die Einträge von A und b werden unabhängige normalverteilte Zufallsvariablen addiert.

47 Ein Beispiel Einführung Idee Gegner wählt LP x A = 1.5 1, b = x 1

48 Ein Beispiel Einführung Idee Gegner wählt LP Perturbation x 2 x A = 1.5 1, b = x A = , b = x 1

49 Geglättete Komplexität Idee Definitionen I = Menge der Eingaben I n = Menge der Eingaben der Länge n T A (I) = Laufzeit von Algorithmus A auf Eingabe I per(i) = zufällig Perturbation von I

50 Geglättete Komplexität Idee Definitionen I = Menge der Eingaben I n = Menge der Eingaben der Länge n T A (I) = Laufzeit von Algorithmus A auf Eingabe I per(i) = zufällig Perturbation von I Komplexitätsbegriffe Worst-Case-Komplexität: max I In T A (I) Average-Case-Komplexität: E I In [T A (I)] Geglättete Komplexität: max I In E [T A (per(i))]

51 Geglättete Komplexität Idee

52 Geglättete Komplexität Idee

53 Idee Normalverteilung Die Normalverteilung mit Standardabweichung σ wird beschrieben durch die Dichte f (x) = 1 ( σ 2π exp x 2 ) 2σ 2.

54 Idee

55 Idee Eigenschaften Je kleiner σ, desto konzentrierter ist die Verteilung um den Nullpunkt. Normalverteilungen werden in vielen Situationen als realistisch angesehen (Körpergröße, IQ,...). 1 sigma=0.5 sigma=1 sigma=

56 Idee Der Gegner gibt das LP max c T x, Ax b vor.

57 Idee Der Gegner gibt das LP max c T x, Ax b vor. Skaliere die Nebenbedingungen so, dass für jede Bedingung b i = 1 gilt.

58 Idee Der Gegner gibt das LP max c T x, Ax b vor. Skaliere die Nebenbedingungen so, dass für jede Bedingung b i = 1 gilt. Addiere eine unabhängige normalverteilte Zufallsvariable mit Standardabweichung σ zu jedem Eintrag aus A und b.

59 Idee Je kleiner σ ist, desto kleiner ist die (erwartete) Perturbation

60 Idee Je kleiner σ ist, desto kleiner ist die (erwartete) Perturbation Je kleiner σ ist, desto mehr Einfluss hat der Gegner, desto näher sind wir also einer Worst-Case-Betrachtung.

61 Idee Je kleiner σ ist, desto kleiner ist die (erwartete) Perturbation Je kleiner σ ist, desto mehr Einfluss hat der Gegner, desto näher sind wir also einer Worst-Case-Betrachtung. Für sehr große σ nähert sich die Analyse einer Average-Case-Analyse.

62 Idee Je kleiner σ ist, desto kleiner ist die (erwartete) Perturbation Je kleiner σ ist, desto mehr Einfluss hat der Gegner, desto näher sind wir also einer Worst-Case-Betrachtung. Für sehr große σ nähert sich die Analyse einer Average-Case-Analyse. Die geglättete Analyse ist also ein Hybrid aus Worst-Caseund Average-Case-Analyse.

63 Einführung Idee Theorem (Spielman und Teng 2001) Die erwartete Anzahl von Schritten des Simplex-Algorithmus mit der auf LPs, die gemäß dem oben beschriebenen Eingabemodell mit Standardabweichung σ erzeugt werden, ist O(poly(n, m, 1/σ)).

64 Übersicht Einführung Formale Beschreibung des s 1 Einführung 2 Exkurs: Wahrscheinlichkeitstheorie Borgwardts 3 Idee 4 Formale Beschreibung des s

65 Übertragung auf diskrete Probleme Formale Beschreibung des s Übertragung auf diskrete Probleme Lässt sich das von Spielman und Teng für LPs auch auf ganzzahlige Programme, also ILPs, übertragen?

66 Übertragung auf diskrete Probleme Formale Beschreibung des s Übertragung auf diskrete Probleme Lässt sich das von Spielman und Teng für LPs auch auf ganzzahlige Programme, also ILPs, übertragen? Wir betrachten im Folgenden nur binäre Programme.

67 Übertragung auf diskrete Probleme Formale Beschreibung des s Übertragung auf diskrete Probleme Lässt sich das von Spielman und Teng für LPs auch auf ganzzahlige Programme, also ILPs, übertragen? Wir betrachten im Folgenden nur binäre Programme. Das muss zunächst für ILPs angepasst werden!

68 Beispiel Einführung Formale Beschreibung des s Beispiel: Vertex Cover Eingabe: Graph G = (V, E)

69 Beispiel Einführung Formale Beschreibung des s Beispiel: Vertex Cover Eingabe: Graph G = (V, E) Ausgabe: Ein minimales Vertex Cover.

70 Beispiel Einführung Formale Beschreibung des s Beispiel: Vertex Cover Eingabe: Graph G = (V, E) Ausgabe: Ein minimales Vertex Cover. ILP-Formulierung: v V : x v {0, 1} min v V x v e = (v, u) E : x v + x u 1

71 Beispiel Einführung Formale Beschreibung des s Beispiel: Vertex Cover Eingabe: Graph G = (V, E) Ausgabe: Ein minimales Vertex Cover. ILP-Formulierung: v V : x v {0, 1} min v V x v e = (v, u) E : x v + x u 1 Ist es sinnvoll, die Nebenbedingungen zu perturbieren?

72 Beispiel Einführung Formale Beschreibung des s u v w Eigenschaften Minimales Vertex Cover ist der Knoten v, d.h. x v = 1 und x u = x w = 0. Dann gilt: x u + x v 1 und x v + x w 1.

73 Beispiel Einführung Formale Beschreibung des s u v w Eigenschaften Wir perturbieren jetzt die Nebenbedingungen: 1.1 x u x v 1.1 und 1.2 x v x w 0.9.

74 Beispiel Einführung Formale Beschreibung des s u v w Eigenschaften Wir perturbieren jetzt die Nebenbedingungen: 1.1 x u x v 1.1 und 1.2 x v x w 0.9. Der Knoten v alleine bildet nun keine gültige Lösung mehr, denn 1.1 x u x v = 0.9 < 1.1 für x v = 1 und x u = x w = 0.

75 Beispiel Einführung Formale Beschreibung des s u v w Eigenschaften Wir perturbieren jetzt die Nebenbedingungen: 1.1 x u x v 1.1 und 1.2 x v x w 0.9. Der Knoten v alleine bildet nun keine gültige Lösung mehr, denn 1.1 x u x v = 0.9 < 1.1 für x v = 1 und x u = x w = 0. Durch die Perturbation wurde also die kombinatorische Struktur des Problems zerstört!

76 Schlussfolgerung Einführung Formale Beschreibung des s Schlussfolgerung ILPs beschreiben i.a. Probleme mit einer kombinatorischen Struktur.

77 Schlussfolgerung Einführung Formale Beschreibung des s Schlussfolgerung ILPs beschreiben i.a. Probleme mit einer kombinatorischen Struktur. Wahlloses Perturbieren der Nebenbedingungen zerstört diese kombinatorische Struktur.

78 Schlussfolgerung Einführung Formale Beschreibung des s Schlussfolgerung ILPs beschreiben i.a. Probleme mit einer kombinatorischen Struktur. Wahlloses Perturbieren der Nebenbedingungen zerstört diese kombinatorische Struktur. Deswegen wäre ein solches Eingabemodell keineswegs realistisch.

79 Formale Beschreibung des s Problemklasse Wir betrachten deswegen Probleme der folgenden Form: max c 1 x c n x n x = (x 1,..., x n ) S Ax b Dabei ist S eine beliebige Teilmenge von {0, 1} n.

80 Formale Beschreibung des s Problemklasse Wir betrachten deswegen Probleme der folgenden Form: max c 1 x c n x n x = (x 1,..., x n ) S Ax b Dabei ist S eine beliebige Teilmenge von {0, 1} n. Zusätzlich zu den linearen Nebenbedingungen, die perturbiert werden, kann also durch S eine Problemstruktur beschrieben werden, die nicht perturbiert wird.

81 Beispiel Einführung Formale Beschreibung des s Spannbaumproblem mit Nebenbedingung Eingabe: Graph G = (V, E), Gewichte w : E N, Kosten c : E N, Budget b

82 Beispiel Einführung Formale Beschreibung des s Spannbaumproblem mit Nebenbedingung Eingabe: Graph G = (V, E), Gewichte w : E N, Kosten c : E N, Budget b Finde einen minimalen (bzgl. Gewicht) Spannbaum, der die Kostengrenze einhält.

83 Beispiel Einführung Formale Beschreibung des s Spannbaumproblem mit Nebenbedingung Eingabe: Graph G = (V, E), Gewichte w : E N, Kosten c : E N, Budget b Finde einen minimalen (bzgl. Gewicht) Spannbaum, der die Kostengrenze einhält. Variablen: e E : x e {0, 1}

84 Beispiel Einführung Formale Beschreibung des s Spannbaumproblem mit Nebenbedingung Eingabe: Graph G = (V, E), Gewichte w : E N, Kosten c : E N, Budget b Finde einen minimalen (bzgl. Gewicht) Spannbaum, der die Kostengrenze einhält. Variablen: e E : x e {0, 1} S {0, 1} m bezeichne die Menge aller Spannbäume min e E w(e) x e x S und e E c(e) x e b.

85 Formale Beschreibung des s Spannbaumproblem mit Nebenbedingung Eingabe Budget b = 7 (Gew., Kosten) (1,6) (5,1) (2,2) (5,1) (1,1)

86 Formale Beschreibung des s Spannbaumproblem mit Nebenbedingung Eingabe Budget b = 7 (Gew., Kosten) (1,6) Minimaler Spannbaum Gewicht 4 Kosten 9 (1,6) (5,1) (2,2) (5,1) (2,2) (1,1) (1,1)

87 Formale Beschreibung des s Spannbaumproblem mit Nebenbedingung Eingabe Budget b = 7 (Gew., Kosten) (1,6) Minimaler Spannbaum Gewicht 4 Kosten 9 (1,6) Optimale Lösung Gewicht 8 Kosten 4 (5,1) (2,2) (5,1) (2,2) (2,2) (5,1) (1,1) (1,1) (1,1)

88 Formale Beschreibung des s Zusammenfassung Gegner gibt Problem vor: max c T x, Ax b, x S. Wir perturbieren entweder die Koeffizienten der Zielfunktion c, die Einträge von A oder beides. Die Perturbation erfolgt (so wie bei LPs) durch Addition von unabhängigen Zufallsvariablen.

89 Formale Beschreibung des s Allgemeineres LPs wurden durch Addition einer normalverteilten Zufallsvariable perturbiert.

90 Formale Beschreibung des s Allgemeineres LPs wurden durch Addition einer normalverteilten Zufallsvariable perturbiert. Die Laufzeit wurde in Abhängigkeit von σ angegeben.

91 Formale Beschreibung des s Allgemeineres LPs wurden durch Addition einer normalverteilten Zufallsvariable perturbiert. Die Laufzeit wurde in Abhängigkeit von σ angegeben. Wir erlauben die Addition einer Zufallsvariable mit beliebiger Dichte f.

92 Formale Beschreibung des s Allgemeineres LPs wurden durch Addition einer normalverteilten Zufallsvariable perturbiert. Die Laufzeit wurde in Abhängigkeit von σ angegeben. Wir erlauben die Addition einer Zufallsvariable mit beliebiger Dichte f. Die Laufzeit wird in Abhängigkeit von der maximalen Dichte φ = sup x R f (x) angegeben.

93 Formale Beschreibung des s Normalverteilung Die Dichte der Normalverteilung mit Standardabweichung σ ist f (x) = 1 ( σ 2π exp x 2 ) 2σ 2. Es gilt Also φ 1/σ. φ = sup f (x) = 1 x R σ 2π.

94 Formale Beschreibung des s 1 sigma=0.5 sigma=1 sigma=

95 Formale Beschreibung des s

96 Formale Beschreibung des s Zusammenfassung Der Parameter φ gibt (analog zu σ) an, wie groß die erwartete Perturbation ist.

97 Formale Beschreibung des s Zusammenfassung Der Parameter φ gibt (analog zu σ) an, wie groß die erwartete Perturbation ist. Je größer φ ist, desto mehr Einfluss hat der Gegner, desto näher sind wir dem Worst-Case.

98 Formale Beschreibung des s Zusammenfassung Der Parameter φ gibt (analog zu σ) an, wie groß die erwartete Perturbation ist. Je größer φ ist, desto mehr Einfluss hat der Gegner, desto näher sind wir dem Worst-Case. Je kleiner φ ist, desto näher sind wir einer Average-Case-Analyse.

99 Formale Beschreibung des s Zusammenfassung Der Parameter φ gibt (analog zu σ) an, wie groß die erwartete Perturbation ist. Je größer φ ist, desto mehr Einfluss hat der Gegner, desto näher sind wir dem Worst-Case. Je kleiner φ ist, desto näher sind wir einer Average-Case-Analyse. Je größer φ wird, desto größer sollte also auch die erwartete Laufzeit werden.

100 Beispiel: Rucksackproblem Formale Beschreibung des s Kosten Gewicht

101 Beispiel: Rucksackproblem Formale Beschreibung des s Kleines φ Kosten Gewicht

102 Beispiel: Rucksackproblem Formale Beschreibung des s Großes φ Kosten Gewicht

103 Einführung Formale Beschreibung des s Wir werden das folgende Theorem beweisen. Theorem (Beier, Vöcking 2004) Ein binäres Optimierungsproblem hat genau dann eine polynomielle geglättete Komplexität, wenn es einen pseudopolynomiellen Algorithmus für das Problem gibt.

104 Einführung Formale Beschreibung des s Wir werden das folgende Theorem beweisen. Theorem (Beier, Vöcking 2004) Ein binäres Optimierungsproblem hat genau dann eine polynomielle geglättete Komplexität, wenn es einen pseudopolynomiellen Algorithmus für das Problem gibt. Hinweise Pseudopolynomiell bezieht sich auf genau diejenigen Koeffizienten, die perturbiert werden. Formale Definition von polynomieller geglätteter Komplexität später.

105 Folgerungen Einführung Formale Beschreibung des s Folgerungen Das TSP hat keine polynomielle geglättete Komplexität. Das 2-kriterielle Spannbaumproblem hat eine polynomielle geglättete Komplexität, wenn man Gewichte und Kosten perturbiert.

106 Literatur Einführung Formale Beschreibung des s Literatur Rene Beier, Berthold Vöcking Typical Properties of Winners and Losers in Discrete Optimization, STOC Karl Heinz Borgwardt The Simplex Method A Probabilistic Analysis, Springer, Daniel Spielman, Shang-Hua Teng Smoothed Analysis of Algorithms: Why the Simplex Algorithm Usually Takes Polynomial Time, Journal of the ACM, 51(3), , 2004