Überblick: Entscheidungstheoretische Konzepte Seminar Online-Optimierung Diana Balbus

Transkript

1 Überblick: Entscheidungstheoretische Konzepte Seminar Online-Optimierung Diana Balbus Einleitung Ein Online-Algorithmus muss Ausgaben berechnen, ohne zukünftige Eingaben zu kennen. Für die Bewertung von Online-Algorithmen benötigt man ein Optimalitätskriterium. Welche Entscheidungskriterien kann man überhaupt auf Online-Probleme anwenden? Was rechtfertigt die Wahl eines bestimmten Kriteriums? Ist der kompetitive Faktor ein vernünftiges Kriterium? Begriffe 1. Ein einfaches theoretisches Entscheidungsmodell: A = Menge von Aktionen/Entscheidungen S = Menge von Zuständen C : A S R Kostenfunktion Falls A und S endlich Kostenfunktion kann als Matrix C = (c i,j ) geschrieben werden (Zeilenindex i für die Aktionen, Spaltenindex j für die Zustände) d.h.: c i,j = C(a i, s j ) Ein Entscheidungsproblem P ist ein Triple P = (A, S, C). 2. Präferenzrelation: Sei X eine Menge. Gegeben sei eine Binärrelation über der Menge X. Definiere neue Binärrelationen mit x y, falls y x Die Binärrelation heißt Präferenzrelation, falls vollständig (d.h. x, y X gilt entweder x y oder y x, alle Alternativen können miteinander verglichen werden) und transitiv ist (manchmal auch die Reflexivität gefordert). Ein Entscheidungskriterium für eine Klasse P von Entscheidungsproblemen 1

2 wird als Abbildung definiert, die jedem Problem P = (A, S, C) P eine vollständige und transitive Ordnungsrelation p über A zuweist. Falls a p b, sagt man, dass a strikt b vorgezogen wird, falls a p b, sagt man, dass a und b indifferent sind, d.h. a und b sind gleich gut. 3. Sicherheit und Ungewissheit: Problem ist unter Sicherheit, wenn der Akteur den Zustand, der gewählt werden wird, schon vor seiner eigenen Aktionswahl kennt. Problem des einfachen theoretischen Entscheidungsmodells: so meist nicht existent! Problem unter Ungewissheit : hier hat der Akteur keine vollständige Information über die Wahl des Zustandes Unterscheidung zweier extremer Unterklassen: Probleme unter reinem Risiko : Probleme, für die die Eintrittswahrscheinlichkeiten der einzelnen Zustände vollständig bekannt sind Probleme unter strikter Ungewissheit : Probleme, bei denen man rein gar nichts über die relativen Eintrittswahrscheinlichkeiten der Zustände weiß 2 Anreize für die Studie von Entscheidungstheorien unter Ungewissheit: deskriptive und normative Theorie Entscheidungen unter strikter Ungewissheit Ziel: Vergleich des kompetitiven Faktors mit anderen Entscheidungskriterien für strikte Ungewissheit 1. Verschiedene Entscheidungstheorien: Zugrunde liegt: das einfache theoretische Entscheidungsmodell Kostenminimierungsproblem P = (A, S, C) jedes Kriterium weist jeder möglichen Aktion a A einen reellen Wert V (a) zu: a) falls V (a) < V (b) für a, b A a wird b strikt bevorzugt b) falls V (a) = V (b) a, b sind indifferent V : A R definiert eine Präferenzrelation über A 2

3 a) Kompetitiver Faktor: Minimiere V (a) = max s ( C(a,s) ) min xc(x,s) Gegenspieler wählt den Zustand, der sich auf die Entscheidung des Akteurs am negativsten auswirkt b) Minimax Cost: Minimiere V (a) = max s C(a, s) c) Pessimism-Optismism-Index: Minimiere V (a) = α max s C(a, s) + (1 α) min s C(a, s) α [0, 1] subjektiver Pessimism-Optimism-Index Falls α = 1 identisch zu Minimax Cost d) Minimax Regret: Minimiere V (a) = max s (C(a, s) min x C(x, s)) beachte: Ähnlichkeit zum kompetitiven Faktor andere Bezeichnung: Minimax additive regret ( Minimax multiplicative regret für kompetitiven Faktor) e) Principle of insufficient reason: Minimiere V (a) = C(a,s) S alle Zustände ereignen sich mit gleicher Wahrscheinlichkeit und der Akteur wählt die Aktion mit den niedrigsten Durchschnittskosten 2. Problembeispiele: Jedes Problem hat so seine Unvollkommenheiten! zu a): Kann keine negativen oder 0-Kosten berücksichtigen schließt viele interessante Probleme, z.b. aus dem Versicherungswesen aus. Am Bsp.: s 1 s 2 s 3 s 4 1 a a V (a 1 ) = max(70, 80, 90, 1) = 90 V (a 2 ) = max(1, 1, 1, 10000) =

4 zu b): Wenn man von einem Gegenspieler ausgeht, dessen Ziel es ist, das Bedauern des Akteurs zu maximieren, dann wird jener bei vielen nichttrivialen Entscheidungsproblemen schnell und leicht Erfolg haben. zu c): Lässt die Wahl von α offen (beachte: α ist subjektiv!) nicht klar, wie man es in der theoretischen Analyse von Algorithmen implementiert. zu d): Die gegebenen Kosten hängen vom Reichtum und von den Einstellungen der Individuen ab Prinzip des abnehmenden Grenznutzens. zu e): Extrem vage, die Ereignisse sind nicht gut definiert liefert mehrdeutige oder sinnlose Resultate. Frage: Ist ein Kriterium vernünftig oder zumindest besser als die anderen? Wie vergleicht man sie am besten? 3. Algorithmische Entscheidungsprobleme: Frage-Antwort-Spiel G = (R, (A i ), (cost i )) mit R= Menge der Anfragen (requests) A i = Folge von Antworten (einfachheitshalber: alle A i gleich, d.h. (A i ) = A) C : A S R, so dass für alle a A und s S gilt: C(a, s) = cost S (s, a[s]) mit a[s] A (Antwortsequenz bgzl. der Anfragensequenz s) Das Tripel P = (A, S, C) heißt algorithmisches Entscheidungsproblem (über G). Unter geeigneten Voraussetzungen (z.b. Endlichkeit) kann jedes Entscheidungsproblem innerhalb des algorithmischen Entscheidungsmodells definiert werden. Entscheidungen unter Risiko Obwohl die Konsequenzen von Entscheidungen unsicher sind, sind diese Unsicherheiten eindeutig durch Wahrscheinlichkeiten quantifizierbar. Es gibt 2 relevante, grundlegende Konzepte: Nutzenfunktionen und Risikoaversion 1. Nutzenfunktionen und Einstellungen gegenüber Risiken Lotterie : Wahrscheinlichkeitsverteilung über einer Menge von Gewinnen. In einer Lotterie L gibt es n geldwertige Gewinne z 1, z 2,..., z n (z.b. in Euro dotiert). Ein Lotteriespieler erhält z i Euro mit Wahrscheinlichkeit p i. Frage: Wie viel ist jemand bereit zu zahlen,um an so einer Lotterie teilzunehmen? 4

5 Wie gut kann er alle Wahrscheinlichkeitsverteilungen bezüglich ihrer Attraktivität bewerten? 2. St. Petersburg Paradoxon Eine ungezinkte Münze wird geworfen, bis zum ersten Mal Kopf fällt (entspricht dem n-ten Wurf). Der Glücksspieler erhält dann 2 n e. Teilnahmepreis? Betrachte Erwartungswert: E = i=1 2i 1 2 i = i=1 1 = erwartete Auszahlung ist 3. Ansätze zum Lösen des St. Petersburg Paradoxons 1) Daniel Bernoulli (1738 veröffentlicht) der wahre Wert von Geld wächst mit abnehmender Rate der wesentliche Wert von xe sei log x log x ist eine Nutzenfunktion (Basis frei wählbar) Sicherheitsäquivalent: x = 4e (Sicherheitsäquivalent einer Lotterie ist das sichere Einkommen, welches das Individuum indifferent macht zwischen dem sicheren Einkommen und der Lotterie) 2) Gabriel Cramer verwandte x, um den Nutzen von xe zu messen Sicherheitsäquivalent: x = 11.65e Problem: Lösungen von Bernoulli und Cramer sind eigens zum Zweck entstanden, dem Petersburg- Paradoxon entgegenzuwirken Gewinnbefriedigung nur subjektive Größe 4. Risiko vs. Versicherung Risikoaverse Entscheider: sind nicht bereit, die erwartete Auszahlung der Lotterie zu zahlen, und fordern einen Preisnachlass (eine sog. Risikoprämie) Sicherheitsäquivalent ist kleiner als der erwartete monetäre Wert der Lotterie 5

6 Beispiel Ein Spieler hat we. Nun hat er die Option, diese we zu versichern. Im Falle eines Desasters würde er ohne eine Versicherung die gesamten we verlieren. Für eine Prämie von be kann der Spieler seinen Reichtum versichern, so dass ihn im Falle eines Desasters die Versicherungsgesellschaft entschädigt und zwar in Höhe von we be (entspricht exakt dem Reichtum nach Zahlung der Prämie) Frage: Versichern oder nicht? Als Spielematrix: Versicherung Desaster w b Kein Desaster w b Keine Versicherung 0 w 5. Nutzentheorie nach Neumann-Morgenstern subjektive Nutzenfunktion, die die persönliche Einstellung bzgl. Risiko berücksichtigt eindeutig bis auf eine linear-affine Transformation Vollständigkeit: Rationale Entscheidungsträger sollten in der Lage sein, zwei Aktionen zu vergleichen Transitivität Unabhängigkeit: Eine Präferenz zwischen zwei Aktionen a und b soll sich nicht ändern, wenn beide Aktionen mit einer dritten Aktion verknüpft werden Stetigkeit: Für jede Aktion b, die zwischen den Aktionen a und c liegt, gibt es eine Kombination von a und c, die genauso gut wie b ist. Die Theorie sei schon richtig, aber ein Grossteil der Menschen handele einfach irrational. 6