Übersicht: 6.1 Einleitung 6.2 Klassische Theorie nichtkooperativer Spiele 6.3 Egoistisches Routing 6.4 Mechanismen-Entwurf 6.

Transkript

1 6. Algorithmische Spieltheorie Übersicht: 6.1 Einleitung 6.2 Klassische Theorie nichtkooperativer Spiele 6.3 Egoistisches Routing 6.4 Mechanismen-Entwurf 6.5 Auktionen 561

2 6.1 Einleitung Übliche Modelle: Implementierung und Ausführung von Algorithmen unter unserer Kontrolle. Versagen allein aufgrund technischer Probleme, z. B. Hardwarefehler. Internet und WWW: Keine zentrale Verwaltung, keine globale Planung oder Optimierung des Netzes. Viele unterschiedliche Akteure (Einzelpersonen, Firmen, Staaten), die eigennützige Interessen verfolgen. Soziale Phänomene erzeugen neue Schwierigkeiten, aber auch interessante neue Anwendungen. Hier: Ansätze eines theoretischen Rahmens dafür. 562

3 Einige konkrete Beispiele: Routing zwischen autonomen Systemen: Autonomes System (AS): Organisation (ISP), die Verbindungsnetz unterhält und für durchgeleiteten Verkehr Geld kassiert. Spezielle Routingprotokolle (BGP) für Verbindung von ASen. Routing muss ökonomische und politische Interessen berücksichtigen. Typischerweise nicht kürzester Weg. Wie kann man gerechte Kosten ermitteln? 563

4 Trittbrettfahrer in P2P-Systemen: Studie: 70 % der Gnutella-Nutzer liefern keine Dateien, 1 % liefern 37 % aller Dateien (Adar, Huberman 2000). Wie kann man große Zahl anonymer Benutzer zu Kooperation motivieren? Kombinatorische Auktionen: Bieter geben Gebote für Teilmengen von Objekten ab. Verschiedene praktische Anwendungen, z. B. Vergabe von LKW-Transportaufträgen, Busrouten, Sendefrequenzen. Vergabe so, dass Bieter ihren wahren Wert bieten? So, dass Profit des Verkäufers maximiert wird? Algorithmus für Zuordnung Objekte Bieter? 564

5 Algorithmische Spieltheorie: Klassische ökonomische Theorien kombiniert mit algorithmischen Techniken und Anwendungen aus der Informatik. Klassische Spieltheorie: von Neumann, Morgenstern (1944). Einschätzung des Forschungsgebietes: Modelle, um ausgewählte Aspekte sozialen Verhaltens im Internet besser zu verstehen (zunehmend wichtiger). Direkte praktische Umsetzung bis jetzt nur in einigen wenigen Teilbereichen, z. B. Auktionen. 565

6 6.2 Klassische Theorie nichtkooperativer Spiele Mehrere Akteure, Agenten, Spieler, die eigene Interessen verfolgen (oft kollidierende) und miteinander in Interaktion treten. Interaktion beschrieben als Spiel. Modell für Aspekte von sozialem / ökonomischem Verhalten von Menschen (extreme Vereinfachung Vorsicht!). Szenario der Spieltheorie: Spieler können mögliche Spielausgänge gemäß Präferenzen anordnen (Quittengelee Honig Nutella). Noch konkreter: Präferenzen als numerische Nutzenwerte. Spieler streben nach Maximierung ihres persönlichen Nutzens. Spieler verhalten sich rational und es ist allen bekannt an, dass alle das tun und allen ist diese Tatsache bekannt

7 6.2.1 Zwei-Personen-Nullsummenspiele Beispiel: Papier-Stein-Schere. Zwei Spieler, jeweils mit Wahlmöglichkeiten, Strategien, Papier, Stein oder Schere. Spieler wählen unabhängig voneinander ( geheim ) jeweils eine Möglichkeit aus. Dann Aufdecken beider Strategien. Auszahlungsmatrix sagt, was Spieler 1 von Spieler 2 erhält. Spieler 2: Papier: Stein: Schere: Papier: Spieler 1: Stein: Schere:

8 Allgemeine Definition: Definition 6.1: Zwei-Personen-Nullsummenspiel Endliche Strategienmengen S 1, S 2. O. B. d. A. S 1 = {1,..., m}, S 2 = {1,...,n}. Spieler wählen Strategienpaar (s 1, s 2 ) S 1 S 2. Dabei keine Interaktion zwischen den Spielern. Reellwertige Auszahlungsmatrix A = (a i,j ) i,j : Für Strategiepaar (i, j) erhält Spieler 1 Auszahlung a i,j, Spieler 2 erhält Auszahlung a i,j. 568

9 Welche Strategie sollte man spielen? Definition 6.2: Nash-Gleichgewicht, Sattelpunkt Ein Strategienpaar (i, j) heißt Nash-Gleichgewicht, wenn keiner der beiden Spieler durch Spielen einer anderen Strategie eine höhere Auszahlung bekommt als bei (i, j). Nenne (i, j) Sattelpunkt von A = (a k,l ), wenn a i,j Minimum seiner Zeile und Maximum seiner Spalte in A ist. Beobachtung: Genau die Sattelpunkte der Auszahlungsmatrix sind Nash-Gleichgewichte. Nash: Rationalität der Spieler und Wissen um Rationalität der anderen usw. führt zur Wahl von Nash-Gleichgewicht. 569

10 Beispiel: Auszahlungsmatrix A = Nur (2, 2) ist Sattelpunkt von A und damit Nash-Gleichgewicht. Erwarte, dass Spieler beide Strategie 2 wählen. Z. B. Spieler 1 spielt Strategie 1 Spieler 2 kann Gegenstrategie 2 spielen und er bekommt weniger als im Nash-Gleichgewicht. Der jeweils andere Spieler kann nur verlieren, wenn er dumm genug ist, von Strategie 2 abzuweichen. 570

11 Eindeutigkeit des Nash-Gleichgewichts? Nein, aber zumindest haben alle gleichen Wert: Proposition 6.3: Falls (i, j) und (i, j ) Sattelpunkte von A sind, dann auch (i, j ) und (i, j) und es gilt a i,j = a i,j = a i,j = a i,j. Beweis: Gemäß Definition von Sattelpunkten gilt a i,j a i,j a i,j und a i,j a i,j a i,j. Also folgt a i,j = a i,j = a i,j = a i,j. Da a i,j Minimum von Zeile i, auch a i,j Minimum; da a i,j Maximum von Spalte j, auch a i,j Maximum. Analog für a i,j. Gibt es immer ein Nash-Gleichgewicht? 571

12 Beobachtung: Z. B. für Papier-Stein-Schere nicht. Auszahlungsmatrix A = hat keinen Sattelpunkt. Falls Gegner unsere Strategie errät, kann er immer eine passende Gegenstrategie wählen, die ihm den Sieg sichert und umgekehrt. Abhilfe: Randomisierte Auswahl. 572

13 Definition 6.4: Gemischte Strategien Seien S 1, S 2 vorgegebene Strategienmengen mit S 1 = m, S 2 = n. Nenne Strategien aus diesen Mengen im Folgenden reine Strategien. Eine gemischte Strategie eines Spielers ist eine Wahrscheinlichkeitsverteilung über seinen reinen Strategien. x = (x 1,..., x m ) [0,1] m und y = (y 1,..., y n ) [0,1] n gemischte Strategien, dann ist die erwartete Auszahlung für Spieler 1 definiert als e(x, y) := a i,j x i y j = x Ay. 1 i m 1 j n Menge der gemischten Strategien enthält genau die Konvexkombinationen der reinen Strategien (konvexe Hülle). 573

14 Erweitere Definition von Nash-Gleichgewichten auf beliebige, auch gemischte Strategien. Im Papier-Stein-Schere-Beispiel dann Strategienpaar (x, y) mit ( 1 x = y = 3, 1 3, 1 3) ein Nash-Gleichgewicht (in gemischten Strategien). Denn: / /3 = /3 0 0, 0 Egal welche Strategie der andere Spieler wählt es kommt immer 0 als erwartete Auszahlung heraus. 574

15 In diesem neuen Szenario nun Nash-Gleichgewichte für beliebige Probleme? Optimale Strategie für Spieler 1: Sei x gemischte Strategie von Spieler 1. Gegenstrategie von Spieler 2: Wähle y so, dass erwartete Auszahlung x Ay für Spieler 1 minimal ist. Spieler 1 sollte also x S 1 so wählen, dass v 1 (x) := min y S 2 x Ay maximal wird. 575

16 Für festes x ist y min y S 2 x Ay lineare Funktion auf konvexer Menge. Minimum wird in einem der Eckpunkte e 1,..., e n angeommen: v 1 (x) = min 1 j n x Ae j. Direkter Beweis: Sei x A = [a 1,..., a n ]. Dann ist x Ay = a 1 y a n y n. Dies minimieren für y 1,..., y n [0, 1] mit y y n = 1. Sei a i0 = min i a i, dann wähle y i0 := 1 und y i = 0 für i = i

17 Hatten: Spieler 1 will x S 1 mit maximalem v 1 (x) = min 1 j n x Ae j. Können dies durch ein lineares Programm beschreiben: Variablen x = (x 1,..., x m ) Ê m und λ Ê. Maximiere λ unter den Nebenbedinungen: x Ae j λ, 1 j m. x 1,..., x m 0 und x x m = 1. Lösbar mit Polynomialzeitalgorithmus. In der Praxis oft mit Simplex-Algorithmus (im Worstcase exponentielle Zeit). 577

18 Haben also optimale Strategie x für Spieler 1 mit erwarteter Auszahlung v 1 := v 1 (x ). Analog für Spieler 2: Will y S 2 mit minimalem v 2 (y) = max 1 i m e i Ay. Entsprechendes lineares Programm dual zu dem von Spieler 1, liefert optimale Strategie y für Spieler 2 mit erwarteten Kosten v 2 := v 2 (y ). Strategienpaar (x, y ) ist offensichtlich Nash-Gleichgewicht. Dualitätstheorem der linearen Programmierung: v 1 = v 2 (hier leider ohne Details). 578

19 Satz 6.5: Minimax-Theorem (von Neumann) Für jedes Zwei-Personen-Nullsummenspiel existiert ein Strategienpaar (x, y ), das ein Nash-Gleichgewicht in gemischten Strategien ist. Die Strategien x und y können mit Hilfe der linearen Programmierung effizient berechnet werden. Für jedes solche Strategienpaar beträgt die erwartete Auszahlung für Spieler 1 (erwartete Kosten für Spieler 2) max x S 1 min y S 2 x Ay = min y S 2 max x S 1 x Ay. 579

20 6.2.2 Allgemeine nichtkooperative Spiele Definition 6.6: Nichtkooperatives Spiel Spieler 1,..., n. Strategienmengen S 1,..., S n : Spieler i wählt Strategie s i S i, i = 1,..., n Strategietupel s = (s 1,..., s n ) S 1 S n. Auszahlungsfunktionen u 1,..., u n : S 1 S n Ê: Strategientupel s legt Ausgang des Spiels fest. Spieler i misst dem zugehörigen Ausgang Nutzen u i (s) zu bzw. erhält dies als Auszahlung. Auszahlungsmatrix: (u 1 (s),..., u n (s)) s. Üblicherweise als Spiel in Normalform bezeichnet. 580

21 Nützliche Notation: Für Vektor v = (v 1,...,v l ) und i {1,..., l}: v i := (v 1,..., v i 1, v i+1,...,v n ); (v i, w) := (v 1,...,v i 1, w, v i+1,..., v n ) (hemdsärmlig). Definition 6.7: Nash-Gleichgewicht Strategientupel s = (s 1,..., s n ) heißt Nash-Gleichgewicht, falls für alle i = 1,..., n und s i S i gilt u i (s i, s i ) u i(s). Stimmt natürlich mit dem Spezialfall für Zwei-Personen-Nullsummenspiele überein. 581

22 Gemischte Strategien auch analog zu Zwei-Personen-Nullsummenspielen. Erwartete Auszahlung für Spieler i bei Tupel p = (p 1,...,p n ) von gemischten Strategien: e i (p) := u i (s 1,..., s n ) p 1 (s 1 ) p n (s n ). s 1,...,s n 582

23 Dynamische Spiele Beschreibe Abfolge der Züge im Spiel. Beschreibung als Spielbaum: Knoten markiert mit handelndem Spieler, ausgehende Kanten mit Strategien für diesen Knoten. Spielverlauf ist Weg Wurzel Blatt. Auszahlungen an den Blättern. Bezeichnung: Extensive (dynamische) Form des Spiels. Überführung in Normalform möglich: Strategie eines Spielers in Normalform spezifiziert für jeden Knoten im Baum, an dem er agiert, die gewählte Strategie. 583

24 Beispiel: Trittbrettfahrer in P2P-Netzen. Betrachte folgendes sehr einfache Modell der Situation: Zwei Spieler, jeweils zwei Strategien: Kooperieren: Stelle eigene Dateien zur Verfügung (in allgemein als fair angesehenem Umfang). Schmarotzen: Nur Abgreifen von Dateien. Auszahlungsmatrix: Spieler 2: K: S: Spieler 1: K: 8, 8 2, 10 S: 10, 2 0, 0 584

25 Auszahlungsmatrix: K: S: K: 8, 8 2, 10 S: 10, 2 0, 0 Nash-Gleichgewichte? Einziges Nash-Gleichgewicht in reinen Strategien: (S, S). (Tatsächlich auch einziges überhaupt.) Strategienpaar (K, K) sozial wünschenswert (maximiert Gesamtnutzen aller), aber kein Gleichgewicht. Abhilfe: Verträge, Seitenzahlungen. 585