Seminar Algorithmische Spieltheorie

Transkript

1 Seminar Algorithmische Spieltheorie Einführung in die klassische Spiel- und Mechanismentheorie Hagen Völzer Universität zu Lübeck 10. November

2 Überblick 1. Spiele 2. Auktionen 3. Mechanismen 1

3 Gefangenendilemma Bob schweigt Bob gesteht Alice schweigt Alice: 1, Bob: 1 Alice: 4, Bob: 0 Alice gesteht Alice: 0, Bob: 4 Alice: 3, Bob: 3 lokaler Anreiz zum Gestehen, globaler Anreiz zum Schweigen Was werden die Gefangenen tun? 2

4 Spiel (P, A, u) P endliche Menge von Spielern A Menge von Aktionen (Strategien) x : P A heißt Profil (Notation: x A P ) u : A P R P ist Nutzenfunktion u p (x) := u(x)(p) ist der Nutzen von x für p Spiel ist endlich, falls A endlich ist p präferiert x gegenüber x, falls u p (x) > u p (x ) 3

5 Annahmen Aktionen werden simultan gewählt (unabhängig voneinander) Spiel besteht nur aus einer Aktion für jeden Spieler Präferenzen bilden Halbordnung (dabei ist Indifferenz eine Äquivalenz) tatsächlich sind nur Präferenzen relevant, nicht absoluter Nutzen 4

6 Beste Antwort (eines Spielers) Für x : P A oder x : P \ {p} A sei (x p a) : P A def. durch: (x p a)(q) = a falls p = q, x(q) sonst. a A ist beste Antwort für p auf x : P \ {p} A, falls für alle a : u p (x p a) u p (x p a ) 5

7 Dominantes Gleichgewicht a dominiert a bezüglich p, falls für alle x: u p (x p a) u p (x p a ) x A P ist ein dominantes Gleichgewicht, falls für alle p, x(p) alle Aktionen bezüglich p dominiert, d.h. x(p) ist beste Antwort auf alle y : P \ {p} A 6

8 Also Wenn Spieler nur ihren eigenen Nutzen optimieren, also rational und egoistisch sind, dann spielen sie ein dominantes Gleichgewicht, sofern eins existiert 7

9 Gefangenendilemma Bob schweigt Bob gesteht Alice schweigt Alice: 1, Bob: 1 Alice: 4, Bob: 0 Alice gesteht Alice: 0, Bob: 4 Alice: 3, Bob: 3 Gibt es ein dominantes Gleichgewicht? 8

10 Kampf der Geschlechter Bob Klavier Bob Orgel Alice Klavier Alice:2, Bob:1 Alice:0, Bob:0 Alice Orgel Alice:0, Bob:0 Alice:1, Bob:2 Gibt es ein dominantes Gleichgewicht? 9

11 Nash Gleichgewicht x A P heißt Nash-Gleichgewicht, falls für alle p und a: u p (x) u p (x p a) d.h. für alle p ist x(p) ist beste Antwort auf x P \{p} Soziale Norm: falls alle anderen sich daran halten, werde ich nicht davon abweichen Jedes dominante Gleichgewicht ist Nash-Gleichgewicht 10

12 Kampf der Geschlechter Bob Klavier Bob Orgel Alice Klavier Alice:2, Bob:1 Alice:0, Bob:0 Alice Orgel Alice:0, Bob:0 Alice:1, Bob:2 Gibt es ein Nash-Gleichgewicht? 11

13 Kampf der Geschlechter II Bob Klavier Bob Orgel Alice Klavier Alice:2, Bob:2 Alice:0, Bob:0 Alice Orgel Alice:0, Bob:0 Alice:1, Bob:1 Sind verschiedene Gleichgewichte gleich plausibel? 12

14 Hirschjagd Bob Hirsch Bob Hase Alice Hirsch Alice:2, Bob:2 Alice:0, Bob:1 Alice Hase Alice:1, Bob:0 Alice:1, Bob:1 Sind verschiedene Gleichgewichte gleich plausibel? 13

15 Aufeinander zugehende Fußgänger Bob links Bob rechts Alice links Alice:1, Bob:1 Alice:0, Bob:0 Alice rechts Alice:0, Bob:0 Alice:1, Bob:1 Was würden Sie tun? 14

16 Bemerkungen Erfahrung führt zu korrektem Glauben darüber, was Mitspieler spielen d.h. Nash-Gleichgewichte werden nur bei hinreichend starkem Wissen über die Mitspieler garantiert Bei dominanten Gleichgewichten ist dies nicht nötig Profile die kein Nash GG sind, sind instabil Nash GG ist Mindestanforderung an egoistisches Verhalten Koalitionen spielen keine Rolle 15

17 Wiederholtes Entfernen streng dominierter Aktionen Halte eine Menge R p A von entfernten Aktionen, für jedes p; Initial: R p = Wähle p P und streng dominierte Aktion a A \ R p, d.h. a A \ R p : u p (x p a) < u p (x p a ) für alle x so daß q : x(q) R q Füge a zu R p hinzu Iteriere Theorem: Überlebt genau ein Profil, so ist es das einzige Nash Gleichgewicht. Theorem: Jedes Nash Gleichgewicht überlebt. 16

18 Berechnen von Nash-Gleichgewichten zuerst wiederholt streng dominierte Aktionen entfernen Berechne alle besten Antworten suche nach Nash-Gleichgewichten Spezialfall 2 Spieler und beste Antwort ist eindeutig a, a mit b p (a) = a und b q (a ) = a 17

19 Passende Münzen Bob Kopf Bob Zahl Alice Kopf Alice:1, Bob: 1 Alice: 1, Bob:1 Alice Zahl Alice: 1, Bob:1 Alice:1, Bob: 1 Wieviel Nash-Gleichgewichte gibt es? 18

20 Gemischte Strategie ist Wahrscheinlichkeitsverteilung σ über A (Notation: σ A) gemischtes Profil γ ( A) P induziert Wahrscheinlichkeitsverteilung über A P (Produktmaß) u p (γ) bezeichne den erwarteten Nutzen von p für γ ( A) P ein gemischtes Profil γ ( A) P ist ein Nash-Gleichgewicht, falls für alle p und σ: u p (γ) u p (γ p σ) 19

21 Existenz von Gleichgewichten Theorem: (Nash 1960): Für jedes endliche Spiel mit gemischten Strategien existiert ein Nash-Gleichgewicht. 20

22 Passende Münzen Bob Kopf Bob Zahl Alice Kopf Alice:1, Bob: 1 Alice: 1, Bob:1 Alice Zahl Alice: 1, Bob:1 Alice:1, Bob: 1 γ mit γ(alice) = γ(bob) = σ wobei σ(kopf) = σ(zahl) = 1 2 ist (einziges) Nash-Gleichgewicht u Alice (γ) = u Bob (γ) = = 0 21

23 Was fehlt Auflösen mehrfacher Nash-Gleichgewichte (focal points, Erfahrung, Pareto-dominanz) Koalitionen von Spielern Zusammenhang von Gleichgewichten und Lernprozessen Robustheit von Gleichgewichten Verfeinerung der Gleichgewichtsbegriffe Spiele in extensiver Form (dynamisch) Wiederholte Spiele ( Evolution der Kooperation) 22

24 Überblick 1. Spiele 2. Auktionen 3. Mechanismen 23

25 Zweitpreisauktion mit versiegeltem Umschlag Spieler: n Bieter Aktionen: Gebote aus N Bewertungen v p N Nutzenfunktion u p (x) = v p max q p x(q) 0 sonst. falls x(p) > max q p x(q), u p hängt neben x auch von v p ab falls p Objekt bekommt und v p dafür zahlt, ist Nutzen 0 24

26 Gleichgewichte x(p) = v p ist dominantes Gleichgewicht sei b p = max q p x(q) wenn b p < v p dann ist jedes Gebot x(p) > b p optimal wenn b p v p dann ist jedes Gebot x(p) b p optimal x(p) = v p löst beide Fälle Nash-Gleichgewichte sind zahlreich, z.b.: x(p) = v p falls v p > max q p v q, 0 sonst. 25

27 Erstpreisauktion mit versiegeltem Umschlag u p (x) = v p x(p) 0 sonst. falls x(p) > max q p x(q), es gibt i.a. kein dominantes Gleichgewicht Warum? 26

28 Gleichgewichte x(p) = max q p v q falls v p > max q p v q, v p sonst. ist Nash-Gleichgewicht in allen Gleichgewichten gewinnt Spieler mit maximalem v p x ist Nash GG gdw. die zwei höchsten Gebote gleich sind, eins davon vom Spieler mit maximalem v p abgegeben wird und das höchste Gebot zwischen den beiden höchsten Bewertungen liegt 27

29 jedes Gebot x(p) v p wird stark dominiert jedes Gebot x(p) < v p wird nicht stark dominiert jedes Gleichgewicht, das nicht dominiert wird erfüllt: Spieler mit zweithöchster Bewertung v 2 bietet v 2 1 Spieler mit höchster Bewertung bietet v 2 1 Spieler mit k-höchster Bewertung v k bietet v k 1 ausgezeichnete Gleichgewichte in beiden Auktionstypen führen fast zum selben Ergebnis (Sieger und erzielter Preis) 27

30 Theorem In allen effizienten Auktionen mit gemischten Aktionen ist der erwartete Nutzen jedes Bieters und Verkäufers derselbe. effizient später 28

31 Was fehlt ungenaue Bewertungen gemeinsame Bewertungen Mehrfachauktion kombinatorische Auktion 29

32 Überblick 1. Spiele 2. Auktionen 3. Mechanismen 30

33 Öffentliches Projekt (z.b. Bibliothek) P = alle Einwohner der Stadt, P = n θ p R individueller Wert der Bibliothek für p (ggf. negativ) d {0, 1} Entscheidung v p (d, θ p ) = d θ p Bewertung Modellierung mit Kosten c R 1. P = P { }, v = d c 2. v p (d, θ p ) = d (θ p c n ) Wie kommt man zu einer guten Entscheidung? 31

34 Setting Spielermenge P D Menge von Entscheidungen (Ausgängen) θ : P Θ; θ p := θ(p) ist private Information (Typ) von p v p : D Θ R Bewertung (oder: persönliche Wohlfahrt) (valuation); hängt nur von θ p ab (daher: privat) 32

35 Entscheidungsfunktion Welche Entscheidungen sind gut? Entscheidungsfunktion f : Θ P D f ist effizient, falls für alle θ Θ P und alle d D: p v p (f(θ), θ p ) p v p (d, θ p ) d.h. soziale Wohlfahrt wird durch f maximiert Bibliothek: f mit f(θ) = 1 falls p θ p > c, 0 sonst. ist effizient 33

36 Weitere wünschenswerte Eigenschaften von Entscheidungsfunktionen Fairness: minimiere Varianz im Nutzen Profit: Nutzen eines bestimmten Spielers maximieren Pareto optimal: alle anderen Entscheidungen bringen allen gleichen Nutzen oder mindestens einem schlechteren Nutzen 34

37 Transferfunktion Idee: Frage Spieler nach Ihren privaten Werten ϑ Θ P sei Berichtsprofil Problem: Spieler p hat i.a. Anreiz zu lügen, im Beispiel: ϑ p < θ p für v p (1, θ p ) < 0 ϑ p > θ p für v p (1, θ p ) > 0 Ansatz: Transferfunktion t : Θ P R P t p (ϑ) := t(ϑ)(p) ist Transferzahlung, die p erhält (ggf. negativ), falls ϑ berichtet wurde t ist durchführbar : p t p (ϑ) 0 für alle ϑ (feasibility) t ist ausgeglichen: p t p (ϑ) = 0 für alle ϑ (budget balance) 35

38 Soziale Auswahl = ein Paar (f, t) quasilineare Nutzenfunktion: (utility ) u p (ϑ, θ p, f, t p ) = v p (f(ϑ), θ p ) + t p (ϑ) 36

39 Auktion (eines einzelnen Objekts) P alle Bieter θ p Θ = R individueller Wert für p D = P, f : R P P bildet Gebotsprofil auf Sieger ab t p : R P R Transfer (hier: negativ) v p (q, θ p ) = u p (ϑ, θ p, f, t p ) = θ p falls q = p, 0 sonst. θ p + t p (ϑ) t p (ϑ) falls p = f(ϑ), sonst. 37

40 Mechanismus M = (A, g), wobei A ist Menge von Aktionen und g : A P D R P (Notation: g = (f g, t g )) jedes θ Θ P induziert ein Spiel (P, A, u), wobei u p (x) = v p (f g (x), θ p ) + t g,p (x) M implementiert (f, t), falls für jedes p ein x p : Θ A existiert, so daß für jedes θ Θ P x θ dominantes Gleichgewicht (im von θ induzierten Spiel) ist, so daß g(x θ ) = (f(θ), t(θ)), wobei x θ (p) = x p (θ) Alternative: andere Gleichgewichte verwenden Bild 38

41 Direkter Mechanismus und Offenbarungssprinzip M = (A, g) ist direkt, falls A = Θ g = (f g, t g ) ist dann eine soziale Auswahl g ist strategiesicher (strategyproof ), falls jedes θ Θ P ein dominantes Gleichgewicht bzgl. θ ist Ist g = (f g, t g ) strategiesicher, so implementiert (Θ, g) die soziale Auswahl (f g, t g ). Theorem (Offenbarungsprinzip): Wenn M = (A, g) eine soziale Auswahl (f, t) implementiert, so ist (f, t) strategiesicher. Beweis: Folgt direkt aus (f(θ), t(θ)) = g(x θ ). 39

42 Braucht man Transferfunktionen? Entscheidungsfunktion f ist diktatorisch, falls ein p existiert, so daß für alle θ: f(θ) argmax d ranf v p (d, θ p ) Theorem (Gibbard-Satterthwaite): D sei endlich und Θ enthalte alle strikten Ordnungen. Dann ist für ein f mit ranf > 2 die soziale Auswahl (f, 0) genau dann strategiesicher, falls f diktatorisch ist. Für alle surjektiven h : D {1,..., D } und alle p P existiert ein θ p Θ so daß h(d) < h(d ) v p (d, θ p ) < v p (d, θ p ). 40

43 Groves Mechanismen (VCG Mechanismen) Gegeben: effiziente Entscheidungsfunktion f; mit welcher Transferfunktion t ist (f, t) strategiesicher? Theorem: (Groves) Ist f effizient und existiert für jedes p ein w p : Θ P \{p} R, so daß t p (ϑ) = w p (ϑ P \{p} ) + q p dann ist (f, t) strategiesicher. v q (f(ϑ), ϑ q ) (1) 41

44 Beispiel: Bibliothek ohne Kosten setzen w p (ϑ P \{p} ) = 0 f(ϑ), t p (ϑ), u p (ϑ, θ p ) = 1, q p ϑ q, θ p + q p ϑ q falls q ϑ q > 0, 0, 0, 0 sonst. θ p + q p ϑ q > 0 berichte θ p ist dominant θ p + q p ϑ q < 0 berichte θ p ist dominant Transfers sind nicht ausgeglichen, nicht einmal durchführbar! 42

45 Unverträglichkeit von Ausgeglichenheit und Effizienz Theorem: (Green, Laffont) Ist f effizient und (f, t) strategiesicher dann hat t die Form (1) (unter milden technischen Annahmen). Theorem: (Green, Laffont) Unter milden Annahmen sind Effizienz der Entscheidungsfunktion, Ausgeglichenheit der Transferfunktion und Strategiesicherheit unvereinbar. 43

46 Clarke Mechanismus (Pivot Mechanismus) Wähle w p (ϑ) = max d D q p v q (d, ϑ q ). t p (ϑ) = q p v q (f(ϑ), ϑ q ) max d D q p v q (d, ϑ q ) falls Anwesenheit von p sich nicht auf Entscheidung auswirkt t p = 0 sonst repräsentiert t p den Wohlfahrtsverlust für andere durch Präsenz von p (p ist Pivot) Gleichgewichtsnutzen = p s Beitrag zur sozialen Wohlfahrt u p (θ, θ p ) = q v q (f(θ), θ q ) q p v q (f(θ P p ), θ q ) 44

47 Beispiel: Bibliothek ohne Kosten u p (ϑ, θ p ) = θ p falls q ϑ q 0 und q p ϑ q 0, θ p + q p ϑ q falls q ϑ q 0 und q p ϑ q < 0, q p ϑ q falls q ϑ q < 0 und q p ϑ q 0, 0 falls q ϑ q < 0 und q p ϑ q < 0. Transfers sind nicht ausgeglichen, aber durchführbar! 45

48 Vickrey Auktion Beispiel für Clarke Mechanismus effiziente Entscheidung: f(ϑ) argmax p ϑ p t p (ϑ) = max q p ϑ q falls f(ϑ) = p, 0 sonst. also Zweitpreisauktion läßt sich auch leicht auf Mehrfachauktion anwenden 46

49 Bemerkungen zu Clarke und Groves Mechanismen bei Clarke: Transfers sind nie positiv durchführbar können Prinzip der freiwilligen Teilnahme verletzen, d.h. v p (f(θ), θ p ) + t p (θ) 0 Koalitionen können Mechanismus manipulieren (nicht koalitionssicher (coalitionproof, group-strategyproof )) 47