Poker. Vortrag von Daniel Schreiber. Seminar Knowledge Engineering und Lernen in Spielen, SS04, Prof. Fürnkranz

Transkript

1 Poker Vortrag vo Daiel Schreiber Semiar Kowledge Egieerig ud Lere i Spiele, SS04, Prof. Fürkraz

2 How log does it take to lear poker, Dad? All your life, so. David Spaier, "Total Poker" 1977)

3 Übersicht Texas Hold em Regel Spielbaum Pokerprogramme Selby Poki PsOpti

4 Regel Texas Hold em Zwei Karte verdeckt Hole Cards ) 1. Wettrude Drei Karte offe i die Mitte Flop ) 2. Wettrude Eie Karte offe i die Mitte Tur ) 3. Wettrude Eie Karte offe i die Mitte River ) 4. Wettrude Showdow Deal Bet Flop Bet Tur Bet River Bet

5 Wettrude I passe fold ), mitgehe call / check ), erhöhe bet / raise ) fold: Keie Zahlug, Spieler scheidet aus call: Spieler zahlt de geforderte Eisatz raise: Spieler zahlt de geforderte Eisatz ud erhöht. Die adere Spieler sid wieder gefordert.

6 Wettrude II Eigee Wette darf icht erhöht werde Maximal 3 x raise pro Rude Eisatzhöhe festgelegt z.b.: 10$ Rude 1-2, $20 Rude 3-4 Am Ede eier Rude habe alle Spieler de gleiche Betrag im Pot oder gepasst

7 Ragfolge Straight Flush Straight Four of a kid Three of a kid Full house Two Pairs Flush Pair

8 Showdow Habe alle Spieler außer eiem gepasst, kassiert der de Pot Beste Had aus de Hole Cards ud de Board Cards gewit de Pot Board Pair 1 Tur Hole 2 Flop River Three of a kid

9 Spielbaum Iformatio Set... Deal fold call raise f c r... Wettrude Spieler 1 Spieler 2 Hole Cards +1 Flop... Glück isgesamt Kote

10 Computer Poker Spielbaum zu groß für vollstädige Suche Vereifachug ötig pseudo-optimale Strategie gesucht 3 Beispiele: Pre-Flop Texas Hold em Poki PsOpti

11 Pre Flop Hold em Keie Wette ach dem Flop EV = Pot * Pstrogest had) Maximierug mit Simplex Algorithmus Deal Bet Flop - River A K Q J T A R3 R2 R2 R2 R2 R1 R1 R1 R1 R1 R1 R1 R1 K R2 *1 CR1 CR1 CR1 R1 R1 R1 R1 R1 R1 R1 R1 Q CR1 CR1 R2 R1 R1 R1 R1 R1 R1 R1 R1 R1 R1 J R2 *2 R1 R2 R1 R1 R1 R1 R1 R1 R1 R1 R1 T *3 R1 R1 R1 R2 R1 R1 R1 R1 R1 R1 C C 9 R1 R1 R1 R1 R1 R2 R1 R1 R1 R1 C C C...

12 Poki Actio selector: Pokerwisse Oppoet Modeler: Neuroales Netz, Bayessches Lere

13 Actio Selector Eigabe: Effective had streght P ich habe die beste Karte ) Sitzpositio, gemachte Wette... Verarbeitug mit Experte Regel Ausgabe: P fold ), P call ), P raise ) ) uflexibel, uschö ABER spielt gut

14 Simulator Kei Expertewisse Spielbaum-Suche Keie Breitesuche Mote-Carlo Simulatio schöer ABER spielt schlechter Breitesuche Mote Carlo

15 Oppoet Model Was macht der Geger? Wie Schach, ABER: Spieltheoretisch optimaler Zug icht immer profitabelster Zug I welcher Positio ist das Spiel? Iformatio Set hat mehr als ei Elemet! Aders als Schach.... Iformatio Set??

16 Was macht der Geger? 3 Schichte mit 19, 4 ud 3 Neuroe

17 Backpropagatio + + = i ij i j j w e f 1) 1) ) ) ) ' δ δ 1) ) ) ) ' + = j i ij ij y w w αδ ) 1) 1) + + = i i e f y 1) w 33 1) w 31 ) ) ' ) ) ) max max max i i i i z y e f = δ 2) w = j ij j i w y e 1) ) 1) Rei: Raus: Feed Forward Σ f ) y j +1) y i +1) w ij Backpropagatio z i

18 Resultate

19 Wo ist das Spiel? Wahrscheilichkeit für Gegerkarte Aktioe Äderug der W keite Vorher: A K = 0.4 Oppoet Model P{fold,call,raise}) = {0,0.3,0.7} Beobachtet: call Nachher: A K = 0.4 * 0.3 = 0.12

20 Resultate Mittelmäßig bei 10 Spieler Hold em Schwach bei 2 Spieler Poker Ausprobiere:

21 PsOpti 2 Spieler Poker Deal 36 Spielbaumreduktio Bet 7 vo x 10 7 Techike Wettrude kürze Wettrude streiche bucketig Flop Bet Tur Bet River Bet 36 7 vo vo Pre-Flop Post-Flop

22 Wettrude kürze Normal: 19 mögl. Sequeze pro Rude bet call, bet raise fold... 9 davo gehe i die ächste Rude Reduziert: 7 vo 15 i die ächste Rude Sequeze mit 3 raise werde gestriche Rechtfertigug: Experimete

23 Wettrude streiche Letzte Wettrude streiche Kaum Auswirkug auf pre-flop Spiel vgl. Selby Erste Wettrude streiche Iformatioe i post-flop Modell hiüber ehme ABER icht alle Wettsequez JA, Karteverteilug ur als Wahrscheilichkeit

24 Post-Flop Modelle Bet Tur Bet River Bet Deal Bet Flop Iformatio Set

25 Bucketig Idee: K A ~ K A - Äquivalezklasse Mit 3 Wettrude ur 6 Buckets Glückskote überführe vo eiem i de adere Bucket 1,3... 2, % 8% 15% 0.8% 6% 3% 1,6 5,6 1,4... 2,6 2,5 5,6... Lösug mit Liearem Programm

26 Resultate Gege Profi icht utergegage Fehlt: Oppoet Modellig

27 Liks / Literatur Selby: PsOpti / Poki: Olie Poker: games.cs.ualberta.ca/webgames/poker/dowloads/pokipoker.zip