Tom Seifert. Semesterbeleg im Fach Neuronale Netze. Nutzung von RL/TD Verfahren für die Anwendung eines Strategiespieles

Transkript

1 Tom Seifert Semesterbeleg im Fach Neuronale Netze Nutzung von RL/TD Verfahren für die Anwendung eines Strategiespieles

2 Inhaltsverzeichnis 1 Entwicklerdokumentation Das Spiel Vier Gewinnt Ziel Reinforcement Learning (RL) Eine unerfahrene Maus auf Nahrungssuche Temporal Differences (TD) Eine Maus lernt sich in ihrer Umgebung zurecht zu finden Abbildung der Zustände Anwendung bei Brettspielen Verwendung von neuronalen Netzen Die Eingangskodierung Die Spielzustände Die Endezustände Gewinnerzustand Verlierzustand Das Training Die Generierung von Trainingsspielen Verwendung des neuronalen Netzes Details zur Implementierung Eingangskodierung Eigenschaften des Neuronalen Netzes Die verwendeten Klassen Zusammenfassung Fazit Erkenntnisse Erreichte Ziele

3 1.7.4 Ausblick Benutzerdokumentation Einstellungen Netzparameter Trainingsparameter Spieleparameter Auswahl und Training eines neuronalen Netzes Wie wird gespielt?

4 Kapitel 1 Entwicklerdokumentation 1.1 Das Spiel Vier Gewinnt Vier gewinnt ist ein strategisches Spiel, bei dem zwei Spieler versuchen, auf dem Spielfeld vier Spielsteine in einer Reihe - waagrecht, senkrecht oder diagonal - anzuordnen. Gespielt wird auf einem Spielfeld, das sieben Spalten breit und sechs Zeilen hoch ist. Die Spieler werfen abwechselnd einen ihrer Spielsteine in eine der Spalten. Der Stein fällt dann, ausgehend von der obersten Zeile, soweit nach unten, bis er auf einem anderen Spielstein zu liegen kommt. Das Spiel ist beendet, wenn einer der Spieler vier Steine seiner Farbe in einer waagerechten, senkrechten oder diagonalen Reihe angeordnet hat. Es kommt zu einem Unentschieden, falls keiner der beiden Spieler dieses Ziel erreicht hat und alle Felder des Spielfeldes belegt sind. 1.2 Ziel Ziel des Beleges ist es einen künstlichen Gegenspieler für den Menschen zu entwicklen. Dieser künstliche Spieler soll zur Auswahl der Spielzüge ein künstlich neuronales Netz verwenden. Der Gegenspieler soll in der Lage sein, sich das Spiel ohne äußeren Eingriff selbst anzueignen. 4

5 1.3 Reinforcement Learning (RL) Um das Prinzip des Reinforcment Learning möglichst anschaulich darzustellen soll zunächst eine bildliche Beschreibung verwendet werden. 1 In den nachfolgenden Abschnitte wird dieses Beispiel als Grundlage zur weiteren Erklärung genutzt Eine unerfahrene Maus auf Nahrungssuche Es soll zunächst von einer quadratischen Fläche mit 4 x 4, insgesamt also 16 Feldern, ausgegegangen werden. Um diese Fläche herum befinden sich hohe Wände. Auf einem dieser Felder sitzt eine Maus. Das Feld auf dem die Maus am Anfang sitzt soll als Startfeld bezeichnet werden. Des Weiteren soll sich auf einem anderen beliebigen Feld ein Stück leckerer Käse befinden. Das Feld auf dem sich der Käse befindet soll als ein gutes Feld bezeichnet werden. Auf einem weiteren Feld befindet sich nun zusätzlich eine Mausefalle. Dabei steht die Mausefalle auf einem schlechten Feld. Damit sind die sind 16 Felder dieser Fläche mit konkreten Dingen belegt, einer Maus, einem Stück Käse und einer Mausefalle. Im nächsten Schritt soll diese Anordnung in Aktion versetzt werden. Betrachtet man dies aus der Sicht der Maus, so kann das Ziel der Maus nur sein an das Stück leckeren Käse zu kommen. Die Mausfalle ist dabei natürlich zu meiden. Die Maus selbst befindet sich also in einer Umgebung, in der es verschiedene Aktionen (in 1 Diese Beschreibung dient der Vereinschaulichung der verwendeten Methoden. Um den Überblick zu wahren werden Abläufe teilweise abstrakt und sehr vereinfacht dargestellt. 5

6 eine Richtung laufen) ausführen kann. Erreicht die Maus den Käse so wird sie belohnt (sie darf den Käse essen), erreicht sie das Feld mit der Mausefalle, so wird sie bestraft. Im Folgenden soll davon ausgegangen werden, dass die Maus nur die Aktion laufen kennt. Und das auch nur in die Richtung oben, unten, links, rechts und immer nur ein Schritten von genau einem Feld. Je nach dem wo sich die Maus gerade befindet kann sie dann in eine dieser Richtungen laufen. Dabei verlässt sie niemals die Fläche. 2 Die Maus kann sich so frei auf der Fläche bewegen. Die Fläche auf welcher sich die Felder befinden soll als Umgebung bezeichnet werden. Damit befindet sich die Maus in einer konkreten Umgebung. Bezeichnet man nun zusätzlich jedes Feld als einen Zustand, so befindet sich sich Maus zu jedem beliebigen Zeitpunkt in genau einem Zustand. Der Zustand ist Bestandteil der Umgebung. In jedem Zustand kann sie die dafür möglichen Aktionen ausführen (nach oben, unten, links, rechts laufen). Jeder Zustand aus der Umgebung bestitz also eine individuelle Menge von Aktionen. Damit ist die Menge der Aktion vom Zustand abhängig (Der Zustand 3 besitzt so keine Aktion nach unten laufen ). Jeder Aktion wiederum führt zu einem neuen Zustand (da die Maus um Feld weiter gelaufen ist). Das Ziel der Maus ist es nun ausgehend vom Startzustand (oder jeden anderen Zustand) den bestmöglichen Zustand (Feld mit Käse) zu erreichen. Oder Allgmeiner ausgedrückt: Aufgabe der Maus ist es zu lernen sich in ihrer Umgebung zurecht finden. Und genau das beschreibt Reinforment Learning. Wenn x der Zustand (das Feld auf dem Maus sich gerade befindet) a die Aktion (eine Laufrichtung der Maus) a(x) die Aktion in Abhängigkeit vom Zustand x r (engl. reward) die Belohnung oder Bestrafung (Käse oder Mausefalle) 2 Befindet sich die Maus zum Beispiel auf einem Feld am unteren Rand, so kann sie nicht weiter nach unten laufen (die Wände sind wie gesagt sehr hoch). 6

7 r(x,a(x)) die Belohnung oder Bestrafung in Abhängigkeit von der gewählten Aktion a in einen Zustand x ist, dann gilt folgende Aussage: Eine fundamentale Aufgabe für jedes Lebewesen ist es, Strategien zu erlernen, die sein Verhalten in seinem Lebensraum optimieren. Die Lernsituation des Reinforcement-Lernens ist das allgemeinste, aber auch schwierigste Lernproblem. Die Umgebung erteilt in Abhängigkeit des aktuellen Zustandes x und der gewählten Aktion a(x) positive oder negative Reinforcement Signale r(x,a(x)) (d.h. Belohnungen oder Bestrafungen). Die Aufgabe des Lernenden (Agent) besteht darin, die Summe der erwarteten zukünftigen Reinforcement Signale zu maximieren. Um diese Zuordnung von Aktionen zu Zuständen zu lernen ist keine Lehrer, sondern nur die Interaktion mit der Umwelt nötig.da die meisten Lebewesen durch die Interaktion mit Ihrer Umwelt lernen, ist dieses Verfahren dem natürlichen Lernprozess nachempfunden. Dabei tritt ein Problem auf. Reinforcement Learning sagt aus, dass jede Aktion bewertet wird. Im Fall der Maus ist es aber nur möglich die Zustände mit dem Käse und er Mausefalle zu bewerten. Diese Zustände haben eine definierten Wert ( gut und schlecht ). Die Werte der restlichen Zustände sind unbekannt. 1.4 Temporal Differences (TD) Dieser Abschnitt beschreibt das Lernverfahren, mit welchem die bereits angedeuteten unbekannten Zustände ermittelt werden. Dabei soll auch weiterhin das Beispiel der Maus als bildliche Grundlage zum besseren Verständnis dienen Eine Maus lernt sich in ihrer Umgebung zurecht zu finden Das Problem ist aber nun, dass die Maus auf sich allein gestellt ist und nicht weiß welche Aktion sie in welchem Zustand ausführen soll. Es gibt nur die Maus, den Käse und die Mausefalle in der Umgebung. Versetzt man sich in die Lage der Maus so bleibt ihr nur eins übrig. Sie läuft ausgehend vom Startzustand in eine beliebige Richtung und schaut was passiert. Dies macht sie solange bis sie einen Endzustand (Käse oder Mausefalle) erreicht 7

8 hat. (Es wird davon ausgegangen, dass die Maus immer nur ein Feld weit laufen kann und auch den Unterschied zwischen Käse und Mausefalle nocht nicht kennt.) Nachdem die Maus ein Zielfeld erreicht hat versucht sich diese an den Weg zu erinneren, den sie gegangen ist. Dabei liegt der letzte Schritt natürlich zeitlich am nächsten. Daher kann die Maus mit ziemlich hoher Wahrscheinlichkeit aussagen, dass dieses zuletzt betretene Feld mit dem Zielzustand eng in Verbindung steht (im Beispiel 50 %). An die davor liegenden Felder kann sich die Maus nur dunkel erinnern und so nimmt der Zusammenhang immer mehr ab (im Beispiel bis 6 %). Die Maus verfolgt also den gegangen Weg zurück und setzt die dabei besuchten Felder in Abhängig von der Entfernung in Zusammenhang mit den Zielfeld. Beim nächsten Mal geht die Maus dann mit hoher Wahrscheinlichkeit den Weg, welchen sie noch im Gedächnis hat. Da die Maus nun aber auch sehr neugierig ist und auch die Anzahl der Käsestücken nicht kennt (es könnte auf einem anderen Feld ja ein noch größeres Stück Käse liegen, als auf dem schon gefunden Feld) probiert sie ab und zu auch mal neue Wege aus. Dies macht sie solange, bis sie sich optimal in ihrer Umgebung zurecht findet. Sie weis dann genau an welcher Positionen sich Käse und Mausefalle befinden und auf welchem optimalen Weg sie dort hin gelangt (also welche Aktion sie in welchem Zustand ausführen muss). Die Maus ist nach einer endlichen Zeit in der Lage jedem Feld (Zustand) einen Wert zuzuordnen. Diese Wert sagt aus, wie nah die Maus an einem Ziel ist. Das Zurückverfolgen des Weges in Abhängigkeit von der Entfernung zum Ziel entspricht 8

9 dabei der Lernmethode der Temporal Differences. Dabei werden ausgehend vom Endzustand alle durchlaufenen Zustände dem Endzustand angenähert. Die Update Formel lautet: w t+1 = w t + α[v (s ) V (s)] dabei ist: α der Schrittweitenparameter s der Zustand vorher s der Zustand nachher V (s ) V (s) der TD-Fehler Zusätzlich mit den Eligibility Traces (Verfallsparameter) ergibt sich folgende Formel: w t+1 = w t + α[v (s ) V (s)]e t e t = t k=1 λt k w V k e t+1 = λe t + w V t Die Eligibility Traces legen fest, in wie weit die Gewichte verändert werden. Dieser Wert gibt an, wie stark die Relevanz einer zurückliegenden Entscheidung nach jedem Zug abnimmt. Die zugehörige State-Value 3 Funktion in Abhängigkeit der Zeit lautet: V (s t) = V (s t ) + α[r t+1 + γ V (s t+1 ) V (s t )]e t dabei ist: r der Reward (Belohnung) t die aktuelle Zeit 3 engl. State-Value, Zustandsfunktion, da sie die Werte der jeweiligen Zustände beinhaltet 9

10 1.4.2 Abbildung der Zustände Im einfachsten Fall wird zur Abbildung der Zustände ein look-up Tabelle verwendet. In ihr sind alle Zustände und die zugehörigen Werte der Güte enthalten. Somit wird eine Funktion f(x) = y beschrieben. Dabei ist die Funktion selbst nicht bekannt. x y = f(x) Um ihr Ziel später zu erreichen wählt die Maus dann immer die Aktion welchen sie in der Zustand der höchsten Güte versetzt. Also genau den Zustand der am nächsten am gewünschten Ziel liegt. (Sie betritt immer das Nachbarfeld, welches Sie in die höchste Güte besitzt.) 1.5 Anwendung bei Brettspielen Nachdem das Prinzip von RL und TD geklärt wurde, ist der Zusammenhang mit Brettspielen zu klären. Allgemein wurde festgestellt: 1. Eine Umgebung besteht aus einer Menge von Zuständen 2. Der Agent befindet sich zu einem konkreten Zeitpunkt in einem konkrete Zustand 3. In einem Zustand besitzt der Agent eine Menge von Aktionen 4. Jede Aktion überführt den Agenten in einen Zustand 5. Jeder Zustand besitzt einen Wert (Güte) 6. es existieren ein Startzustand und mindestens ein Endzustand 10

11 7. Lernen besteht aus der Untersuchung der Umwelt und dem Sammeln von (guten und schlechten) Erfahrungen Genau diese Eigenschaften lassen sich auf ein Brettspiel übertragen: Der Zustand ist die Spielsituation auf dem Brett Der Agent ist der Spieler Der möglichen Aktionen sind die legalen Spielzüge Die Aktion (Spielzug) führt führt zu einer neuen Zustand (Spielsituation) Die Güte des Zustandes ist die Nähe aus der aktuellen Situation heraus das Spiel zu gewinnen Die Zielzustände entsprechen einen gewonnenen oder verloren Spiel Das Lernen besteht aus dem Spielen des Spieles und dem Sammeln von Erfahrungen (gewinnen, verlieren) Um die Anwendung bei Brettspielen besser zu visualisieren (und zu verstehen), kann der Zusammenhang zwischen Zuständen und Aktionen auch als Graph darstellt werden. Dabei entsprechen die Zustände den Knoten und die Aktionen den Kanten des Graphen. Jeder Knoten besitzt einen Wert. Dabei ist der Zustand 1 der Startzustand. Ausgehend vom diesem Zustand können die Zustände 2 und 5 direkt erreicht werden. Die zwei Spieler sind durch eine getrichelte und eine durchgezogene Linie dargestellt. Weiterhin sind die Zustände 7 und 15 Endzustände. 11

12 Dieser Graph stellt den Ablauf exemplarisch dar. Dabei sind die beteiligen Spieler durch die unterschiedlichen Linienarten (durchgehend, gestrichelt) dargestellt. Im Gegensatz zur Maus kann jeder Zustand aber nur einmal betreten werden Verwendung von neuronalen Netzen Die Verwendung einer look-up Tabelle stösst sehr schnell an Grenzen, sobald die Anzahl der möglichen Zustände sehr umfangreich ist. Bei einer sehr großen Menge von möglichen Zuständen und zugehörigen Aktionen ist die Abbildung mit Hilfe einer Tabelle nur noch sehr aufwendig möglich. Hier kommt ein neuronales Netz zum Einsatz. Dieses approximiert die Funktion y = f(x). Dabei ist x die Eingabe des Netzes (Zustand), y die Ausgabe (Güte des Zustandes). So wird auch im Rahmen des Beleges ein neuronales Netz verwendet. Dieser erhält als Eingangsvektor die aktuelle Spielsituation in kodierter Form. Die Ausgabe des Netzes entspricht der Güte der Spielsituation, also der Wahrscheinlichkeit aus diesem Zustand heraus das Spiel zu gewinnen. Der Start- und die Endzustände müssen dabei bekannt sein. Gesucht ist dann ein neuronales Netz welches diese Aufgaben erfüllt. Dazu sind die folgenden Probleme zu lösen: Finden einer geeigneten Eingangskodierung Finden der Zuordnung zwischen den Spielzuständen und Aktionen Definieren der Endzustände Finden einer geeigneten Trainingsmethode Die den folgenden Abschnitten wird auf die einzelnen Probleme näher eingegangen. Es sollen innerhalb der Abschnitte Teillösungen gefunden werden, welche genau das beschriebene Problem beheben. Letzendlich ergibt die Summer aller Teillösungen die Bewältigung des gesamten Problems. 4 Da pro Spielzug immer ein Stein geworfen wird und niemals ein Stein entfernt wird, kann eine Spielsituation während des Spiels nie mehrmals auftreten. 12

13 1.5.2 Die Eingangskodierung Die Eingangskodierung muss so gewählt werden, dass alle relevanten Informationen zur aktuellen Spielsituation erhalten bleiben. Zusätzlich sind mehrfach vorhandene Spielsituation, welche die gleiche Güte besitzen nach Möglichkeit zu eleminieren. Dabei ist der enstehende Zustandraum so klein wie möglich zu halten. Bei der Implementierung des neuronalen Netzes wurden die folgende Festlegungen im Bezug auf die Eingangskodierung getroffen: eigener Stein: 01 gegnerischer Stein: 10 leeres Feld: 00 Damit werden pro Spielfeld zwei Eingänge benötigt. Da das Spielbrett aus 42 Feldern besteht werden insgesamt 84 Eingänge verwendet. Dabei werden bewusst auf die Verwendung der Farbe verzichtet. Genau so gut wäre eine Kodierung mit der Unterschedung zwischen gelben und roten Spielsteinen. Dies verkompliziert die Kodierung aber nur. Die Festlegung eigener Stein eliminiert im voraus symmetrische Spielsituationen. Zuätzlich entfällt durch diese Kodierung der Angabe, welcher Spieler den nächsten Spielzug ausführt. Auch das ist nicht anzugeben, da immer die eigenen Steine gesetzt werden. Der Zustandraum vermindert sich hierdurch um 50 %. Eine weitere Idee im Rahmen des Beleges ist den Bereich des Spielbrettes einzuschränken. Wenn die Reichweite der aktuellen Aktion bekannt ist, so ist es nicht notwendig immer das komplette Spielbrett als Eingangskodierung zu verwenden. Statt dessen wird immer nur der Bereich kodiert, welcher auch relevant ist. Spielabläufe in einem Brettspielen laufen in der Regel lokal ab. Erstellt werden dann in Abhängig von der Aktion die Eingangskodierung so, dass nur die betroffenen lokalen Regionen einbezogen werden. Dabei können gleiche lokale Situation an unterschiedlichen globalen Position auftreten (Translationsinvarianz im weiteren Sinne) Dies führt ebenfalls zur einer Verminderung des Zustandraumes. Nachteilig ist aber, dass vorausschauendes strategisches Spielen nicht mehr möglich ist. 5 Daher ist diese Vereinfachung bei strategischen Brettspielen nur bedingt anwendbar. 5 Beim Schach würde sich jede Figur nur auf die Bereich konzentrieren, den es erreichen kann. Echte Strategien an denen mehere Figuren teilnehmen wären damit ausgeschlossen. 13

14 Eine Kodierung, welche nur die wirklich wichtigen Informationen, wie die Anzahl der bereits bestehenden Reihen der eigenen Steine angibt, trägt ebenfalls zur Verminderung des Zustandraumes und des Eingabevektores bei. So werden nicht detailliert alle konkreten Positionen der Steine als Information weitergegeben, sondern zum Beispiel nur die Anzahl der 2er, 3er, 4er Reihen in die entsprechende Richtung. Dies ist aber schon ein sehr starker Eingriff in Spielstrategie, da hier der Hinweis auf die das Ziel der Reihenbildung gegeben wird. Zusätzlich werden Reihen mit Lücken und andere Konselationen, die durch den Algorithmus verschluckt werden, nicht berücksichtigt. Es fehlen dann wichtige strategische Informationen. Zusätzlich besteht die Gefahr, dass sich das Netz zu sehr an dieser durch den Algorithmus erzeugte Kodierung der Reihenbildung orientiert. Dabei soll das Netz aber seine eigene Strategie entwickeln. Fazit Um alle relevanten Informationen in einer möglich klaren Kodierung darzustellen wird daher die oben zuerst gennante Kodierung verwendet. Alle anderen angedeuteten Methoden führen entweder zum Verlust von wichtigen strategischen Informationen und beinflussen die Spielstrategie zu sehr. So müssen komplexe Kodierungen vom Netz auch zusätzlich erlernt werden. Aufgabe des Netzes ist es eine eigene Spielstrategie zu entwicklen und nicht das Lernen von Kodierungen Die Spielzustände Für die Zuordnung der Spielzustände, den aufgeführten Aktion und den daraus folgenden Zuständen es ist erforderlich den Ablauf während eines Spieles genauer zu untersuchen. Bei dem einführenden Beispiel befindet sich die Maus zunächst im Startzustand, sie führt in diesem Zustand eine Aktion aus und befindet sich anschliessend in einem neuen Zustand. In dem diesem neuen Zustand führt sie wiederum eine Aktion aus. Sie allein bestimmt zu jedem Zeitpunkt welchen Zustand sie durch welche Aktion betritt. Beim einem Brettspiel existiert ebenfalls ein Startzustand, das leere Spielfeld. Beginnt der Spieler, so führt er eine Aktion aus (Stein werfen). Danach befindet sich dieser in einem 14

15 neuen Zustand. In diesem Zustand darf er nun aber keine Aktion ausführen. Die Aktion in dem jetzt aktuellen Zustand wird vom Gegner ausgewählt, da zwei Spieler beteiligt sind und diese abwechselnd am Zug sind. Erst in dem durch den Gegner überführten Zustand kann der Spieler wieder eine Aktion ausführen. So kann der Spieler immer nur jeden zweiten Zug beinflussen. Ein ganzer Zug besteht demnach immer aus einem Zug des Spielers und einem Zug des Gegners. Sowohl der Spieler, als auch der Gegner führen eine halben Zug aus. Aus diesem Grund wird es auch als half-play (engl. halb-spiel) bezeichnet. Aus Sicht des Spielers sind nur die Zustände relevant, welche er durch seine eigenen Aktionen erreichen kann (im Beispiel 1,6,11,14). Die Zustände, die er durch eigene Aktionen nicht erreichen kann sind für ihn nicht von Interesse und brauchen auch nicht erlernt zu werden. Trotzdem existieren diese nicht erreichbaren Zustände und beinflussen den Ablauf des Spielgeschehens. Hinzukommend ist ersichtlich, dass der Gegner ein anderes Ziel verfolgt, als der Spieler. Ein Sieg für den Spieler bedeutet eine Niederlage für den Gegner und umgekehrt. Zur Visualisierung stellt man sich Fläche im einführenden Beispiel im karierten Muster vor. Dabei kann der Spieler immer nur die Felder einer Farbe betreten. Der Übergang erfolgt nach vor wie vor von einem Feld zu einem angrenzenden Nachbarfeld. Im einführenden Beispiel wurde jeder durchlaufene Zustand nach Erreichen des Endzustandes diesem angenähert. Im Fall des Brettspieles und dem damit verbundenen half-play und unterschiedlichen Zielen der beiden Mitspieler werden ebenfalls die Zustände an- 15

16 genähert. Dabei dürfen aber nur die Zustände berücksichtigt werden, welche der Spieler selbst erreicht(felder einer Farbe). Dies entspricht dem (aus der Sicht des Spielers) Weg zum Ziel. Die beiden Mitspieler beinflussen sich zwar gegenseitig, jeder Spieler muss aber seinen eigenen individuellen Weg durch den gegebenen Zustandsraum ans Ziel finden Die Endezustände Bei diesem Spiel existieren zwei Endzustände. Das ist zu einem der Gewinnerzustand und der Verlierzustand. Dabei dürfen wie bereits erläutert nur die Zustände berücksichtigt werden, welcher der Spieler durch seine Aktion erreichen kann Gewinnerzustand Der Gewinnerzustand ist erreicht, wenn der Spieler einen Stein geworfen hat und vier Steine seiner Farbe in horizontaler, vertikaler oder diagonaler Richtung nebeneinander liegen Verlierzustand Der Verliererzustand ist erreicht, wenn der Gegner sich im Gewinnerzustand befindet. Das Problem ist hier, dass dieser Zustand nur durch die Aktion des Gegners erreicht werden kann. Der Spieler hat keinen Einfluss auf die Zustand, er kann ihn durch eine eigene Aktion nie erreichen. Die Ursache ist hier im half-play begründet. Aus diesem Grund wurde folgende Idee umgesetzt: Der Verliererzustand ist dann erreicht, wenn der Gegner im nächsten Zug gewinnen kann. Es wird genau ein Zug im voraus gedacht und die Annahme getroffen, dass der Gegner auch den Gewinnerzug ausführt. Durch diese Annahme wird auch das Training des neuronalen Netzes vereinfacht. Häufigkeit von Verlierer- und Gewinnerzuständen Eine Besonderheit während der Trainingsphase ist die Tatsache, dass mehr Verliererzustände, als Gewinnerzustände errreicht werden. Dies ist unter anderem darin begründet, da ein Verliererzustand bereits dann vorhanden ist, wenn der Gegner im nächsten Zug gewinnen kann. 6 Um den Vorteil des Gegner auszugleichen und die Anteile die beiden 6 Damit grenzen mehrere Vierlierzustände an einen Gewinnerzustand 16

17 Zustände in etwa die Waage zu halten, wird auch der Spieler leicht bevorzugt. Dieser führt während des Training den Gewinnerzug aus, wenn dieser möglich ist. Gleichzeitig kann hierdurch ebenfalls die Dauer und Effizenz des Trainings beschleunigt werden Das Training Um das Netz zu trainieren sollen im Folgenden die umgesetzten Wege und Ideen dargestellt werden. Dabei ist zu beachten das keinerlei Informationen über das Spiel selbst von aussen eingebracht werden. Somit werden auch keine Informationen über die Spielregeln benötigt. Auch das eigentliche Ziel des Spieles wird nicht an das Netz weitergegeben. Weiterhin werden auch keine Strategien oder ähnliches antrainiert. Das Netz begreift den Sinn des Spielers von selbst. Es versteht nach einer großen Menge von Spielen was das eigentliche Ziel des Spieles ist. Ebenfalls entwickelt das Netz von selbst seine eigene Strategie um so gewinnen. Auch ein Lehrer ist somit nicht notwendig. Die Interaktion mit der Umwelt Den größten Einfluss auf die Qualität des neuronalen Netzes hat mit Abstand die gewählte Methode um das Netz zu trainieren. Um später eine optimale Strategie zu entwicklen benötigt das Netz Erfahrung. Durch vorhandene Erfahrung kann es später den besten Spielzug in dem aktuellem Zustand ausführen. Erfahrungen sammelt das Netz durch die Interaktion mit der Umwelt. Diese Interaktion mit der Umwelt (vgl. Maus untersucht die Fläche) ist noch nicht vorhanden und muss daher simuliert werden. Mit der der Simulation einer Interaktion bewegt sich das Netz duch seine Umwelt und lernt diese kennen. Dieses Kennenlernen entspricht dabei genau dem Trainieren. Die größtmögliche Erfahrung wird dann erreicht, wenn alle Endzustände auf allen möglichen Wegen gleichwohl durchlaufen und trainiert wurden. Nur so kann die unbekannte Funktion y = f(y) möglichst genau approximiert werden. Analog dem einführenden bildlichen Beispiel ist zu Beginn des Trainings nur die Güte des Startzustandes und der Endzustände bekannt. Um nun auch die Zwischenzustände lernen zu können muss zunächst einmal ein Endzustand erreicht werden. Dazu wird ein Spiel von Anfang bis Ende gespielt 17

18 (vgl. Maus läuft bis sie ein Endzustand erreicht hat). Nachdem der Endzustand erreicht wurde, können die durchlaufenen Zustände dem Endzustand mit dem beschrieben Verfahren angenähert werden. Da das neuronale Netz mit Zufallsgewichten initialisiert wurde kann zu Beginn dieser Netz zur Ermittlung des nächsten Spielzuges herangezogen werden. Mit der Zeit stellen sich die Gewichte ein und das Netz wählt den bereits gegangen Weg wieder und wieder. Es geht dann immer den bereits gefundene Weg um sein Ziel zu erreichen. Das Spiel deterministisch und kann nur durch die eigene Strategie gewonnen werden. (vgl. Maus geht den gemerkten Weg entlang) Leider besitzt das Netz nun aber keine Neugier (wie die Maus). Es wird also nie neue Wege erforschen wollen. Statt dessen versteift es sich ein ein gefundes Ziel. Später wurde das Netz immer die gleichen Züge ausführen. Solch eine Strategie ist gerade bei einem Brettspiel nicht hilfreich. Aus diesem Grund muss hier in das Lernverfahren eingegriffen werden. Die Neugier, welche eine Lebewesen bei der Erforschnung seiner Umwelt mitbringt hat ein künstlich neuronales Netz nicht. 7 Diese Neugier kann aber simuliert werden. Die Simulation der Neugier Anstatt alle Züge vom neuronalen Netz bestimmen zu lassen, wird ein bestimmter Anteil der Züge zufällig gewählt. Damit wird das Netz vom Weg abgebracht und es muss neue Pfade zum Ziel suchen. Diese Züge dienen zur Erforschung des Zustandsraumes und werden daher auch exploratory (engl. erforschende) Züge genannt. Da diese exploratory Züge zufällig gewählt wurden, dürfen sie nicht mit antrainiert werden. Im Gegensatz dazu werden die gierigen, also nach Erfolg strebenen Züge, greedy Züge genannt. Diese werden vom neuronalen Netz ermittelt und auch trainiert. Somit besteht das Training aus dem Durchlaufen eines kompletten Spieles vom Startzustand bis zum Ende. Dabei wird ein geringer Anteil der Züge zufällig ausgewählt. Nachdem das Spiel beendet ist werden die durchlaufenen Zustände dem erreichten Zielzustand in Abhängig von dessen Entfernung angenähert. 7 Was ist eigentlich Neugier? 18

19 1.5.8 Die Generierung von Trainingsspielen Nachdem geklärt wurde wie die Wahl des nächsten Spielzuges zu ermitteln ist muss eine geeignete Methode gefunden werden um möglichst viele Spiele zu generieren. Dabei sollten die generierten Spiele so abwechselungsreich wie möglich sein, um alle Endzustände (beinhalten Sieg und Niederlage) auf möglichst vielen Wegen zu erreichen. In erster Linie ist eine geeigneter Gegner für das Netz zu finden. Dieser Gegner sollte sich dem Netz anpassen. Das Gleichgewicht zwischen Sieg und Niederlage sollte erhalten bleiben. Das bedeutet, dass sich der Gegner dem Netz im Hinblick auf die Spielstärke angleichen sollte. Lernt das Netz an Erfahrung hinzu und wird dementsprechend auch stärker, so muss der Gegner mit dem Spieler in der Spielstärke wachsen. Der Gegner sollte zu jedem Zeitpunkt des Trainings genau so spielstark sein wie der Spieler es ist. Zufallspieler Eine Möglichkeit der Realisierung eines Gegenspielers ist die Nutzung eines Zufallsgeneratores. Dabei werden die Spielzüge des Gegners zufällig, ohne Kenntniss des Spieles, gewählt. Dies hat zu Beginn des Traninings einer großen Vorteil, der Zustandsraum wird weitestgehend gleichmäßig durchlaufen (bei Gleichverteilung der Zufallszüge) Da die Gewichte des neuronalen Netzes ebenfalls zufällig initialisiert werden ist auch die Spielstärke der beiden Mitspieler auf gleicher Ebene. Die zu Beginn des Trainings noch ausgeglichene Spielstärke geht aber relativ schnell zu Gunsten des neuronalen Netzes über. Sobald das neuronale Netz einen gewissen Erfahrungswert besitzt, ist es in der Lage den Großteil der Spiel zu gewinnen. Da während des Training aber das Gleichgewicht zwischen Sieg und Niederlage erhalten bleiben sollte, ist diese Methode nur zu Beginn geeignet. Hinzukommend begrenzt sich der Zustandsraum auf ein bestimmtes Niveau. Gleichzeitig bedeutet dies für das Netz, dass es zwar besser spielt als ein Zufallsspieler, dann aber auch bei dieser Spielstärke stehen bleibt, da es keine neuen Erfahrungen machen kann. 19

20 Self-Play Als weitere Möglichkeit zur Bereitstellung eines Gegners ist der Spieler selbst. Er hat die gleiche Erfahrung und es wird auch das Gleichgewicht zwischen Sieg und Niederlage erhalten bleiben. Um dies zu erreichen spielt das Netz gegen sich selbst. Durch die Unterscheidung der Eingangskodierung nach eigenen und gegnerischen Steinen müssen vor dem Ermittlung des nächsten Spielzuges nur die jeweiligen Steine ermittelt werden. Abwechselnd werden dann die eigenen Steine zu den gegnerischen Steinen und die gegnerischen zu den eigenen Steinen. Durch das Spiel gegen sich selbst wird zwar das Gleichgewicht zwischen Sieg und Niederlage erhalten bleiben, der Zustandraum dehnt sich aber nur in eine Richtung aus. Man könnte dies auch als einen Stil bezeichnen, den das Netz mit der Zeit entwickelt. Einzig die greedy Züge bringen hier ein Streuung im Zustandsraum mit sich. Wettbewerbsmodus Im Wettbewerbsmodus spielt das Netz in unterschiedlichen Generationen gegen sich selbst. Dabei werden diese Generationen überwacht. Der Wettbewerbsmodus hat in erster Linie den Vorteil, dass mehere unterschiedliche Netze mit teilweise auch unterschiedlichen Strategien aufeinandertreffen. Somit ist die Gefahr einer Stilausbildung und dem damit verbundenen Hängenbleiben in einem lokalen Optimum nicht so groß. Ein möglicher Algorithmus unter Anwendung eines Klones ist der folgende: 1. Klonen des Netzes (A), es ensteht ein Klon K 2. Netz A spielt c Spiele gegen Klon K, wobei nur A trainiert wird 3. A spielt 2 Spiele gegen K, wenn A beide gewinnt weiter bei 1, sonst 2 4. Nach Erreichen einer Gesamtspielanzahl g wird das Training abgebrochen Es scheint zunächst so, dass das Netz pro Klonvorgang immer um eine Stufe aufsteigt. Das Netz wird solange trainiert, bis es besser ist als sein (untrainierter) Klon. Es wäre auch zu erwarten, dass hierdurch das Netz immer mehr an Qualität gewinnt. Praktisch ist dies aber nicht immer so. Zwar spielt das Netz besser besser als sein Vorgänger 8, aber nicht 8 Das Netz gewöhnt sich sehr schnell an den Gegner und stellt sich auf die gegnerische Strategie ein. 20

21 gleichzeitig auch besser als sein Vorvorgänger. Wenn ein Spieler X gegen Spieler Y gewinnt und Y im direkten Vergleich gegen Z gewinnt, so kann nicht implizit die Annahme getroffen werden, dass X auch gegen Z gewinnt. Dies liegt darin begründet, da alle Spieler eine eigene Strategie verfolgen. Dabei müssen sowohl offensive, als auch defensive Strategien berücksichtigt werden. Nur der Spieler, welcher auf eine Offensive mit der richtigen Defensiver reagiert hat ein Gewinnchance. Bestes Beispiel ist das Spiel Schere-Stein-Papier. Papier ist besser als Stein. Stein ist besser als Schere. Papier ist aber nicht besser als Schere. Statt dessen sind alle Spieler gleich stark, nur die Konstellation entscheidet über Sieg und Niederlage. Da das Netz die Eigenschaft besitzt, sich seinem Gegner anzupassen, ist das Ziel während das Trainings dem Netz möglichst viele unterschiedliche Gegner bereitzustellen. So ist das Netz später in der Lage sich auf möglichst viele Strategien einzustellen und entsprechend darauf zu reagieren. Somit erhält das Training eine Erweiterung: Anstatt nur einen Klon zu verwenden, werden mehrere Generation während des Trainings herangezogen. Diese Generation spielen in einem festgelegten Schema gegeneinander. Das Schere-Stein-Papier Problem wird damit überwunden. So muss sich das Netz immer wieder einer neuen Strategie anpassen. Während des gesamten Trainings werden alle Netze gleich behandelt. Dabei ergibt sich folgender erweiterter Algorithmus: 1. Initialisierung eines Arrays von Netzen, wobei die Länge des Arrays n*2+1, n>=1 entspricht 2. Netz an Position 0 spielt gegen Netz an Position n*2, wobei nur Netz an Position 0 trainiert wird 3. Netz an Position 0 spielt 2 Spiele gegen Netz an Position n*2, wenn beide Position 0 beide gewinnt, weiter bei 4, sonst 2 4. Tauschen der Postionen nach vorgegeben Verfahren, weiter bei 2 5. Nach Erreichen einer Gesamtspielanzahl wird das Training abgebrochen 21

22 6. Als Referenz dient das Netz, welches sich am Ende des Trainings an Position 0 befindet Das Tauschen der Positionen erfolgt durch abwechselndes Verschieben des ersten und letzten Elementes des Array in die mittlere Position. Um die mittlere Position frei zu bekommen werden die vorhanden Elemente ich die Richtung des zuvor frei gewordenen Elementes verschoben. So befinden sich alle Elemente gleich oft am Rand des Arrays und werden gleich oft in das Training einbezogen. Um so mehr Generationen am Training teilnehmen, um so größer ist die Streuung. Gleichzeitig nimmt aber auch der Lerneffekt pro Netz ab. An dieser Stelle ist die Anzahl der Generation entscheidend. Prinzipiell wird der Lerneffekt auf alle Netze gleich aufgeteilt 9. Im direkten Vergleich müssen daher im Wettbewerbsmodus mehr Trainingsspiele absolviert werden, als im self-play. Im Gegensatz dazu ist die Qualität aber auch umso höher, umso mehr Netze am Wettbewerb teilnehmen. Auch während des Trainings im Wettbewerbsmodus ist es möglich erforschende Züge auszuführen. Diese sind aber nicht so stark vertreten, wie beim self-play, da durch die unterschiedlichen Generationen schon eine gewissen Streuung vorhanden ist Verwendung des neuronalen Netzes Nachdem das Netz trainiert wurde ist zu klären, wie die konkrete Anwendung während eine Spieles umgesetzt wird. Hierzu wird das Netz zur Auswahl des Spielzuges herangezogen. Wie bereits in den vorherigen Abschnitten beschrieben entspricht ist der Eingabevektor der aktuellen Spielsituation und der Ausagabevektor der Wahrscheinlichkeit das Spiel zu gewinnen. Das Netz kennt also nicht die auszuführenden Aktionen, sondern nur die Zustände mit deren Gütewerten (State-Value Funktion). Zur Auswahl des nächsten Spielzuges werden ausgehend von der aktuellen Spielsituation alle legalen Spielzüge zunächst getestet. Für jeweils jeden entstandene Spielzug wird die zugehörige Kodierung am neuronalen Netz angelegt. Das Netz ermittelt daraufhin den Gütewert für diese Spielsituation. Es wird nun 9 Von daher spielt es keine bedeutende Rolle, welches der beteiligten Netze als Referenz verwendet wird. 22

23 der Spielzug ausgeführt, welche die höchste Güte besitzt. Dies wird solange wiederholt bis das Spiel zu Ende ist. Die Anwendung der State-Value Funktion stellt eine Vereinfachung dar. So braucht das Netz keine Unterscheidung von legalen und illegalen Spielzügen zu erlernen. 1.6 Details zur Implementierung Eingangskodierung Zur Generierung des Input-Vektors für das neuronale Netz wird das nachfolgend beschriebene Verfahren verwendet. Zunächst wird das Spielfeld in die einzelnen Felder unterteilt. Jeder Feld erhält eine eindeutige Kennung. Das Feld in der linken unter Ecke enspricht dem Feld 1, alle Felder dieser Zeile werden dem entsprechend mit Feld 2 bis Feld 7 benannt. Nun beginnt die fortlaufende Bennung in der zweiten Zeile, beginnend mit Feld 8 bis hin zu Feld 42. Jedem dieser Felder werden zwei Input-Neuronen zugeordnet. Demnach werden immer 84 Input-Neuronen genutzt. Je nach Belegung der Felder werden die zugehörigen Neuronen mit den entsprechenden Werten belegt. Bei einem leeren Feld erhalten die zugehörigen Input Neuronen den Wert 0. Beispiel Feld 1: Neuron 1 hat Wert 0, Neuron 2 hat Wert 0. Liegt ein eigener Stein in diesem Feld, so erhalten die Neuronen den Wert 0 bzw. 1. Beispiel Feld 4: Neuron 7 hat Wert 0, Neuron 8 hat Wert 1. Sowohl die Bennung der Spielfelder, als auch die Zuordnung zu den einzelnen Neuronen bleibt während des gesamten Trainungs unverändert. Je nach aktueller Spielsituation ergibt sich damit die Eingangskodierung. Folgendes Beispiel soll dies verdeutlichen. 23

24 24

25 1.6.2 Eigenschaften des Neuronalen Netzes Es wird ein neuronales Netz mit folgenden Eigenschaften verwendet: Feed-Forward Netz mit einem Hidden-Layer 84 Input-Neuronen 60 Hidden-Neuronen (Anzahl variabel) 1 Output-Neuron Die Werte der Input-Neuronen betragen in Bezug auf die Eingangskodierung der Werte 0 der 1 (Aktivierungsfunktion ist Identität). Die Aktivierungsfunktion der Hidden-Neuronen lautet: tangh (gewichteten Summe der Input-Neuronen) und liegt im Wertebereich [-1;1]. Das Output-Neuron verwendet als Aktivierungsfunktion: gewichtete Summe der Hidden-Neuronen / Anzahl der Hidden-Neuronen und liegt somit ebenfalls im Bereich [-1;1]. Weiterhin wird Backpropagation als Lernalgorithmus verwendet. Dabei ist der Backpropagation- Fehler wie folgt definiert: V (s ) V (s) 25

26 Der Backpropagation-Fehler (hier auch TD-Fehler) ist somit die Differenz zwischen der Wahrscheinlichkeit aus der aktuellen Spielsituation und der vorherigen Spielsituation heraus zu gewinnen. Im Gegensatz zum Standard Backpropagation wird eine erweiterte Update- Regel verwendet. w t+1 = w t + α[γv (s ) V (s)]e t e t = t k=1 λt k w V k e t+1 = γλe t + w V t V (s t) = V (s t ) + α[r t+1 + γ V (s t+1 ) V (s t )]e t 26

27 1.6.3 Die verwendeten Klassen Im Folgenden soll ein Auszug der verwendeten Klassen und Funktionen, welche im Rahmen des Beleges verwendet wurden genannt werden. Dabei soll insbesondere auf die Implementierung des Netzes, des Trainings und auf die Anbindung an das Spielbrett eingegangen werden. Die wichtigsten Klassen sind: Sheet Diese Klasse verwaltet alle Funktionen, welche die Verwaltung des Spielbrettes betreffen, wie das Löschen des Spielfeldes (Reset) oder das Werfen eines Steines (PitchIn). Unter anderem generiert diese Klasse aus der aktuelle Spielsituation den Input-Vektor (GetMask) für das neuronale Netz. Weiterhin wird getestet, ob der Spieler vier Steine seiner Farbe in waagerechter, senkrechter oder diagonaler Anordnung nebeneinander liegen hat (TestStep). Zum Testen des Verlierzustandes wird eine Funktion (TestStepWithForward) bereitgestellt, welche einen Zug im voraus prüft ob das Spiel für den Gegner gewonnen werden kann. Diese Klasse stellt die Verbindung zwischen der Umgebung (Spielbrett) und dem neuronalen Netz her. TDBPTraining Zur Generierung der unterschiedlichen Traingsspiele und den damit verbunden Trainingsmethode wird diese Klasse verwendet. Da das Training sehr rechenintensiv ist werden Threads verwendet. Diese Klasse ist in der Lage die bestmöglichen Spielzug (GetBest- Move, GetBestMoveByNet) zu ermitteln. Weiterhin generiert sie in Abhängigkeit von der gewählten Trainingsmethode die erforderlichen Trainingsspiele. Die dazu benötigten Funktionen (CompareNet, Train) arbeiten dabei mit den Instanzen des neuronalen Netzes. TDBPNet Das neuronale Netz wird in dieser Klasse abgebildet. Die Funktionen, welche zum Initialisieren des Netzes (InitNet), sowie zum Update der Gewichte (UpdateWeights) notwendig sind, sind hier implementiert. Alle Netzparameter können unabhängig verändert werden. 27

28 Somit ist das Netz auch für andere Anwendungsfälle verwendbar. Weiterhin enhält das Funktionen zum Laden (Save) und Speichern (Load) seiner Instanz. Auch kann eine aktuelle Instanz komplett geklont (CloneEx) werden. Options In dieser Klasse werden die Konfigurationsdialoge verwaltet und die Parameter an die übergeordnete Klasse Form1 übertragen. Form1 Diese Klasse stellt das Hauptfenster dar. Weiterhin wird die unterschiedlichen Animation (fallenden Steine, Cursor) und die dafür benötigten Timer verwaltet und bereitgestellt. Die Steuerung erfolgt ebenfalls an dieser Stelle. Weiterhin werden zur Darstellung und Animation des Spieles die Klassen SpriteCanvas und SpriteWorld verwendet. 1.7 Zusammenfassung Es ist erstaunlich in weit Paralellen zwischen den hier angewendeten Methoden und dem Verhalten von Lebenwesen in Umwelt existieren. Dabei ist insbesondere die noch sehr junge Methode des Reinforcement Learning hervorzuheben. So können alle Abläufe, welche sich in das Schema der Zustände und Aktionen passen damit dargestellt werden. Die Schwierigkeit ist dabei die Abstrahierung um die Zustände und Aktionen zu finden und für die Aktionen die richtige Zustandsänderung zuzuordnen. Nachdem diese Hürde überwunden ist, können eine Vielzahl von Problemen mit diesem Ansatz gelöst werden. Derzeit liegen die Beschränkungen diesen Verfahrens in den Grenzen der Rechentechnik. Schon dieses Beispiel mit einem relativ kleinen Zustandsraum zeigt, wie aufwändig das Training des neuronalen Netzes ist. Bei einem sehr großen Zustandsraum ist eine Wiederholung des Trainings in mehreren Millionen Spielen keine Seltenheit. 28

29 1.7.1 Fazit In dem folgenden Abschnitt sollen Schlussfolgerungen aus dem Training des neuronalen Netzes gezogen werden. Dabei sollen diese Erkentnisse sehr allgemein umschrieben werden, um sie auch für weitere Anwendungen nutzbar zu machen. Teilweise werden Erkenntnisse auf Lebewesen bezogen. Ein Lebewesen findet sich immer dann in seiner Umwelt gut zurecht, wenn es bereits viel Erfahrung sammeln konnte. Diese Erfahrung eignet sich ein Lebewesen durch das Erforschen seiner Umwelt an. Während dieser Phase der Erforschnung macht das Lebewesen gute und auch schlechte Erfahrungen. Aus diesen Erfahrungen kann das Lebewesen später aufbauen. Es kennt dann zusagen Dinge aus seiner Umwelt, die es meiden sollte und solche Dinge die das Leben angenehmer machen. Zur Erforschung der Umwelt ist Neugier ein wichtigen Faktor. Die Neugier ist sozusagen die Ursache, warum ein Lebewesen seine Umwelt erforscht. Nur ein neugieriges Lebewesen kann seine Umwelt erforschen und damit neue Dinge kennenlernen. Für das Lebewesen heisst das, dass es auch neue Wege gehen sollte. Auch wenn der Weg falsch war. Falsch ist es auf keinen Fall ihn gegangen zu sein und die Erfahrung mitgenommen zu haben. Diese Erfahrung kann später bei der Orientierung in der Umwelt hilfreich sein. Somit ist Neugier eine Grundlage des Lernprozesses. Die Erforschung der Umwelt bedeutet insbesondere die Dinge aus der Umwelt zu untersuchen. Zur Untersuchung stehen einem Lebewesen dabei die verschiedenen Sinnesorgane zur Verfügung. Das Lebewesen kann sehen, hören, tasten, riechen und schmecken. Neugeboren und Kleinkinder sind unerfahren, sie finden sich in der Umwelt noch nicht zurecht. Durch das Tasten, Schmecken, Sehen, Hören, Riechen nehmen sie die Eindrücke der Umwelt wahr und sammeln daraus Erfahrungen. 10 Die Erfahrung (Lerneffekt) ist dabei umso größer, umso unbekannter die Dinge sind. 11 Diese Erfahrungen behalten sie ein Leben lang. Mit der Zeit findet sich das Kleinkind immer besser in seiner Umwelt zurecht. Die bekannten Dinge brauchen nicht mehr erforscht zu werden. 10 Das könnte auch ein Grund sein warum Neugeborene und Kleinkinder alles anfassen und in den Mund nehmen wollen. 11 Aus diesem Grund merken wir uns seltene Ereignisse und unbekannte Dinge schneller und leichter. 29

30 Später im Erwachsenenalter kennen wir die Dinge unsere Umwelt, wir brauchen nicht mehr alles anfassen oder in den Mund zunehmen um Dinge zu erforschen. Nur für den Erwachsen unbekannte Dinge werden noch untersucht. Sehen wir zum Beispiel eine unbekannte exotische Frucht, so werden wir diese zunächst anzufassen, danach werden wir instinktiv daran riechen. Und aus unserer Erfahrung wissen wir, dass eine Frucht essbar ist, also wollen wir diese auch geschmacklich kennenlernen und einer Kategorie zuordnen (schmeckt wie ein Apfel). Neben den speziellen Erfahrungen ist ein Lebewesen in der Lage Assoziationen herrzustellen. So erregen vor allem neue und seltene Dinge unsere Aufmerksamkeit. 12 Bei der Herrstellung von Beziehungen nutzen wir einen wichtigen Faktor, die Zeit. Alle Erfahrungen und Wahrnehmungen, die ein Lebewesen in zu einem Zeitpunkt macht setzt es später in Zusammenhang. Befinden wir uns an einem speziellen Ort (z.b. Wald) nehmen wir den Duft ( z.b. Blumen, Gras) und Geräusche (z.b. Vögel) wahr. Wenn wir später an einem anderen Ort zu einem anderen Zeitpunkt einen ähnlichen Duft von Blumen wahrnehmen, so denken wir an der Ort im Wald zurück und haben auch das Geräusch der Vögel wieder in Erinnerung. Im Laufe des Lebens werden immer mehr solche Zusammenhänge aufgebaut. 13 Diese Erkenntnisse treffen bei einem Lebewesen genau zu, wie auch beim Training des neuronalen Netzes. Nur durch Erforschen und Interaktion der Umwelt kann gelernt werden Lebewesen erforschen aus Neugier Ihre Umwelt Durch die Erforschnung der Umwelt sammelt das Lebewesen Erfahrungen Zwischen bestehenden und neuen Erfahrungen werden Schlussfolgerungen gezogen Auch schlechte Erfahrungen müssen gesammelt werden, sie gehören zum Lernprozess Zur Interaktion mit der Umwelt ist ein Feedback notwendig 12 Hören wir ein unbekanntes Geräusch, so versuchen wir es den uns schon bekannten Erfahrungen einzuordnen und Beziehungen aufzubauen. 13 Teilweise treten auch Irrtümer auf. Falsche Annahmen und Schlussfolgerungen beruhen dann auf der fehlender Erfahrung. 30

31 1.7.2 Erkenntnisse Während der Umsetzung des Beleges wurden viele Erkenntnisse auf dem Gebiet der neuronalen Netze gesammelt. Es konnte unter anderem gezeigt werden, wie vielseitig künstlich neuronale Netze einsetzbar sind. Dabei besteht die Schwierigkeit nicht in der Umsetzung des neuronalen Netzes. Vielmehr ist die Aufbereitung und Auswertung, also die Interpretation der Informationen massgebend für die Anwendung neuronaler Netze. Dies führt zu dem Schluss, dass das Netz selbst die Information nicht interpretieren kann. Das hier angewandte Netz approximiert eine Funktion, welche einen Eingabevektor auf einen Ausgabevektor abbildet. Die Informationen, wie der Eingabevektor ensteht und wie die Ausgabe zu interpretieren ist, ist dem Netz nicht bekannt. Dieses Verhalten ist bei allen Anwendungen von neuronalen Netzes zu beobachten. Somit ist ein Netz als solches nutzlos, wenn die Bedeutung des Ein- und Ausgabevektores nicht bekannt ist. 14 Insbesondere während des Trainings besteht ein direkter Zusammenhang zwischen der Anzahl der Hidden-Neuronen die Anzahl der zu spielenden Trainingsspiele. Somit erfordern eine höhere Anzahl von Neuronen auch eine höhere Anzahl von Spielen. Gleichzeitig steigt mit der Anzahl der Neuronen auch die Qualität des Netzes. 15 Als ein relativ guter Werte konnte die Zahl von 60 Hidden-Neuronen ermittelt werden. Im Bezug auf die Trainingsdauer ist anzumerken, dass eine Erhöhung der Trainingsspiele nicht immer gleichzeitig auch eine Steigerung der Qualität mit sich bringt. Teilweise konnten sogar gegenteilige Erfahrung gemacht werden. Bei einer geringen Anzahl von Hidden- Neuronen (weniger als 40) und einer gleichzeitiger Erhöhung der Trainingsspiele auf über verringerte sich die Qualität des Netzes wieder. Eine Besonderheit wurde während des Trainings festgestellt. Zunächst wurde das Netz auf das Gewinner ausgerichtet. So wurden zum Großteil nur positive Rewards vergeben. Das führte letzendlich zu einem unbefriedigenden Ergebniss. Das Netz war anscheinend nicht in der Lage die schlechten von den guten Spielzügen zu unterscheiden, da es immer nur gelobt 14 Theoretisch kann man heutzutage bereits die Gedanken eines Menschen lesen, indem die Hirnaktivitäten mit Elektroden aufnimmt. Nur sind dies Information nutzlos, da sie nicht interpretierbar sind. Einzig die Beobachtung von Aktivitäten und die Eingrenzung auf lokale Bereiche des Hirns bei bestimmten Stimulierungen ist möglich. 15 Mit zunehmender Neuronenanzahl steigt aber auch die Gefahr das Netz nicht mehr kontrollieren zu können. Weiterhin sinkt die Performance drastisch ab. 31

32 wurde. Durch das Einwirken von negativen und positiven Rewards im gleichen Verhältnis konnte dieses Problem schnell gelöst werden Erreichte Ziele Zunächst einmal wurde gezeigt, dass es möglich ist neuronale Netze bei der Entwicklung einer Spielstrategie einzusetzen. Die beiliegenden trainierten Netze befinden sich im Bezug auf die Spielstärke über Niveau eines durchschnittlichen Spielers. 16 Sie sind also in der Lage eine menschlichen Spieler zu schlagen. Das anfänglich angestrebte Ziel, dem Netz durch eigene Erfahrungen ein Spielstrategie anzueignen konnte somit erreicht werden. Im Vergleich zu anderen Strategiespielen, wie etwa Tic-Tac-Toe ist der Zustandsraum von Vier Gewinnt um ein Vielfaches höher und daher liegt auch die Komplexität auf einem hohen Niveau. Daraus folgt, das auch das Trainings um ein Vielfaches komplexer ist. Zur Verdeutlichung reicht bereits der Vergleich der Zustände. Vier Gewinnt (bestehend aus 42 Feldern) hat maximal 3^42 Zustände. Im Gegensatz dazu hat Tic-Tac-Toe (mit 9 Felder) nur maximal 3^9 Zustände. Es konnten Methoden gefunden werden, welche es ermöglichen das Netz ohne Kenntnisse der eigentlichen Spielregeln oder einer vorhanden Spielstrategie zu trainieren. Allgemein betrachtet ist es somit möglich ein Individium ein seiner gegebenen Umwelt nur durch Reinforcement-Signale zu kontrollieren. Dabei findet das Individium seine eigene Strategie um sich in der Umwelt zurecht zu finden Ausblick Neuronale Netze sind eine Möglichkeit der Realisierung von künstlicher Intelligenz. 17 Das neuronale Netz kennt die Welt um sich herum nicht. Sie benötigen daher immer eine Verbindung zur Umwelt. Es kann die Signale, welche von aussen einwirken nicht interpretieren. Für das Netz ist das vollkommen abstrakt und nicht definierbar. Ist es nun eine Texterken- 16 Es wird nicht ausgeschlossen, dass durch eine Optimierung der Parameter weitere Verbesserungen möglich sind. 17 Hier gehen die Defnitionen, was genau eine künstliche Intellegenz charakterisiert teilsweise weit auseinander. 32

33 nung oder ein Agent in seiner Umgebung. Ein Lebewesen, welches keine Signale aus seiner Umwelt bekommt kann auch nicht lernen. Die Verbindung mit der Umwelt wird durch Sinnesorgane geschaffen. Dabei spielt es keine Rolle wie die Sinnesorgane umgesetzt sind, das Netz kann die Signale nicht interpretieren. 18 Es spielt auch keine Rolle, welche Signale aufgenommen werden. Zu einem bestimmten Zeitpunkt kommen einfach bestimmte Sinnesreize an. 19 Angeborene Eigenschaften (Triebe) von Lebewesen müssen simuliert werden. Dazu gehört auch die zum Lernen notwendige Neugier. Hinzukommend ist es für ein künstliches Netz so gut wie unmöglich die guten und schlechten Erfahrungen zu unterscheiden. Es kennt kein angenehm (Belohnung) oder unangenehm(bestrafung). 20 Die Simulation dieser Eigenschaften ist dabei ein zu lösendes Problem. Neuronale Netze können in den unterschiedlichsten Bereichen eingesetzt werden. Bei der Nutzung von neuronalen Netzen ist vor allem die Aufbereitung und Auswertung der Informationen wichtig. Das Netz selbst stellt dann nur einen geringen Anteil dar. Bei der Umsetzung von künstlichen Intelligenzen wird immer der Versuch unternommen die Maschine dem Menschen anzupassen. Die künstliche Intelligenz soll dann immer so agieren, wie ein Mensch. Statt dessen sollte sich der Mensch der Maschine anpassen. 18 Einen von Geburt an blinden Menschen wird man aus diesem Grund niemals erklären können was die Farbe Rot ist. 19 Daher entstehen die Beziehung von Sinneswahrnehmungen, welcher zur gleichen Zeit wirken, da diese zum gleichen Zeitpunkt auf das Netz eintreffen. Das Netz sie aber keinem Sinnesorgan zuordnen kann. 20 Was ist angenehm oder unangenehm? 33

34 Kapitel 2 Benutzerdokumentation 2.1 Einstellungen Netzparameter Dieser Dialog ermöglich die individuelle Einstellungen der Parameter des neuronalen Netzes. Da das verwendete Netz einen festgelegten Eingabe- und Ausgabevektor besitzt können die Werte für die Anzahl der Ein- und Ausgabevektoren nicht verändert werden. 34

35 2.1.2 Trainingsparameter Zunächst ist hier die Wahl des Trainingsverfahrens möglich. Zur Auswahl stehen dabei die Möglichkeiten 1. Netz gegen einen Zufallsspieler 2. Netz gegen sich selbst 3. Netz gegen sich selbst im Tourniermodus Spieleparameter 35

36 In diesem Dialog werden die Parameter bezüglich des Spieles eingestellt. Die Wahl die Schwierigkeittsgrades ist stufenlos möglich. Steht der Regler auf leicht so wird das neuronale Netz nicht verwendet. Statt dessen werden alle Spielzüge zufällig gewählt (die Wahrscheinlichkeit der Nutzung des neuronalen Netzes ist 0). Auf des Stellung schwer werden alle Spielzüge mit Hilfe des neuronalen Netzes ermittelt (Wahrscheinlichkeit der Nutzung des neuronalen Netzes ist 1). Dem entsprechend werden auf die mittleren Stellung mit einer Wahrscheinlichkeit von 0.5 die Züge vom neuronalen Netz ermittelt und die restlichen Züge zufällig gewählt. Die Spielzüges des neuronalen Netzes sind dabei immer die bestmöglichen Züge. 1 Ebenfalls wird an dieser Stelle der Spieler gewählt, welches das Spiel beginnt und damit auch das Spiel beginnt. Spieler gelb wird dabei durch das neuronale Netz repräsentiert. 2.2 Auswahl und Training eines neuronalen Netzes Über der Menüpunkt Neuronales Netz kann ein vorhandes Netz geladen werden. Alternativ kann ein neuronales Netz mit den angegeben Einstellungen trainiert werden. Dabei werden vor dem Training die Gewichte des Netzes mit Zufallswerten belegt. Nach dem Starten der Oberfläche wird ein zufällig initialisiertes Netz verwendet, wenn kein Netz geladen oder trainiert wurde. Nach dem Training kann das aktuelle Netz gespeichert werden. 2.3 Wie wird gespielt? Gespielt wird mit der Tastatur. Dabei sind die folgenden Tasten definiert: Y M Leertaste eine Spalte nach links eine Spalte nach rechts Stein in die aktuelle Spalte werfen Der Pfeil zeigt dabei die Farbe des Spielers an, welcher als Nächster am Zug ist. Im Modus Mensch gegen Mensch nutzen beide Spieler die gleiche Tastaturbelegung. Um das Spiel gegen das neuronale Netz realistisch umzusetzen, wird jeder Zug des Netzes nach einer zufälligen Verzögerung ausgeführt. Die Verzögerung beträgt dabei maximal 3 1 Da das neuronale Netz nur den besten Zug kennt, ist durch diesen Verfahren ein ausgeglichenes Spiel möglich. So wird durch Anpassung der Wahrscheinlichkeiten zwischen schlechten und guten Spielzüge erreicht, dass das Netz auch auf relative leichten Schwierigkeitsgraden noch in der Lage ist zu gewinnen. 36

37 Sekunden. Diese Verzögerung simuliert die menschliche Bedenkzeit. Das Spiel ist beendet, wenn einer der Spieler vier Steine seiner Farbe in einer waagerechten, senkrechten oder diagonalen Reihe angeordnet hat. Im Beispiel hat Rot vier Stein diagonal liegen. 37