Machine Learning - Maschinen besser als das menschliche Gehirn?

Transkript

1 Machine Learning - Maschinen besser als das menschliche Gehirn? Tobias Stähle Einführung 1.1 Was ist Machine Learning? Während am Anfang Computer noch auf das reine Ausrechnen beschränkt waren wurden schnell weitere Felder entdeckt, in denen sie eingesetzt werden konnten, zum Beispiel zur Verwaltung und Verarbeitung gröÿerer Datenmengen oder auch nur zur Unterhaltung. Relativ schnell wurde aber klar, dass die Rechengeschwindigkeit des Computers nicht überall zum Einsatz kommen konnte: Komplexe Entscheidungen innerhalb eines fest geschriebenen Programms zu treen erwies sich als äuÿerst schwierig. Man konnte zwar die einzelnen Möglichkeiten einprogrammieren und in einfachen Problemen dem Computer sagen, was er wann zu tun hatte - in vielen echten Problemen gab es aber einfach zu viele Möglichkeiten oder zu viele zu vergleichende Parameter als dass man sie einfach einprogrammieren konnte. Die Idee des Machine Learning versucht genau dieses Problem anzugehen. Der Ansatz klingt so logisch wie faszinierend: Dem Computer wird nur noch ein gewisses Grundgerüst vorgegeben. Anschlieÿend gibt man ihm viele Beispiele, aus denen er lernen soll, das entsprechende Problem zu lösen. Aus diesen Beispielen soll der Computer dann eine möglichst allgemeine Strategie entwickeln, wie er dieses Problem löst. Schlussendlich hot man dann, dass die so entwickelte Strategie auch in anderen Situationen erfolgreich ist und der Computer gelernt hat, dieses Problem allgemein zu lösen. 1.2 Geschichte 1945/1946: Erste Turing-vollständige Computer (Zuse Z10, ENIAC) 1952: Erstes lernfähiges Dame-Programm 1958: Perzeptron, erster Ansatz für neuronale Netze 1968: XOR-Problem, Stagnation in der Forschung 1986: Backpropagation-Verfahren (1974 formuliert) wird bekannter, Renaissance der neuronalen Netze 1990 bis heute: Gröÿere Datenmengen führen zu mehr Statistik in allen Wissenschaften. neuronale Netze und andere Systeme für maschinelles Lernen gewinnen stark an Bedeutung 2 Neuronale Netze 2.1 Was sind neuronale Netze? Die (künstlichen) neuronalen Netze führen die Grundidee des Machine Learning noch einen Schritt weiter: Nicht nur der Lernprozess an sich wird vom Menschen abgeschaut sondern auch

2 2 NEURONALE NETZE der Grundaufbau des Programms ist sehr stark an die Struktur des Gehirns angelehnt. Neuronale Netze bieten sehr breite Anwendungsmöglichkeiten: Neben der Lösung konkreter Anwendungsprobleme in Wirtschaft und Wissenschaft können sie dank ihres Aufbaus auch zur Erforschung des menschlichen Gehirns und menschlicher Verhaltensweisen eingesetzt werden. 2.2 Eigenschaften neuronaler Netze Parallelisierung: Ähnlich wie im Gehirn ist auch in neuronalen Netzen alles auf sehr hohe Parallelisierung ausgelegt: Die einzelnen Komponenten führen keine schwierigen Aufgaben aus - erst das Zusammenspiel vieler Komponenten macht neuronale Netze so mächtig. In Zeiten von Vielkernprozessoren, Cloud Computing etc. ist das eine sehr interessante Eigenschaft. Fehlertoleranz: Neuronale Netze weisen oft eine erstaunlich hohe Fehlertoleranz auf. Sowohl interne Fehler (wie beim Training fälschlicherweise abgestorbene Neuronen) als auch externe Fehler (z.b. unvollständige Gesichter bei Bilderkennung) können erstaunlich oft kompensiert und trotz der Fehler richtige Ergebnisse erzielt werden. Kategorisierung: insbesondere beim Zuordnen von Objekten zu bestimmten Kategorien (z.b. Gesichtserkennung auf Bildern) sind neuronale Netze sehr Leistungsstark Flexibel: Neuronale Netze können sehr exibel angelegt werden - es gibt eine riesige Zahl veränderlicher Parameter. Das ist zum einen ein Segen - neuronale Netze können vielen Problemen angepasst werden. Andererseits aber auch ein Fluch - oft ist es schwer, die richtige Konguration zu nden. Mathematisch: Formell kann man neuronale Netze komplett durch Matrizen ausdrücken. Werden ein paar Dinge beachtet kann man neuronale Netze daher sehr gut mit der Mathematik und ihren mächtigen Werkzeugen kombinieren. 2.3 Aufbau Der Aufbau von neuronalen Netzen ist ein wichtiger Parameter für seine späteren Einsatzmöglichkeiten. Alle möglichen Topologien basieren aber auf zwei Elementen: Neuronen Neuronen (oder Knoten / Units) sind die Grundeinheiten des neuronalen Netzes. Sie nehmen eine Information auf, verarbeiten sie und leiten sie dann weiter. Die Informationen können entweder von der Auÿenwelt kommen und an andere Neuronen weitergeleitet werden (Input-Neuronen), von anderen Neuronen kommen und an die Auÿenwelt weitergeleitet werden (Output-Neuronen) oder sowhl von anderen Neuronen kommen als auch an weitere Neuronen weitergeleitet werden (Hidden-Neuronen) Verbindungen Verbindungen verbinden je zwei Neuronen. Die Stärke der Verbindung wird dabei durch ein der Verbindung zugeordnetes Gewicht bestimmt. Sie sind gerichtet, das heiÿt ein Neuron beeinusst das andere, aber nicht andersrum. 2.4 Funktionsweise Die Schnittstelle nach Auÿen ist bei neuronalen Netzen recht einfach: Sie erwarten einen Vektor an Eingangsdaten und berechnen daraus einen Vektor von Ausgangsdaten. Dabei arbeitet jedes Neuron quasi für sich selbst zwei Schritte ab: Tobias Stähle 2

3 2 NEURONALE NETZE Zunächst wird der Gesamtinput des Neurons aus den eingehenden Verbindungen bestimmt. Dabei wird aus jeder Verbindung der Input aus dem Gewicht der Verbindung und der Aktivität des vorherstehenden Neurons bestimmt (oft einfach multiplikativ). Anschlieÿend wird aus den einzelnen Inputs der Gesamtinput bestimmt (häug additiv). Anschlieÿend wird aus diesem Gesamtinput der Output oder die Aktivität des Neurons berechnet. Auch hierfür gibt es verschiedene Möglichkeiten, die meistverwendeten Aktivitätsfunktionen sind aber: lineare Aktivitätsfunktion lineare Aktivitätsfunktion mit unterer Schwelle (zur Rauschunterdrückung) binäre Schwellenfunktion sigmoide Aktivitätsfunktion Je nach Anwendung lassen sich durch geschickte Wahl der Input- und Aktivitätsfunktionen passende neuronale Netze entwickeln. 2.5 Training Lernregeln Der interessanteste Aspekt bei neuronalen Netzen ist sicherlich das Training derselben. Hierfür werden dem neuronalen Netz viele Beispielskongurationen vorgelegt. Dieses rechnet sie durch und modiziert sich anschlieÿend, basierend auf einer Lernregel, selbst. Im Normalfall werden einfach die Gewichte der Verbindungen verändert. Mittlerweile gibt es aber auch schon Modelle, die das Hinzufügen neuer Elemente erlauben. Die Lernregeln sind der wohl wichtigste Parameter bei der Erstellung eines neuronalen Netzes. Sie geben an, wie genau das Netz sich modiziert, nachdem es eine oder mehrere Trainingskongurationen durchlaufen hat. Oft gibt man dem Netz dabei ein gewünschtes Ergebnis vor (supervised learning), es gibt aber auch Lernregeln die ohne ein solches Wissen zurechtkommen (unsupervised learning). Von den vielen Lernregeln werden drei Stück näher betrachtet: Hebbsche Regel Die Hebbsche Regel ist sehr an die biologischen Vorbilder angelehnt und folgt einem einfachen Prinzip: Wenn zwei Neuronen gleichzeitig aktiv sind so wird das Gewicht der Verbindung zwischen ihnen gröÿer. Dies ermöglicht ein Lernen ohne vorher feststehende Ergebnisse (also unsupervised learning) Delta-Regel Die Delta-Regel ist wohl der logischste und einfachste Ansatz: Der errechnete Output jedes Neurons wird mit dem gewünschten Output des vorgegebenen Ergebnisses verglichen. Anschlieÿend werden die Verbindungen so verändert, dass diese Dierenz kleiner wird. Diese Lösung funktioniert allerdings nur bei Netzen ohne hidden Neuronen, da von diesen der gewünschte Output ja nicht bekannt ist Backpropagation Um auch hidden Neuronen verwenden zu können musste ein neues Verfahren her. Die Lösung wurde schlussendlich in einer Rückführung des Fehlers durch die einzelnen Schichten gefunden. Tobias Stähle 3

4 3 ANWENDUNGSBEISPIELE Dabei wird das neuronale Netz mit den Beispieldaten zunächst ganz normal durchlaufen. Anschlieÿend bestimmt man den Fehler der Outputneuronen. Nun wird dieser Fehler als Funktion der Gewichte der Verbindungen zur Outputschicht minimiert. Anschlieÿend wird der Fehler über die Verbindungen zur Hiddenschicht vor der Outputschicht weitergegeben. Dabei müssen sowohl die Aktivierungsfunktion der Neuronen als auch die Gewichte der Verbindungen berücksichtigt werden. Nun kann der Fehler der nächsten Schicht minimiert und wieder eine Schicht weitergegangen werden, bis man alle Verbindungen durch hat. Anschlieÿend werden alle Gewichte ein Stück weit in Richtung des Minimums verschoben. 3 Anwendungsbeispiele 3.1 Biologie: Farbkonsistenz Hier sollte das Phänomen untersucht werden, dass der Mensch bestimmten Gegenständen meist eine bestimmte Farbe zuordnet: Erdbeeren sehen für den Menschen immer rot aus, auch wenn z.b. die Beleuchtung so gewählt wurde, dass sie nur Licht im blauen Wellenlängenbereich reektieren. Um das zu untersuchen wurde die Ähnlichkeit neuronaler Netze mit dem menschlichen Gehirn verwendet: Es wurde ein Netz mit zwei Hidden-Schichten und unter Verwendung der oben vorgestellten Backpropagation entwickelt. Diesem wurden die Farbwerte verschiedener Objekte unter verschiedener Beleuchtung zum Training gegeben. Nach dem Training konnte auch das neuronale Netz den Gegenständen oft eine Farbe zuweisen, selbst wenn die Farbwerte eigentlich eine andere Farbe signalisierten. Dabei ergaben sich sehr ähnliche Verhaltensweisen wie bei vergleichbaren Experimenten mit menschlichen Probanden. 3.2 Wirtschaft: Autoversicherung Hauptaufgabe von Versicherungen ist die Risikoabschätzung ihrer Kunden. Dazu liegen in der heutigen Zeit meist genügend Daten vor - Alter, Beruf, Familienstand und vieles mehr. Um dieses allerdings wirklich sinnvoll zu verwenden muss jeder Kunde mit all seinen Parametern einzeln betrachtet werden - ohne Hilfsmittel eine unmögliche Aufgabe. Auch kann aufgrund der Komplexität eine allgemeine Formel nur mit sehr groÿen Ungenauigkeiten angegeben werden, da die einzelnen Risikokoezienten nie eindeutig sind. Also wurde auch hier wieder auf selbstlernende Algorithmen zurückgegrien. Diese konnten nach einer Trainingsphase die riesigen Mengen an Parametern mit akzeptablem Aufwand verarbeiten. Dadurch konnten genauere Risikoabschätzungen durchgeführt und den Kunden individuell genau passende Tarife angeboten werden. Auch eine zusätzliche Marketingauswertung wurde dadurch ermöglicht. 3.3 Physik: CERN Wie allgemein bekannt sein dürfte werden im Teilchenbeschleuniger in CERN Kollisionen von Teilchen aufgezeichnet und anschlieÿend ausgewertet um alte Teilchen weiter zu erforschen und neue Teilchen zu entdecken. Da aber sehr viele dieser Kollisionen stattnden und jede davon groÿe Datenmengen liefert belaufen sich die Rohdaten auf ca. 600 Tb pro Sekunde. Um dieser Datenut Herr zu werden werden wiederum selbstlernende Algorithmen eingesetzt: Diese lernten im Trainingsprozess die bekannten und damit oft langweiligen Kollisionen zu erkennen und direkt aus den Rohdaten herauszultern. Damit werden nun nur noch die vielversprechend aussehenden Kollisionen den Wissenschaftlern zur weiteren Analyse vorgelegt. Auch das ergibt noch einen Datenstrom von immerhin 1 Gb pro Sekunde, dieser ist aber mit herkömmlichen Mitteln noch verarbeitbar. Tobias Stähle 4

5 4 MASCHINE VS MENSCH 3.4 Informatik: Handschrifterkennung Wie bei fast allen Kategorisierungsaufgaben können neuronale Netze auch zur Handschrifterkennung eingesetzt werden. Im konkreten Fall soll es ermöglicht werden aus handschriftlichen Eingaben beispielsweise auf Tablets oder Smartphones Formeln im LaTeX-Format zu erzeugen. Um die vielen Symbole und ihre unterschiedlichen Schreibweisen bearbeiten zu können wird auch hier wieder mit einem neuronalen Netz gearbeitet. Das Ganze wird von einem Studierenden am KIT im Rahmen einer Bachelorarbeit entwickelt. Wer es sich einmal anschauen oder sogar behilich sein will kann es sich gerne unter write-math.com anschauen. 4 Maschine vs Mensch Nachdem jetzt auch Computer in der Lage sind, mehr oder weniger selbständig zu lernen, stellt sich natürlich die Frage: Haben sie damit das menschliche Gehirn in allen Gebieten endgültig geschlagen? Sind Computer die alleinigen Denker der Zukunft, kann man ihnen demnächst alle Denkarbeit überlassen? Schauen wir uns die Vor- und Nachteile an: 4.1 Gegenüberstellung Maschine: kann viele Daten schnell verarbeiten Statistik benötigt Programmierung durch Mensch benötigt viele Datensätze zum Lernen falsche Parameter können zu schlechten / falschen Ergebnissen führen Mensch: braucht viel Zeit bei der Bearbeitung von Daten benötigt Ausbildung, Literatur... kann aus relativ wenig Datensätzen lernen Grundlagen Erwartungshaltung kann Ergebnisse verzerren 4.2 Das Gehirn im Computer Beide haben also ihre Vor- und Nachteile. Bevor wir aber ein abschlieÿendes Urteil fällen lohnt es sich noch einen Blick auf das Human Brain Project zu werfen. Hierbei wird versucht, das menschliche Gehirn möglichst komplett im Computer abzubilden. Das Ganze geschieht im Rahmen eines stark geförderten EU-Flaggschiprojekts. Man verwendet dazu den Supercomputer Juqueen: Mit Prozessorkernen, die jeweils etwa ein Neuron darstellen können, bringt dieser es auf eine enorme Rechenleistung. Das Problem ist aber, dass dieser vom Gehirn mit seinen ca. 100 Milliarden Neuronen noch um einige Gröÿenordnungen entfernt liegt. Auÿerdem sind auch viele Grundlagen des Gehirns immer noch nicht verstanden: Selbst einzelne kleine Teile 1:1 nachzubilden gelingt kaum. 4.3 Urteil Letztendlich ist trotz aller Leistungsfähigkeit und Geschwindigkeit der Computer das menschliche Gehirn immer noch die treibende Kraft in der Wissenschaft. Die enorme Parallelisierung des Gehirns ermöglicht ihm auch mit wenigen Daten sehr eektiv zu arbeiten und insbesondere Tobias Stähle 5

6 5 LINKS ZUR VERTIEFUNG in kreativen Bereichen wie dem kreieren komplett neuer Theorien ist es den durch ihre Programmierung sehr eingeschränkten Computern noch weit voraus. Wissenschaftlicher Fortschritt ohne einen Menschen am Anfang, der die kreativen Anstöÿe gibt und ein Konzept zum sinnvollen Einsatz von Hilfsmitteln wie neuronalen Netzen entwickelt ist im Moment noch lange nicht denkbar. Dennoch sind die Maschinen in den letzten Jahrzehnten zu einem immer wichtigeren Hilfsmittel in allen Bereichen des menschlichen Lebens geworden und ein Fortschritt ohne sie mittlerweile auch kaum vorstellbar. Daher wird die Hauptherausforderung in der Zukunft darin liegen, die Stärken des menschlichen Gehirns mit den Stärken der Computer zu kombinieren und die jeweiligen Schwächen gegenseitig zu kompensieren. 5 Links zur Vertiefung - Bachelorarbeit zur Schrifterkennung - Sehr ausführliche Einleitung zu neuronalen Netzen cs.uni-muenster.de/professoren/lippe/lehre/skripte/wwwnnscript/ - Formellere Betrachtung neuronaler Netze - auf maschinelles Lernen spezialisierte Firma mit bekanntem Gründer Tobias Stähle 6