Innovative Information Retrieval Verfahren

Transkript

1 Thomas Mandl Innovative Information Retrieval Verfahren Hauptseminar Wintersemester 2004/2005 Letzte Sitzung Grundlagen Heterogenität Ursachen Beispiele Lösungsansätze Visualisierung 2D-Karten heute Maschinelles Lernen im IR (v.a. neuronale Netze) Visualisierung Überblick Boolesche Logik Ausblick Qualität (PageRank et al.) Multimedia-Retrieval Überblick: Neuronale Netze Grundlagen Nicht überwacht lernende Netze Überwacht lernende Netze 1

2 Ausgangssituation Serielle Computer arbeiten sehr schnell Das menschliche Gehirn ist für viele Aufgaben überlegen -> Parallelverarbeitung Neuronale Netze Neuronale Netze stehen im Kontet der Vagheitsmodellierung werden eingesetzt, wenn ein Gegenstandsbereich nicht durch Regeln oder Fuzzy Regeln erfaßt werden kann z.b. bei kompleen Diagnosen oder kompleen Klassifikationsproblemen wie Handschriftenerkennung Kognitiver Prozess Formales Computer-Modell Kognitiver Such-Prozeß Formales Computer-Modell Nicht-adäquate Modellierung Mögliche Lösung? Vage Methoden der Informationsverarbeitung (z.b. probabilistische Modelle) Kognitiver Prozess Vages Computer-Modell 2

3 What is Soft-Computing? "Soft computing differs from conventional (hard) computing in that, unlike hard computing, it is tolerant of imprecision, uncertainty and partial truth. In effect, the role model for soft computing is the human mind. The guiding principle of soft computing is: Eploit the tolerance for imprecision, uncertainty and partial truth to achieve tractability, robustness and low solution cost. (Zadeh 1994) What is Soft-Computing? At this juncture, the principal constituents of soft computing (SC) are fuzzy logic (FL), neural network theory (NN) and probabilistic reasoning (PR), with the latter subsuming belief networks, genetic algorithms, chaos theory and parts of learning theory. (Zadeh 1994) Ausgangssituation: neuronale Netze Vorbild menschliches Gehirn Aufbau aus zahlreichen einfachen Prozessoren Neuronen senden Signale über Synapsen an andere Neuronen Bedeutung entsteht durch Zusammenspiel vieler einzelner Prozesse Nervenzelle Ausgangssituation Überschreiten die ankommenden Signale einen bestimmten Schwellenwert, so wird ein Neuron aktiv und sendet wieder Signale weiter Die Durchlässigkeit der Synapsen verändert sich (Lernen) Konnektionismus These der klassischen Künstlichen Intelligenz (KI): Physical Symbol System: Denken ist Symbolverarbeitung (Newell/Simon 1976) Smolensky 1988: subsymbolic paradigma Neuronen implementieren Vorgänge auf tieferer Ebene als der symbolischen Neuronale Netze realisieren "intuitive processor -> intuitives Wissen kann besser von neuronalen Netzen modelliert werden 3

4 Grundprinzip neuronaler Netze "Die Informationsverarbeitung geschieht durch eine große Anzahl von relativ einfachen Prozessoren, die in einem dichten Netzwerk miteinander verbunden sind. Diese Prozessoren (auch Units genannt) arbeiten lokal, jeder für sich allein, und kommunizieren mit anderen Units nur via Signale, die sie über die Verbindungen senden. " (Dorffner 1991: 16) Grundprinzip neuronaler Netze Neuronen werden senden und empfangen flüchtige Aktivität Verbindungen ändern langsam ihre Gewichte (= Durchlässigkeit) Veränderung der Gewichte entspricht dem Lernen Gewichte sind Parameter des Modells Grundprinzip neuronaler Netze Aktivität der Neuronen entspricht dem Kurzzeitgedächtnis Gewichte der Verbindungen entsprechen dem Langzeitgedächtnis Bestandteile neuronaler Netze Eine Menge von Prozessoren (Neuronen) Ausbreitungsfunktion Aktivierungsfunktion Ausgabefunktion (oft Identitätsfunktion) Vernetzung Lernregel Schnittstelle zur Umgebung Neuron (Unit) Berechnung des Inputs Meistens ist der Input das Produkt von Aktivierung und Gewicht Neuron i Gewicht w ik Neuron k Schema einer Unit: (cf. Dorffner 1991: 17) a n : Aktivierung der Unit n o i : Output der Unit i w : Gewicht einer Verbindung net-input n : Gesamter Input in Unit n Input k = w ik a i bei mehreren Input-Verbindungen wird die Summe gebildet: Input k = Σ w ik a i 4

5 Aktivierungsfunktion Schwellwertfunktion Schwellwertfunktion: sobald ein bestimmter Schwellwert überschritten ist, wird das Neuron aktiviert, ansonsten nicht Sinnvoller sind häufig stetig steigende, ableitbare und nicht lineare Funktionen 1 Aktivierung Aktivierungsfunktion Abschnittsweise lineare Aktivierungsfunktion Logistische Aktivierungsfunktion F () = 1 / (1+e -/g ) 1 Aktivierung 1 Aktivierung Input Input Überblick: Neuronale Netze Grundlagen Nicht überwacht lernende Netze Überwacht lernende Netze Spreading-Activation- Netzwerk für IR Dokument-Schicht (Objekt-Schicht) Dok 2 Dok 3 Dok 4 Dok 5 Dok 6 Dok 7 Dok 1 Dok 8 Netze neuronal LAN Kabel Server Client Term-Schicht (Eigenschafts-Schicht) nicht alle Verbindungen sind eingezeichnet 5

6 Initialisierung der Gewichte Dokument-Schicht Query: Aktivierung einer Unit Dokument-Schicht Dok 2 Dok 3 Dok 4 Dok 5 Dok 6 Dok 7 Dok 1 Dok 8 Dok 2 Dok 3 Dok 4 Dok 5 Dok 6 Dok 7 Dok 1 Dok 8 Netze neuronal LAN Kabel Server Client network connection LAN TCP/IP Server Client Term-Schicht Nutzer Term-Schicht Aktivierungsausbreitung Document-Layer Aktivierungsausbreitung: Term-Erweiterung Document-Layer Doc 2 Doc 3 Doc 4 Doc 5 Doc 6 Doc 7 Doc 1 Doc 8 Doc 2 Doc 3 Doc 4 Doc 5 Doc 6 Doc 7 Doc 1 Doc 8 network connection LAN TCP/IP server client network connection LAN TCP/IP server client User Term-Layer User Term-Layer Relevance Feedback Document-Layer Doc 2 Doc 3 Doc 4 Doc 5 Doc 6 Doc 7 Doc 1 Doc 8 network connection LAN TCP/IP server client User positiv negativ Term-Layer Spreading-Activation- Netzwerke für IR Günstigen Moment für Ende der Aktivierung finden Integration von in-layer Verbindungen möglich (z.b. für synonyme Terme) Integration weiterer Layer möglich (z.b. Autoren) intuitive Modellerweiterung: relevance feedback 6

7 Spreading-Activation-Netzwerke für IR: Bewertung Sehr intuitives IR Modell (Termerweiterung als inhärente Eigenschaft) in empirischen Untersuchungen mit Massendaten evaluiert Spreading-Activation-Netzwerke für IR: Bewertung Term-Dokument-Matri entspricht der Verbindungs-Matri Spreading-Activation-Netzwerke lediglich eine Umsetzung des Vektorraum-Modells von außen gesteuertes Lernen kaum möglich Erfolgreiche Systeme nutzen Fleibilität kaum aus (z.b. nur maimal zwei Aktivierungsschritte) Lernen Einfachste Lernregel bei neuronalen Netzen: use it or lose it häufig benutzte Verbindungen werden gestärkt formal ausgedrückt: Delta-Regel w ij = w ij + w ij w ij = ε akt j akt i Änderung des Verbindungsgewichts ist abhängig von der Aktivierung der verbundenen Neuronen Überblick: Neuronale Netze Grundlagen Nicht überwacht lernende Netze Überwacht lernende Netze Das Perceptron Das Perceptron Vernetzung und Lernregel an einem einfachen Beispiel Zwei Schichten Input- und Output-Schicht Verbindungen nur in eine Richtung Beispiel: l Output i j Input 7

8 Lernregeln Hebb sches Lernen häufig benutzte Verbindungen werden gestärkt w ij = η Output i Aktivierung j η Lernrate Delta-Regel w ij = η Output i (teacher j - Aktivierung j ) teacher gewünschte Aktivierung Lernregel für das Perceptron Delta-Regel w ij = η Output i (teacher j - Aktivierung j ) teacher gewünschte Aktivierung l Output i j Input Ablauf des Lernens Input Berechnen des Outputs Vergleich Output mit gewünschtem Output Einstellen der Verbindungen, um das Ziel besser zu erreichen l Output Perceptron Lernfähig Kann aber nur bestimmte formale Klassen von Funktionen lernen (Linear separierbare Probleme) lernt zwar z.b. Boolesches AND und OR, aber nicht XOR (entweder oder, eklusives oder) dies reicht für viele reale Probleme nicht aus i j Input Wichtig XOR ist ein Beispiel, das an sich keine praktische Relevanz hat grafische Darstellungen sind immer 2- oder 3- dimensional reale Anwendungen sind immer vieldimensional und nicht anschaulich! Lineare Separierbarkeit in mehrdimensionalen Räumen ist nicht anschaulich darstellbar Historischer Abriß Blüte neuronaler Netze in 60er Jahren Hauptmodell: Perzeptron Minsky/Papert 1969: Perceptrons beschreiben Schwächen des Peceptrons kann formal viele Probleme nicht lösen kaum weitere Forschungstätigkeit Mitte 80er Jahre: eine Lernregel für mehrschichtige Perzeptronen wird entdeckt Backpropagation Lernregel Rumelhart/McClelland 1986 Anfang 90er: Boom neuronaler Netze 8

9 Backpropagation Backpropagation (BP) oder Multilayer-Perceptron Die am meisten benutzte Netzarchitektur als Erweiterung des Perceptrons Lösung des Perceptron-Problems: Einführung von weiteren Schichten Diese Schichten sind weder Input noch Output Versteckte Schichten Formal können damit mehr Funktionen gelernt werden, z.b. auch XOR Problem: Eine Lernregel für versteckte Schichten muß gefunden werden Beispiel für ein BP Netz Verbindungsrichtung Backpropagation: Aufbau Ausgangsschicht Schichten in der Regel voll verknüpft (nicht alle Verbindungen sind eingezeichnet) Versteckte Schicht Gewichte der Verbindungen sind die veränderbaren Parameter (zufällige Initialisierung) Eingangsschicht Aktivierungsausbreitung Backpropagation: Lernen Ausgangsschicht Backpropagation lernt eine Abbildung vom Input auf den Output Eingangsschicht Backpropagation: Beispiel Diagnose Kreditwürdigkeit (Wahrscheinlichkeit, mit der ein Kredit zurückgezahlt wird) 0,9 Kunden-Daten Als Trainingdaten dienen Kunden, bei denen bekannt ist, ob sie zurückgezahlt haben Netz findet die Funktion Kunden-Daten -> Kreditwürdigkeit bei neuen Kunden sind nur die Kunden-Daten bekannt Das Netz erstellt eine Prognose zur Kreditwürdigkeit 9

10 Aktivierungsausbreitung Backpropagation: Beispiel Der für dieses Beispiel gewünschte 0,6 Output (= Teacher) Berechnung des Fehlers 0,9 Verändern der Das Netz errechnet Gewichte die Aktivierung der Ausgangs-Schicht Ursachen der Heterogenität Unterschiedliche Inhaltserschließung Unterschiedliche Eigenschaften der Tet-Dokumente (Qualität, Länge, Sprache...) Heterogene Objekte (Multimedia) Input wird angelegt Das Netz lernt bei jedem Schritt ein Beispiel Heterogenitätsbehandlung? Wie kann eine Beziehung zwischen zwei heterogenen Repräsentationen hergestellt werden? Wie kann eine Repräsentation in die andere überführt werden? Heterogenitätsbehandlung Traditionelle, eakte Ansätze wie auf Thesauri basierende Konkordanzen Statistische Ansätze basierend auf Kookkurrenzen und Assoziationen Transformations-Netzwerk basierend auf Backpropagation (cf. Crestani/v. Rijsbergen 1997) Backpropagation Netzwerk Transformations-Netzwerk Repräsentation II Repräsentation I Output Layer Hidden Layer Input Layer Backpropagation Vorteile: keine epliziten Regeln nötig, ab wann ein Kunde einen Kredit erhält ganzheitliche Betrachtung des Falls (alle Parameter tragen zum Ergebnis bei) Nachteile: eine nachträgliche Begründung ist nicht möglich 10

11 Backpropagation Versteckte Schicht Neuronen haben keine symbolische Bedeutung/Entsprechung Sie repräsentieren komplee Kombinationen und Zusammenhänge zwischen den interpretierbaren Knoten Backpropagation Lernregel Verallgemeinerte Delta-Regel Delta-Regel muß die versteckte Schicht überspringen Für die Input-Schicht steht kein Fehlersignal mehr zur Verfügung Daher muß das Fehlersignal gemittelt werden Mathematisch erfordert dies die Ableitung der Aktivierungsfunktion Backpropagation Lernregel Beim Lernen werden zahlreiche Beispiele präsentiert Diese werden in zahlreichen Durchläufen (epochs) präsentiert Konvergenz Erfolgreiches Lernen: Minimierung des Fehlers sinkt der Fehler stetig, so spricht man von Konvergenz Dann hat das Netz die präsentierten Beispiele richtig gelernt Generalisierbarkeit Die Leistungsfähigkeit eines Netzes zeigt sich jedoch erst an unbekannten Beispielen kann ein Netz auch neue Muster, die nicht in der Trainingsmenge waren richtig zuordnen, dann generalisiert es Trainings- und Testmenge Um zu prüfen, wie gut ein Netz generalisiert, wird beim Lernen eine Testmenge mit unbekannten Beispielen genutzt Der Fehler in der Testmenge ist ein besserer Maßstab für die Qualität 11

12 Lernen als Näherung Pflanzenwachtstum Kreditwürdigkeit Ausgangssituation Kundenparameter anzunähernde Funktion (unbekannt) bekannte Punkte der Funktion (Messungen) Zwei Möglichkeiten Modell finden Formel ableiten:? Kein Modell zu finden modellfreie Modellierung: solange Formeln ausprobieren, bis der Fehler minimal ist Lernen als Näherung Qualität der Näherung Kreditwürdigkeit Pflanzenwachtstum Kundenparameter Näherung anzunähernde Funktion (unbekannt) bekannte Punkte der Funktion (Messungen) Modellfreie Näherung hat eine Funktion gefunden, die durch alle Meßpunkte läuft in anderen Fällen hat die Näherung verschiedene Qualität Einige Meßpunkte werden nicht für die Näherung benutzt mit ihnen wird die Qualität der Funktion bewertet Kreditwürdigkeit Pflanzenwachtstum Vorsicht Kundenparameter anzunähernde Funktion (unbekannt) bekannte Punkte der Funktion (Messungen) Grafik ist zweidimensional Funktion ist eindimensional Die Realität ist immer vieldimensional Näherung Trainings- und Testmenge Um zu prüfen, wie gut ein Netz generalisiert, wird beim Lernen eine Testmenge mit unbekannten Beispielen genutzt Der Fehler in der Testmenge ist der Maßstab für die Qualität 12

13 Typischer Lernverlauf Übergeneralisierung (Overlearning) Overlearning Der Fehler in der Trainingsmenge konvergiert mit steigender Epochenzahl. Der Testfehler sinkt nur bis zu einem bestimmten Zeitpunkt und steigt dann wieder Durch längeres Training sinkt also die Generalisierungsfähigkeit. Bei längerer Lernzeit spezialisiert sich das Netz immer mehr auf die Eigenheiten in den Trainingsfällen. Das Training sollte daher bei einem Minimum in der Testmenge beendet werden Lernen als Fehlerminimierung Wunsch: geringsten möglichen Fehler erreichen Globales Minimum Problem: Zahlreiche lokale Minima ziehen den Lernalgorithmus an Lernen als Fehlerminimierung Der Lernalgorithmus minimiert den Fehler zwischen Output und teaching oder target Output Fehlermaße: Summe der Fehlerquadrate (SSE) Durchschnittlicher SSE pro Muster Durchschnittlicher SSE pro Output Unit (Klasse) Lernen als Fehlerminimierung Fehlerfunktion: Lokale Minima Aus Mitchell 1997: Machine Learning Der Fehler als Funktion der Verbindungsgewichte 13

14 Lokale Minima In der Prais bleibt der Algorithmus häufig in einem lokalen Minimum Dies ist unproblematisch, wenn das lokale Minimum nahe am globalen Minimum liegt Maßnahmen gegen lokale Minima verschiedene Ausgangsstadien Momentum stochastische Elemente im Lernverfahren Literatur Andreas Scherer (1997): Neuronale Netze. Sehr leicht lesbare Einführung. In Bibliothek vorhanden 14