Grundlagen des Maschinellen Lernens Kapitel 4: PAC Lernen

Transkript

1 Kapitel 4:. Motivation 2. Lernmodelle Teil I 2.. Lernen im Limes 2.2. Fallstudie: Lernen von Patternsprachen 3. Lernverfahren in anderen Domänen 3.. Automatensynthese 3.2. Entscheidungsbäume 3.3. Entscheidungsbäume über regulären Patterns 4. Lernmodelle Teil II 4.. Online-Lernen 4.2. PAC-Lernen 5. Spezielle Lernverfahren 5.. unüberwachtes Lernen 5.2 überwachtes Lernen 2/ Kapitel 4: Fahrplan... Ziel: Antworten auf die Fragen zum PAC-Lernen konzentrieren uns auf das Lernen von endlichen Konzeptklassen speziell das Lernen von Klassen boolescher Funktionen beispiel-effizientes PAC-Lernen laufzeit-effizientes PAC-Lernen im Anschluß: Ausblick auf das Lernen von unendlichen Konzeptklassen 2/2

2 Kapitel 4: endliche Konzeptklassen eine n-stellige boolesche Funktion ist eine Abbildung von {, } n {, } C n sei Klasse von n-stelligen booleschen Funktionen (/* und damit endlich */)... zugrunde liegender Lernbereich X n = {, } n C = C n ist eine Klasse von booleschen Funktionen (/* und damit unendlich */) n... zugrunde liegender Lernbereich X = X n n Fokus der Untersuchungen... uniforme beispiel-effiziente bzw. laufzeit-effiziente PAC-Lernverfahren S für die unendliche Konzeptklasse C... für jedes n ist S ein beispiel-effiziente bzw. laufzeit-effiziente PAC- Lernverfahren für die endliche Teilklasse C n 2/3 Kapitel 4: boolesche Funktionen... das PAC-Lernen von Klassen booelscher Funktionen ist schwierig, weil es für jedes n jeweils 2 2n viele verschiedene n-stellige boolesche Funktionen gibt x x 2 x 3 f(x,,x 2,x 3 ) es gibt 2 n Elemente in X n es gibt für jedes Element in X n gibt es 2 mögliche Funktionswerte... also gibt es 2 2n n-stellige boolesche Funktionen... untersuchen die PAC-Lernbarkeit spezieller Klassen boolescher Funktionen 2/4

3 Kapitel 4: Beschreibungsmittel für boolesche Funktionen () aussagenlogische Formeln (2) Entscheidungslisten (3) Schaltkreise konzentrieren uns auf () und (2) 2/5 Kapitel 4: aussagenlogische Formeln... es sei n gegeben Variablen: x, x 2,, x n Operatoren:,, (i) Jede Variable ist eine Formel. (ii) Es seien F und G Formeln. Dann sind auch (F G), (F G) und (F) Formeln.... Klammern kann man sich sparen Hinweis: x i bzw. x i nennt man üblicherweise Literale 2/6

4 Kapitel 4: spezielle aussagenlogische Formeln Klausel: Disjunktion von Literalen Terme: Konjunktion von Literalen KNF: Konjunktion von Klauseln DNF: Disjunktion von Termen (i) Eine k-knf ist eine KNF, in der jede Klausel höchstens k Literale enthält. (ii) Eine k-dnf ist eine DNF, in der jeder Term höchstens k Literale enthält. Hinweis: Jede -KNF ist ein Term und jede -DNF ist eine Klausel. 2/7 Kapitel 4: x x 2 x 3 f(x,,x 2,x 3 ) 2-DNF: ( x ) ( x 2 x 3 ) 2-KNF: ( x x 3 ) ( x x 2 ) 2/8

5 Kapitel 4: Entscheidungslisten Eine Entscheidungsliste ist eine endliche Liste von Paaren (K,l ),, (K r-,l r- ), (true,b r ), wobei K,, K r- Terme sind und l,, l r Elemente (/* sog. Label */) aus {, } sind. [( x x 3,), (x x 2,), (x x 3,), (true,)] x x 3 x x 2 x x 3 2/9 Kapitel 4: [( x x 3,), (x x 2,), (x x 3,), (true,)] x x 3 f L (x,,x n ) = Label des ersten Terms K i, mit f Ki (x,,x n ) = x x 2 x x 2 x 3 f L (x,,x 2,x 3 ) x x 3 Hinweis:... Label der ersten Terms, den das Beispiel b = x...x n erfüllt 2/

6 Kapitel 4: [( x x 3,), (x x 2,), (x x 3,), (true,)] x x 3 x x 2... äquivalent zu x x 3 if ( x x 3 ) return(); else if (x x 2 ) return(); else if (x x 4 ) return(); else return(); 2/ Kapitel 4: Entscheidungslisten Eine Entscheidungsliste ist eine endliche Liste von Paaren (K,l ),, (K r-,l r- ), (true,l r ), wobei K,, K r- Terme sind und l,, l r Elemente (/* sog. Label */) aus {, } sind. Eine Entscheidungsliste heißt k-entscheidungsliste, wenn jeder Term höchstens k Literale enthält. 2/2

7 Kapitel 4: Zusammenhänge () Zu jeder k-dnf gibt es eine äquivalent k-entscheidungsliste. (2) Zu jeder k-knf gibt es eine äquivalent k-entscheidungsliste. (3) Es gibt k-entscheidungslisten, für die es keine äquivalente k-dnf und keine äquivalente k-knf gibt. (4) Es gibt boolesche Funktionen, die nicht mit k-entscheidungslisten beschreibbar sind. 2/3 Kapitel 4: Zusammenhänge k-knf k-dnf k-el alle booleschen Funktionen 2/4

8 Kapitel 4: Zusammenhänge (/* zu () */) k-dnf (/* Bez.: F */): ( x x 3 ) (x x 2 x 4 ) (x x 2 ) äquivalente k-el für F: (( x x 3,), (x x 2 x 4,), (x x 2,), (true,)) 2/5 Kapitel 4: Zusammenhänge (/* zu (2) */) k-knf (/* Bez.: F */): ( x x 3 ) (x x 2 x 4 ) (x x 2 ) k-dnf für F: (x x 3 ) ( x x 2 x 4 ) ( x x 2 ) äquivalente k-el F: ((x x 3,), ( x x 2 x 4,), ( x x 2,), (true,)) äquivalente k-el für F: ((x x 3,), ( x x 2 x 4,), ( x x 2,), (true,)) 2/6

9 Kapitel 4: Zusammenhänge (/* zu (3) */)... es seien k = und n = 3 x x 2 x 3 x x f 2 x 3 L (x,,x 2,x 3 )... es gibt offenbar keine -DNF (/* keine Klausel */) für f L... es gibt offenbar keine -KNF (/* keinen Term */) für f L 2/7 Kapitel 4: Zusammenhänge (/* zu (4) */)... es seien k = und n = 2 x x 2 f(x,,x 2 )... es gibt offenbar keine -EL für f 2/8

10 Kapitel 4: zurück zum PAC-Lernen... wir werden sehen, daß es beispiel-effiziente und laufzeit-effiziente PAC- Lernverfahren für die folgenden Konzeptklassen gibt alle durch k-dnf beschreibbare booleschen Funktionen alle durch k-knf beschreibbare booleschen Funktionen alle durch k-el beschreibbare booleschen Funktionen... wir kümmern uns zunächst um beispiel-effiziente PAC-Lernverfahren 2/9 Kapitel 4: ein grundlegender Zusammenhang es sei X n der zugrunde liegende Lernbereich, C n eine Konzeptklasse über X n und D irgendeine Wahrscheinlichkeitsverteilung über X n Wenn ein PAC-Lernverfahren S für die Konzeptklasse C n in Phase mindesten s = / ε ln( C n / δ) viele Beispiele anfordert in Phase 2 eine Hypothese h c C n bestimmt, die mit allen angebotenen Beispielen konsistent ist so gilt mit Wahrscheinlichkeit - δ: error D (h c,c) ε... wenn ln( C n ) polynomiell in n beschränkt ist, so ist S ein beispiel-effizientes PAC-Lernverfahren für C n 2/2

11 Kapitel 4: Anwendungen Monome/Terme... es gibt höchstens O(3 n ) viele Monome/Terme in den Variablen x,..., x n k-dnf s/k-knf s... es gibt höchstens O(2 nk ) viele k-dnf s/k-knf s in den Variablen x,..., x n k-el... es gibt höchstens O(3 nk *(n k )!) viele k-el s in den Variablen x,..., x n... für jede diese Konzeptklassen gibt es beispiel-effiziente PAC-Lernverfahren!!! 2/2 Kapitel 4:... auf dem Weg zur Beweisidee mögliche Hypothesen good(c) c cons(b) good(c) = { h error D (h,c) ε} cons(b) = { h h(b) = c(b) für alle b mit (b,c(b)) B } 2/22

12 Kapitel 4: mögliche Hypothesen good(c) c cons(b B') good(c) = { h error D (h,c) ε} cons(b B ) = { h h(b) = c(b) für alle b mit (b,c(b)) B B' } 2/23 Kapitel 4: mögliche Hypothesen good(c) c cons(b B'') good(c) = { h error D (h,c) ε} cons(b B ) = { h h(b) = c(b) für alle b mit (b,c(b)) B B } 2/24

13 Kapitel 4: ein grundlegender Zusammenhang es sei X n der zugrunde liegende Lernbereich, C n eine Konzeptklasse über X n und D irgendeine Wahrscheinlichkeitsverteilung über X n Wenn ein PAC-Lernverfahren S für die Konzeptklasse C n in Phase mindesten s = / ε ln( C n / δ) viele Beispiele anfordert in Phase 2 eine Hypothese h c C n bestimmt, die mit allen angebotenen Beispielen konsistent ist so gilt mit Wahrscheinlichkeit - δ: error D (h c,c) ε... wenn ln( C n ) polynomiell in n beschränkt ist, so ist S ein beispiel-effizientes PAC-Lernverfahren für C n 2/25 Kapitel 4: Beweisskizze es sei X n der zugrunde liegende Lernbereich, C n eine Konzeptklasse über X n und D irgendeine Wahrscheinlichkeitsverteilung über X n es seien der Fehlerparameter ε und der Vertrauensparameter δ präzisiert es sei c C n bad(c) = { h h C n, error D (h,c) > ε } es seien h bad(c) und (b,c(b)) ein Beispiel für c die Wahrscheinlichkeit dafür, daß h (b) = c(b) gilt, ist - ε 2/26

14 Kapitel 4: es seien h bad(c) und B ein Sample mit m Beispielen (b,c(b)) für c die Wahrscheinlichkeit dafür, daß h (b) = c(b) für alle m Beispiele in B gilt, ist ( - ε) m es sei E das Ereignis, daß es eine Hypothese h C n gibt, für die gilt: h (b) = c(b) für alle m Beispiele (b,c(b)) in B und h bad(c) die Wahrscheinlichkeit dafür, daß das Ereignis E eintritt, ist = bad(c) *( - ε) m die Wahrscheinlichkeit dafür, daß das Ereignis E eintritt, ist C n *( - ε) m 2/27 Kapitel 4: Ziel: wir wählen m so, daß gilt die Wahrscheinlichkeit dafür, daß das Ereignis E eintritt, ist < δ... damit gilt die Wahrscheinlichkeit dafür, daß das Ereignis E nicht eintritt, ist - δ das Ereignis E tritt nicht ein, falls für jede Hypothese h C n gilt: wenn h (b) = c(b) für alle m Beispiele (b,c(b)) in B, so ist h bad(c) das Ereignis E tritt nicht ein, falls für jede Hypothese h C n gilt: wenn h (b) = c(b) für alle m Beispiele (b,c(b)) in B, so ist error D (h,c) ε 2/28

15 Kapitel 4: die Wahrscheinlichkeit dafür, daß das Ereignis E nicht eintritt, ist - δ... falls m so gewählt wurde, daß: C n * ( - ε) m < δ... falls m so gewählt wurde, daß: ln( C n ) + m ln( - ε) < ln(δ)... falls m so gewählt wurde, daß: ln( C n ) + m(-ε) < ln(δ)... falls m so gewählt wurde, daß: /ε * ln( C n /δ) < m denn ln(-ε) -ε 2/29 Kapitel 4: laufzeit-effiziente PAC-Lernverfahren es sei X n der zugrunde liegende Lernbereich und C n eine Konzeptklasse über X n es sei bekannt, daß ln( C n ) polynomiell in n beschränkt ist Um zu zeigen, daß es ein laufzeit-effizientes Lernverfahren für die Konzeptklasse C n gibt, genügt es ein konsistentes Lernverfahren anzugeben, daß bzgl. des Hypothesenraums C n arbeitet und zur Verarbeitung eines Samples mit m klassifizierten Beispielen nur Rechenzeit polynomiell in m benötigt.... solch ein PAC-Lernverfahren ist automatisch polynomiell in /ε,/δ, und n 2/3

16 Kapitel 4: ein laufzeit-effizientes Verfahren für k-knf s... es seien n, k gegeben und B ein Sample mit klassifizierten Beispielen, d.h. B enthält Elemente aus {,} n {, } setze h = Konjunktion aller Klauseln d mit höchstens k Literalen while ( B ) wähle ein klassifiziertes Beispiel (b,c(b)) aus B setze B = B \ { (b,c(b)) } falls c(b) =, so streiche alle Klauseln d in h, die das Beispiel b nicht erfüllen return(h) 2/3 Kapitel 4: ein laufzeit-effizientes Verfahren für k-el s K = true, falls B nur positive oder nur negative Beispiele enthält... es seien n, k gegeben und B ein Sample mit klassifizierten Beispielen, d.h. B enthält Elemente aus {,} n {, } setze h = leere Liste while ( B ) wähle einen Term K mit maximal k Literalen, so daß für alle klassifizierten Beispiele (b,c(b)) und (b,c(b )) in B gilt: wenn b und b den Term K erfüllen, so gilt c(b) = c(b ) setze B = { (b,c(b)) (b,c(b)) B, K erfüllt b } erweitere h um das Element (K,), falls b = für alle (b,c(b)) in B erweitere h um das Element (K,), falls b = für alle (b,c(b)) in B setze B = B \ B falls das letzte Element von h ungleich (true,l) ist und das Label hat, so erweitere h um (true,); sonst um (true,) return(h) 2/32

17 Kapitel 4: Ausblick auf das Lernen von unendlichen Konzeptklassen zentraler Begriff: Vapnik-Chervonenkis-Dimension untere Schranke für die Anzahl der Beispiele, die ein beispiel-effizientes PAC-Lernverfahren benötigt hinreichende und notwendiges Kriterium für die beispieleffiziente PAC-Lernbarkeit von Konzeptklassen 2/33 Kapitel 4: zentraler Begriff: Vapnik-Chervonenkis-Dimension es seien X ein Lernbereich und C eine Konzeptklasse über X Eine endliche Teilmenge von E X ist zerlegbar durch die Konzeptklasse C, falls es zu jeder Zerlegung E = E E2 mit E E2 = ein Konzept c C gibt, so daß gilt: E c und E2 co-c. Die VC-Dimension von C ist die Kardinalität der größten endlichen Teilmenge E von X, die durch C zerlegbar ist. Falls beliebig große endliche Teilmengen E von X durch C zerlegbar sind, so ist die VC-Dimension der Konzeptklasse C unendlich. 2/34

18 Kapitel 4: Beispiele X = R 2 C sei die Menge aller achsenparallelen Rechtecke C sei die Menge aller Dreiecke C sei die Menge aller Vierecke C sei die Menge aller konvexen Polygone mit n Ecken C sei die Menge aller Kreise X = R C sei die Menge aller Intervalle C sei die Menge aller Vereinigungen von endlich vielen Intervallen X = {, } n C sei die Menge aller DNFs (KNFs) in n Variablen C sei die Menge aller -DNFs (-KNFs) in n Variablen 2/35 Kapitel 4: Beispiele X = R 2 C sei die Menge aller achsenparallelen Rechtecke... 4 C sei die Menge aller Dreiecke... 7 C sei die Menge aller Vierecke... 9 C sei die Menge aller konvexen Polygone mit n Ecken... 2n+ C sei die Menge aller Kreise... 3 X = R C sei die Menge aller Intervalle... C sei die Menge aller Vereinigungen von endlich vielen Intervallen... X = {, } n C sei die Menge aller DNFs (KNFs) in n Variablen... C sei die Menge aller -DNFs (-KNFs) in n Variablen n n 2/36

19 Kapitel 4: Interpretation der folgenden Ergebnisse unendlicher Fall es seien X ein Lernbereich und C eine Konzeptklasse über X VC(C) ist eine Zahl... endlicher Fall es seien X n ein Lernbereich und C n eine endliche Konzeptklasse über X n VC(C n ) ist eine Funktion in n 2/37 Kapitel 4: ein grundlegendes Resultat es seien X ein Lernbereich, C eine Konzeptklasse über X und D irgendeine Wahrscheinlichkeitsverteilung über X es sei d = VC(C) Wenn ein PAC-Lernverfahren S für die Konzeptklasse C in Phase mindesten s = 4/ ε [ d ln (2/ε) + ln (2/δ)] viele Beispiele anfordert in Phase 2 eine Hypothese h c C bestimmt, die mit allen angebotenen Beispielen konsistent ist so gilt mit Wahrscheinlichkeit - δ: error D (h c,c) ε... für endliche Konzeptklassen C n muß eine Polynom poly(n) mit VC(C n ) poly(n) existieren 2/38

20 Kapitel 4: Beispiele für Konzeptklassen, die beispiel-effizient PAC-lernbar sind X = R 2 die Menge aller achsenparallelen Rechtecke die Menge aller Dreiecke die Menge aller Vierecke die Menge aller konvexen Polygone mit n Ecken die Menge aller Kreise X = R die Menge aller Intervalle 2/39 Kapitel 4: ein anderes grundlegendes Resultat es seien X ein Lernbereich, C eine Konzeptklasse über X C ist beispiel-effizient PAC-lernbar genau dann, wenn die VC-Dimension von C endlich ist.... laufzeit-effiziente PAC-Lernverfahren für solche Konzeptklassen sind schnelle konsistente PAC-Lernverfahren... für endliche Konzeptklassen C n muß eine Polynom poly(n) mit VC(C n ) poly(n) existieren 2/4

21 Kapitel 4: Beispiele für Konzeptklassen, die nicht beispiel-effizient PAC-lernbar sind X = R die Menge aller Vereinigungen von endlich vielen Intervallen X = { alle Wörter über dem Alphabet A = { a } } die Menge aller Patternsprachen die Menge aller Patternsprachen aus Patterns, die nur eine Variable enthalten (/* evtl. mehrfach */) 2/4