Grundlagen des Maschinellen Lernens Kap 3: Lernverfahren in anderen Domänen

Transkript

1 . Motivtion 2. Lernmodelle Teil I 2.. Lernen im Limes 2.2. Fllstudie: Lernen von Ptternsprchen 3. Lernverfhren in nderen Domänen Entscheidungsbäume 3.3. Entscheidungsbäume über regulären Ptterns 4. Lernmodelle Teil II 4.. Online-Lernen 4.2. PAC-Lernen 5. Spezielle Lernverfhren 5.. unüberwchtes Lernen 5.2 überwchtes Lernen 5/ Fhrpln motivierendes Beispiel Präzisierung des zu lösenden Lernproblems zugrunde liegende Begriffe (nur Wiederholung(!?)) Lernverfhren für endliche Automten mit Ein- und Ausgbe 5/2

2 Problemstellung: Kffeeutomt ein wohlwollender Sponsor ht in D4 einen Kffeeutomt zu freien Benutzung ufgestellt mn knn sich Kffee umsonst verschffen es gibt leider keine Bedienungsnleitung A B C 5/3 kurzfristiges Ziel Wir wollen einen Becher mit Kffee us dem Automten erhlten. lngfristiges Ziel Wir wollen verstehen, wie der Automt funktioniert, um plnmäßig (und beliebig oft) us dem Automten einen Becher mit Kffee erhlten zu können. Knn mn die Funktionsweise des Automten erlernen? 5/4

3 vom Kffeeutomten ist beknnt... Er ht 3 Knöpfe: A, B und C. Es sind 4 verschiedene Ausgben möglich: Ertönen einer Glocke Becher Zucker Kffee Gl Be Zu K A B C 5/5 A/Zu B/K strt C/Gl C/Be 2 A/Zu A/Zu B/Zu C/Gl B/Gl 5/6

4 Präzisierung des zu lösenden Lernproblems Klsse zu lernender Objekte endlich deterministische Automten A (mit Ausgbe) Informtionen über ds Verhlten eines unbeknnten Automten A werden Interktionsfolgen vorgelegt Lernziel es soll ein Automt B gelernt werden, der sich genuso wie A verhält 5/7 endliche Automten ohne Ausgbe (zur Erinnerung) A = [ X, Z, δ, {z 0 }, F ] Eingbelphbet X Zustndsmenge Z Zustndsüberführungsfunktion δ: Z x X Z Anfngzustnd z 0 Z Endzustände F Z 5/8

5 b 2, b 3 b b 4, b 5 X = {, b } Z = {, 2, 3, 4, 5 } z 0 = F = { 5 } δ b /9 endliche Automten mit Ausgbe A = [ X,Y,Z, δ, λ,{z 0 } ] Eingbe-/Ausgbelphbet X, Y Zustndsmenge Z Zustndsüberführungsfunktion δ: Z x X Z Ausgbefunktion λ: Z x X Y Anfngzustnd z 0 Z 5/0

6 /0 /0 2 3 /0 4 5 X = {, b } Y = { 0, } Z = {, 2, 3, 4, 5 } z 0 = δ/ λ 2 3 2/0 3/0 3/0 b /0 3/0 4/0 4 5/ 5/0 5 5/ 2/0 Hinweis: beschreibt dsselbe Akzeptierungsverhlten; letztes Bit der Ausgbe ist relevnt 5/ endliche Automten mit Ausgbe A = [ X,Y,Z, δ, λ, {z 0 } ] Eingbe-/Ausgbelphbet X, Y Zustndsmenge Z Zustndsüberführungsfunktion δ: Z x X Z Ausgbefunktion λ: Z x X Y Anfngzustnd z 0 Z Verhlten von A: V(A) = { (w, λ*(z 0,w)) w X + } 5/2

7 Fortsetzung der Ausgbe- und der Zustndsüberführungsfunktion sei A = [ X,Y,Z, δ, λ,{z 0 } ] λ*(z 0,x) = λ(z 0,x), flls x X λ*(z 0,wx) = λ*(z 0,w) λ(δ*(z 0,w),x), flls w X +, x X δ*(z 0,x) = δ(z 0,x), flls x X δ*(z 0,wx) = δ(δ*(z 0,w),x), flls w X +, x X 5/3 Interktionsfolgen (Eingbe für ds Lernverfhren) unendliche Folge {V i } endlicher Mengen, so dß für lle i gilt: V i V(A) V i ist nfngsstückvollständig (/* d.h. flls (u,λ*(u)) V i, so (u,λ*(u )) V i für lle Anfngsstücke u von u */) V i V i+ V V 2 = V(A) 5/4

8 Gundlgen Es sei A ein endl. det. Automt. Dnn gibt es einen (/* bis uf Isomorphie */) eindeutig bestimmten minimlen endl. det. Automten A mit V(A ) = V(A). Es gibt einen effizienten Algorithmus zur Bestimmung von A. 5/5 Ist folgender endl. det. Automt A miniml? 2 3 b/ b/ b/ miniml, flls gilt: es gibt keinen äquivlenten endl. det. Automt B mit weniger Zuständen 4 5 b/ 5/6

9 es sei A = [ X,Y,Z, δ, λ,{z 0 } ] zwei Zustände z, z heißen äquivlent, flls für lle w X + gilt: λ*(z,w) = λ*(z,w) zwei Zustände z, z heißen k-äquivlent, flls für lle w X + mit w = k gilt: λ*(z,w) = λ*(z,w) Beobchtung: Es seien z, z zwei k+-äquivlente Zustände. Dnn gilt für lle x X: λ(z,x) = λ(z,x) die Zustände δ(z,x) und δ(z,x) sind k-äquivlent 5/7 Minimierungslgorithmus (beknnt (!?)) -äquivlent: { } { 2, 3, 4, 5} 2-äquivlent: { } { 2, 4, 5 } { 3 } äquivlent: { } { 2 } { 4, 5 } { 3 } b/ b/ b/ 4-äquivlent: { } { 2 } { 4, 5 } { 3 } 4 5 b/ 5/8

10 gegebener Automt A zugehöriger minimler Automt A /~ 2 3 { } { 2 } { 3 } b/ b/ b/ b/ b/ 4 5 { 4, 5 } b/ b/ 5/9 Anstz für ein Lernverfhren wir betrchten V(A) ls Automten (/* V(A) ist äquivlent zu A */) Anstz: Wir minimieren V(A). Beobchtung: Ds Ergebnis ist ein Automt B mit den Eigenschften: B ist äquivlent zu V(A) (und dmit uch zu A). B ist miniml. 5/20

11 Wir betrchten V(A) ls Automten. V(A) = [X,Y,X *,δ,λ,{ ε }] mit: δ (z,x) = zx λ (z,x) = y, flls y Y und (zx,vy) V(A) für ein v Y* 5/2 gegebener Automt A zugehöriger Automt V(A) ε 2 3 b/ b b/ b/ b/ 4 5 b/ b/ b b bb b /22

12 gegebener Automt A zugehöriger Automt V(A) ε b b/ b/ 4 5 b/... b b bb b... Hinweis: einfchere, äquivlente Drstellung von V(A) 5/23 Wir betrchten V(A) = [X,Y,X *,δ,λ,{ε}]. ~ bezeichnet die Zustndsäquivlenz uf X *. V(A) /~ bezeichnet den nch ~ fktorisierten Automten Beobchtung: Es gibt eine endliche Teilmenge V von V(A), so dß gilt: V(A) /~ = V /~. Außerdem gilt für lle V mit V V: V /~ = V /~. 5/24

13 Rhmen für ein Lernverfhren betrchten V(A) = [X,Y,X *,δ,λ,{ ε }] und V V 2 V 3 V 4 V 5... V(A). Schritt : Input: V Output: Bilde V /~.Gib h = V /~ us. Schritt n + : Input: V n+ ; h n Output: Teste, ob der Automt h n mit den vorliegenden Informtionen verträglich ist, d.h. teste, ob V n+ V(h n ) gilt. Flls j, gib h n+ = h n us. Sonst bestimme V n+/~ und gib h n+ = V n+/~ us. 5/25 Bestimmung von V i/~ : Mn betrchtet V i ls (prtiellen) Automten und versucht, V i zu minimieren, d.h. V i/~ zu konstruieren.... ber ufgrund fehlender Informtion ist noch zu klären, wie mn die Reltion ~ bzw. eine Approximtion dvon berechnet 5/26

14 -äquivlent: { ε } {, b, } ε 0 2-äquivlent: {ε } {,??? } b b b bb b Idee: Zustände gelten ls äquivlent, solnge nichts dgegen spricht 5/27 Beispiel Input V zugehöriger minimler Automt V /~ ε 0 b 0 { ε, b } b bb 5/28

15 Beispiel 2 Input V 2 zugehöriger minimler Automt V 2/~ ε 0 { ε, b } b 0 b b bb b/ { } 5/29 Beispiel 3 Input V 3 zugehöriger minimler Automt V 3/~ ε 0 { ε, b, } b 0 { } 0 b b bb b/ b 5/30

16 Bestimmung von V i/~ : es gibt offenbr verschiedene Möglichkeiten, die Zustände von V i zusmmenzufssen und nicht definierte Werte im hypothetischen Automten V i/~ festzulegen (/* Heuristiken,... */) Festlegungen führen zu unterschiedlichen Lernverfhren... Grundkonzept: nchweisbre Inäquivlenz... technische Vorussetzung: lexikogrphische Ordnung 5/3 Bestimmung von V i/~ : Bezeichnung: u u 2, flls us dem mit V i verfügbren Wissen folgt, dß die mit u und u 2 bezeichneten Zustände nicht äquivlent sein können d.h., die in u und u 2 beginnenden Teilbäume unterscheiden sich merkbr, wenn mn sie übereinnder legt 5/32

17 Bestimmung von V i/~ (/* Bestimmung der Zustndsmenge */) sei V i gegeben; es sei R i := { u es gibt x X, v Y + : (ux,v) V i } k = ; while ( R i!= ) { z k = ; r k = min { r r R i }; R i = R i \{ r k }; z k = z k { r k } ; while ( es gibt ein u R i, so dß für lle r z k gilt: not ( u r ) ) R i = R i \{ u }; z k = z k { u }; k = k+; } 5/33 Bestimmung von V i/~ (/* Bestimmung von δ und λ */) sei V i gegeben, sei z,,z n die bestimmte Zustndsmenge - δ(z r,x) = z k, flls es ein u z r mit δ (u,x) z k gibt - δ(z r,x) = z r, sonst - λ(z r,x) = y, flls es ein u z r gibt mit λ (u,x) = y - λ(z r,x) = y, sonst Bemerkung: z i ist Anfngszustnd gdw. ε z i y ist usgezeichnetes Zeichen in Y 5/34

18 V i = { (,), (b,0), (,0), (b,0), (bb,00), (,00), (bb,00) } R i = { ε,, b,, bb } z = { ε, b, bb} 0 ε 0 0 b 0 b bb z bb z 2 = {, } Anmerkung: y = 0 z 2 /0 5/35