Künstliche Intelligenz Unsicherheit. Stephan Schwiebert WS 2009/2010 Sprachliche Informationsverarbeitung Institut für Linguistik Universität zu Köln

Transkript

1 Künstliche Intelligenz Unsicherheit Stephan Schwiebert WS 2009/2010 Sprachliche Informationsverarbeitung Institut für Linguistik Universität zu Köln

2 Rückblick Agent in der Wumpuswelt konnte Entscheidungen auf Basis der Daten seiner Sensoren fällen. Trotzdem können Fälle eintreten, in denen der Agent keine eindeutige Entscheidung treffen kann. In der Realität sind die Dinge ungleich komplexer...

3 Unsicherheit in der realen Welt Was beeinflusst den Weg zur Uni? rote Ampeln Wetter defekte Verkehrsmittel Verkehrskontrollen zufälliges Treffen alter Bekannter Wie kann ein Agent entscheiden, wann er rechtzeitig losfahren muss? Die beeinflussenden Faktoren liegen (teilweise) nicht im Bereich seiner Wahrnehmung.

4 Unsicherheit in der realen Welt A 15 : Plan, 15 Minuten vor Kursbeginn loszufahren A 60 : Plan, 60 Minuten vor Kursbeginn loszufahren A 240 : Plan, 240 Minuten vor Kursbeginn loszufahren usw. Welcher Plan ist der rational richtige?

5 Unsicherheit in der realen Welt A 15 : Plan, 15 Minuten vor Kursbeginn loszufahren A 60 : Plan, 60 Minuten vor Kursbeginn loszufahren A 240 : Plan, 240 Minuten vor Kursbeginn loszufahren usw. Welcher Plan ist der rational richtige? Die Wahl ist abhängig von Wahrscheinlichkeit, pünktlich zu sein und dem Nutzen des Ereignisses.

6 Unsicherheit & Wahrscheinlichkeit Ziel: Algorithmus, der rationale Entscheidungen auch ohne sicheres Wissen treffen kann.

7 Skizze eines entscheidungstheoretischen Agenten Input: Wahrnehmung (Sensoren), Annahme über den Zustand der Welt, Liste möglicher Aktionen Black Box: Berechnung der Ergebniswahrscheinlichkeiten der Aktionen durch Berücksichtigung von Wahrnehmung und Annahmen. Output: Aktion mit höchstem erwarteten Nutzen

8 Was ist unsicheres Wissen? Beispiel Diagnostik: Diagnosen lassen sich (meist) nicht vollständig mit Mitteln der Prädikatenlogik lösen: p Symptom(p, Zahnschmerzen) (Krankheit(p, Loch) Krankheit(p, Zahnfleischprobleme) ) Zahnschmerzen & Löcher stehen sich nicht in logischer Konsequenz gegenüber. Aber: Bei Zahnschmerzen glauben wir, mit einer gewissen Wahrscheinlichkeit ein Loch im Zahn zu haben.

9 Glauben vs. Wissen In der Prädikatenlogik galt Glauben = Wissen, in einer unsicheren Logik muss mit Glaubensgraden gearbeitet werden, in etwa: Glaube ( p Symptom(p, Zahnsch.) Krankheit(p, Loch)) = 0,8 Glaube (0 p Symptom(p, Zahnsch.) 0 Krankheit(p, ZFP)) = 0,05...

10 Glauben vs. Wissen In der Prädikatenlogik galt Glauben = Wissen, in einer unsicheren Logik muss mit Glaubensgraden gearbeitet werden, in etwa: Glaube (Vp Symptom(p, Zahnsch.) Krankheit(p, Loch)) = 0,8 Glaube (Vp Symptom(p, Zahnsch.) Krankheit(p, ZFP)) = 0,05... Die Wahrheit einer tatsächlichen Aussage bleibt davon unberührt (Wahrheitsgrade sind Thema der Fuzzy Logic)!

11 Evidenz Der Glaube eines Agenten ist abhängig von den bisherigen Wahrnehmungen (Evidenz). Durch das Sammeln weiterer Evidenzen (bspw. Lektüre zahnmedizinischer Literatur oder eigene Erfahrung) kann sich der Glaube des Agenten ändern.

12 Evidenz unbedingte oder A-priori-Wahrscheinlichkeit gilt, falls keine weitere Evidenz vorliegt. Notation: P(a), z.b. P(loch) = 5% bedingte oder A-posteriori-Wahrscheinlichkeit gilt, sobald eine Evidenz vorliegt. Notation: P(a b), z.b. P(loch schmerzen) = 80%

13 Produktregel Definition: P(a b) = P(a b) / P(b) wenn P(b) > 0 oder P(a b) = P(a b) P(b) bzw. P(a b) = P(b a) P(a)

14 Produktregel Beispiel: P(loch schmerzen) = P(loch schmerzen) P(schmerzen)

15 Produktregel Beispiel: P(loch 0 schmerzen) = P(loch schmerzen) P(loch) Wenn loch & schmerzen wahr sein soll, muss schmerzen wahr sein, und loch für schmerzen.

16 (Kolmogorov-) Axiome der Wahrscheinlichkeit 0 P(a) 1 P(true) = 1, P(false) = 0 P(a 1 b) = P(a) + P(b) P(a A b)

17 (Kolmogorov-) Axiome der Wahrscheinlichkeit Aus den Axiomen lassen sich weitere Regeln herleiten, bspw. die Wahrscheinlichkeit einer Negation P( a): P(a J a) = P(a) + P( a) P(a a) P(true) = P(a) + P( a) P(false) 1 = P(a) + P( a) P( a) = 1 - P(a)

18 Typen von Zufallsvariablen Boolsche Variablen z.b. Loch im Zahn, Schwanger Diskrete, abzählbare Variablen z.b. Wetter (Sonne, Regen, Wolken, Schnee) oder Wochentag Stetige Variablen Reelle Zahlen (z.b. Temperatur)

19 Diskrete Variablen Die Wahrscheinlichkeit der einzelnen Zustände ist i.d.r. unterschiedlich: P(Wetter = sonnig) = 0.7 P(Wetter = regnerisch) = 0,2 P(Wetter = wolkig) = 0,08 P(Wetter = schnee) = 0,02 Vereinfacht: P(Wetter) = <0.7;0.2;0.08;0.02> heißt vollständige Verteilung von Wetter

20 Unsicherheit & Wahrscheinlichkeit Beispiel: Gegeben sei folgende Evidenztabelle zahnschmerzen zahnschmerzen verhaken verhaken verhaken verhaken loch 0,108 0,012 0,072 0,008 loch 0,016 0,064 0,144 0,576 Gesucht ist ein Algorithmus, der die Wahrscheinlichkeit der Wahrheit der Aussage Wenn ich Zahnschmerzen habe, habe ich ein Loch im Zahn berechnen kann.

21 Probabilistische Inferenz Berechnung aus beobachteten Evidenzen zahnschmerzen zahnschmerzen verhaken verhaken verhaken verhaken loch 0,108 0,012 0,072 0,008 loch 0,016 0,064 0,144 0,576

22 Probabilistische Inferenz Berechnung aus beobachteten Evidenzen zahnschmerzen zahnschmerzen verhaken verhaken verhaken verhaken loch 0,108 0,012 0,072 0,008 loch 0,016 0,064 0,144 0,576 Wie hoch ist die Wahrscheinlichkeit, dass die Aussage loch zahnschmerzen wahr ist?

23 Probabilistische Inferenz Berechnung aus beobachteten Evidenzen zahnschmerzen zahnschmerzen verhaken verhaken verhaken verhaken loch 0,108 0,012 0,072 0,008 loch 0,016 0,064 0,144 0,576 Wie hoch ist die Wahrscheinlichkeit, dass die Aussage loch zahnschmerzen wahr ist? P(Loch Zahnschmerzen) = 0, , , , , ,064 = 0,28

24 Marginalisierung/Aussummierung Berechnung aus beobachteten Evidenzen zahnschmerzen zahnschmerzen verhaken verhaken verhaken verhaken loch 0,108 0,012 0,072 0,008 loch 0,016 0,064 0,144 0,576 Wie hoch ist die Wahrscheinlichkeit, dass die Aussage loch wahr ist?

25 Marginalisierung/Aussummierung Berechnung aus beobachteten Evidenzen zahnschmerzen zahnschmerzen verhaken verhaken verhaken verhaken loch 0,108 0,012 0,072 0,008 loch 0,016 0,064 0,144 0,576 Wie hoch ist die Wahrscheinlichkeit, dass die Aussage loch wahr ist? P(Loch) = 0, , , ,008 = 0,2 allgemein: P Y = P Y z= P Y z P z z z

26 Marginalisierung/Aussummierung Berechnung aus beobachteten Evidenzen zahnschmerzen zahnschmerzen verhaken verhaken verhaken verhaken loch 0,108 0,012 0,072 0,008 loch 0,016 0,064 0,144 0,576 Wie hoch ist die Wahrscheinlichkeit, dass P(loch zahnschmerzen) wahr ist?

27 Marginalisierung/Aussummierung Berechnung aus beobachteten Evidenzen zahnschmerzen zahnschmerzen verhaken verhaken verhaken verhaken loch 0,108 0,012 0,072 0,008 loch 0,016 0,064 0,144 0,576 Wie hoch ist die Wahrscheinlichkeit, dass P(loch zahnschmerzen) wahr ist? P(loch zahnschmerzen) = P(loch zahnschmerzen) / P(zahnschmerzen)

28 Marginalisierung/Aussummierung Berechnung aus beobachteten Evidenzen zahnschmerzen zahnschmerzen verhaken verhaken verhaken verhaken loch 0,108 0,012 0,072 0,008 loch 0,016 0,064 0,144 0,576 Wie hoch ist die Wahrscheinlichkeit, dass P(loch zahnschmerzen) wahr ist? P(loch zahnschmerzen) = (0, ,012) / (0, , , ,064) = 0,6

29 Marginalisierung/Aussummierung Berechnung aus beobachteten Evidenzen zahnschmerzen zahnschmerzen verhaken verhaken verhaken verhaken loch 0,108 0,012 0,072 0,008 loch 0,016 0,064 0,144 0,576 Wie hoch ist die Wahrscheinlichkeit, dass P( loch zahnschmerzen) wahr ist? P( loch zahnschmerzen) = (0, ,064) / (0, , , ,064) = 0,4

30 Normalisierungskonstante Beobachtung: P(loch zahnschmerzen) = P(loch zahnschmerzen) / P(zahnschmerzen) P( loch zahnschmerzen) = P(loch zahnschmerzen) / P(zahnschmerzen) Der Term 1/ P(zahnschmerzen) bleibt konstant, unabhängig vom berechneten Wert von loch.

31 Normalisierungskonstante 1/ P(zahnschmerzen) heißt Normalisierungkonstante für P(Loch Zahnschmerzen) und wird durch gekennzeichnet. P bezeichnet (im Gegensatz zu P) einen Vektor von Wahrscheinlichkeiten. Im Beispiel gilt = (0, , , ,064) = 0.2

32 Norminalisierungskonstante Durch lassen sich Berechnungen vereinfachen: zahnschmerzen zahnschmerzen verhaken verhaken verhaken verhaken loch 0,108 0,012 0,072 0,008 loch 0,016 0,064 0,144 0,576 P(Loch zahnschmerzen) = P(Loch zahnschmerzen) = [P(Loch zs, verhaken) + P(Loch zs, verhaken)] = [<0.108; 0.016> + <0.012; 0.064>] = <0.12; 0.08> = 0.2 * <0.12; 0.08> = <0.6; 0.4>

33 Algorithmus für die Beantwortung probabilistischer Anfragen Sei E die Menge der Evidenzvariablen (Zahnschmerzen), e die beobachteten Werte (zahnschmerzen = true), Y die Menge der unbeobachteten Werte (Verhaken). Die Wahrscheinlichkeit von X (Loch) unter unter den Bedingungen e ergibt sich nun durch P X e= P X,e= y P X,e, y

34 Algorithmus zur probabilistischen Inferenz Wie ist die Laufzeit des Algorithmus? Sehr schlecht: Bei n booleschen Variablen beträgt die Laufzeit O(2 n ).

35 Unabhängigkeit

36 Unabhängigkeit Loch Verfangen Zahnschmerzen Wetter Loch Verfangen Zahnschmerzen Wetter

37 Absolute Unabhängigkeit P(a b) = P(a) P(b a) = P(b) P(a 1 b) = P(a) * P(b)

38 Absolute Unabhängigkeit P(a b) = P(a) P(b a) = P(b) P(a b) = P(a) * P(b) Probleme: Unabhängigkeit nicht immer erkennbar Unabhängige Mengen können beliebig groß werden Indirekte Abhängigkeit muss berücksichtigt werden

39 Bayessche Regel

40 Die Bayessche Regel: Herleitung Produktregel: P(a b) = P(a b) P(b) P(a b) = P(b a) P(a) d.h. P(a b) P(b) = P(b a) P(a) Also: P(b a) = P(a b) P(b) P(a)

41 Anwendung der Bayesschen Regel Beispiel: P(b a)= P(a b) P(b) P(a) Meningitis verursacht in 50 % aller Fälle einen steifen Nacken. Die (unbedingte) Wahrscheinlichkeit, an Meningitis zu leiden, beträgt 1/ Die (unbedingte) Wahrscheinlichkeit, einen steifen Nacken zu haben, beträgt 1/20. Wie hoch ist die Wahrscheinlichkeit, dass ein Patient, der über steifen Nacken klagt, Meningitis hat?

42 Anwendung der Bayesschen Regel Wie ließe sich mit Hilfe der Bayesschen Regel ein selbstlernender Spam-Filter konstruieren?

43 Anwendung der Bayesschen Regel Wie ließe sich mit Hilfe der Bayesschen Regel ein selbstlernender Spam-Filter konstruieren? Einfach zu beobachten: P(A) unbedingte W'keit eines Wortes P(B) unbedingte W'keit von Spam-Mails P(A B) bedingte W'keit eines Wortes in Spam P(B A) bedingte W'keit dafür, dass es sich um Spam handelt, wenn Wort A auftaucht.

44 Bayessche Netze

45 Bayessche Netze: Beispiel Idee: Zufallsvariablen werden als Knoten im Netzwerk interpretiert. Kanten beschreiben die Zusammenhänge zwischen zwei Variablen.

46 Bayessche Netzwerke: Beispiel Bayessches Netzwerk zur Welt der Zahnschmerzen. Zahnschmerzen & Verhaken sind abhängig von Loch, während das Wetter von den anderen Zuständen unabhängig ist.

47 Bayessche Netzwerke: Definition Existiert eine Kante von X nach Y, so ist X der Elternknoten von Y. Jedem Knoten wird mit einer Wahrscheinlichkeitsverteilung ausgezeichnet. Knoten mit Elternknoten erhalten die bedingte Wahrscheinlichkeitsverteilung, andere Knoten die unbedingte Wahrscheinlichkeitsverteilung. Der Graph enthält keine gerichteten Kreise.

48 Bayessche Netzwerke

49 Beispiel P(j m a b e) =?

50 Beispiel P(j m a b e) = P(j a) P(m a) P(a b e) P( b) P( e) = 0,9 * 0,7 * 0,001 * 0,999 * 0,998 = 0,0062

51 Allgemein Abkürzung: P(x 1 x 2... x 3 ) = P(x 1, x 2... x 3 ) Es gilt: P(x 1, x 2... x n ) = n i=1 P x i eltern X i

52 Bayessche Netzwerke Problem: Automatischer Strukturaufbau schwierig Laut R/N noch keine effizienten Algorithmen zum Aufbau verfügbar. Verschiedene Ansätze mit Optimierungsverfahren (Hill-Climbing etc)

53 Literatur & Grafiken Russel, Norvig: Künstliche Intelligenz ein moderner Ansatz