Funktionsapproximation

Transkript

1 VL Algorithmisches Lernen, Teil 3b Jianwei Zhang, Dept. of Informatics Vogt-Kölln-Str. 30, D Hamburg 01/07/2009 Zhang 1

2 Terminübersicht: Part 3 17/06/2009 Dimensionsproblem, PCA 18/06/2009 Support-Vektor Maschinen 24/06/2009 Support-Vektor Maschinen (4st.) 25/06/2009 Übung 01/07/2009, Fuzzy-Logik (4st.) 02/07/2009 Übung (Prof. Dr. Menzel) 08/07/2009 Verstärkungslernen (1) 09/07/2009 Verstärkungslernen (2) 15/07/2009 Verstärkungslernen (3) 16/07/2009 Anwendungen in der Robotik Zhang 2

3 Approximation Annährung einer kontinuierlichen Relation zwischen x und y (Kurven, Fläche, Hyperfläche ) durch ein anderes Rechenmodell; gegeben sei eine begrenzte Zahl von Beispielen D = {x i, y i } l i=1. Zhang 3

4 Approximation vs. Interpolation Ein Sonderfall der Approximation ist die Interpolation: hierbei durchläuft das Modell exakt alle Daten. Wenn sehr viele Meßdaten vorliegen oder die Daten verrauscht sind, verwendet man Approximation. Zhang 4

5 Approximation ohne Overfitting Zhang 5

6 Interpolation mit Polynomen Einige Interpolationsverfahren mit Polynomen: Lagrange-Polynome, Newton-Polynome, Bernstein-Polynome, Basis-Splines. Zhang 6

7 Lagrangesche Interpolation Um durch l + 1 Punkte (x i, y i ) (i = 0, 1,..., l) ein Polynom vom Grade l hindurchzulegen, kann man nach LAGRANGE den folgenden Ansatz benutzen: l p l (x) = y i L i (x) Die LAGRANGEschen Grundpolynome werden wie folgt definiert: i=0 L i (x) = (x x 0)(x x 1 ) (x x i 1 )(x x i+1 ) (x x l ) (x i x 0 )(x i x 1 ) (x i x i 1 )(x i x i+1 ) (x i x l ) { 1 wenn x = xi = 0 wenn x x i Zhang 7

8 Newtonsche Interpolation Ein Newtonsches Polynom vom Grade l wird wie folgt konstruiert: p l (x) = a 0 +a 1 (x x 0 )+a 2 (x x 0 )(x x 1 )+ +a l (x x 0 )(x x 1 ) (x x l 1 ) Dieser Ansatz ermöglicht die einfache Berechnung der Koeffizienten. Für n = 2 erhält man das folgende Gleichungssystem: p 2 (x 0 ) = a 0 = y 0 p 2 (x 1 ) = a 0 + a 1 (x 1 x 0 ) = y 1 p 2 (x 2 ) = a 0 + a 1 (x 2 x 0 ) + a 2 (x 2 x 0 )(x 2 x 1 ) = y 2 Zhang 8

9 Interpolation mit Bernstein-Polynomen - I Interpolation von zwei Punkten mit Bernstein-Polynomen: y = x 0 B 0,1 (t) + x 1 B 1,1 (t) = x 0 (1 t) + x 1 t Zhang 9

10 Interpolation mit Bernstein-Polynomen - II Interpolation von drei Punkten mit Bernstein-Polynomen: y = x 0 B 0,2 (t) + x 1 B 1,2 (t) + x 2 B 2,2 (t) = x 0 (1 t) 2 + x 1 2t(1 t) + x 2 t 2 Zhang 10

11 Interpolation mit Bernstein-Polynomen - III Interpolation von vier Punkten mit Bernstein-Polynomen: y = x 0 B 0,3 (t) + x 1 B 1,3 (t) + x 2 B 2,3 (t)x 3 B 3,3 (t) = x 0 (1 t) 3 + x 1 3t(1 t) 2 + x 2 3t 2 (1 t) + x 3 t 3 Zhang 11

12 Interpolation mit Bernstein-Polynomen - IV Die Bernstein-Polynome der Ordnung k + 1 werden wie folgt definiert: ( ) k B i,k (t) = (1 t) k i t i, i = 0, 1,..., k i Interpolation mit Bernstein-Polynomen B i,k : y = x 0 B 0,k (t) + x 1 B 1,k (t) + + x k B k,k (t) Zhang 12

13 B-Splines Als normalisierte B-Splines N i,k der Ordnung k (vom Grad k 1) werden folgende Funktionen bezeichnet: Für k = 1, { 1 : für ti t < t N i,k (t) = i+1 0 : sonst sowie für k > 1, eine rekursive Darstellung: mit i = 0,..., m. N i,k (t) = t t i N i,k 1 (t)+ t i+k 1 t i t i+k t N i+1,k 1 (t) t i+k t i+1 Zhang 13

14 B-Spline-Kurve und -Basisfunktionen Eine B-Spline-Kurve der Ordnung k ist ein stückweise aus B-Splines (Basisfunktion) zusammengesetztes Polynom vom Grad (k 1), das an den Segmentübergängen im allgemeinen C k 2 stetig differenzierbar ist. Dabei seien B-Splines Stückweise Polynome, denen die folgenden geordneten Parameterwerte zugrundeliegen: wobei t = (t 0, t 1, t 2,..., t m, t m+1,..., t m+k ), m: wird von der Anzahl der zu interpolierenden Punkte bestimmt k: die festgelegte Ordnung der B-Spline-Kurve Zhang 14

15 Beispiele von B-Splines B-Splines der Ordnung 1, 2, 3 und 4: N j, 1 N j, 2 t N j, 3 t t t t j j+1 j+2 j+3 j+4 t N j, 4 t t t Innerhalb eines Parameterintervals gibt es k sich überlappende B-Splines. Zhang 15

16 Ein Beispiel der kubischen B-Splines Zhang 16

17 B-Splines der Ordnung k - I Das rekursive Definitionsverfahren einer B-Spline-Basisfunktion N i,k (t): Zhang 17

18 B-Splines der Ordnung k - II Aktuelle Segemente der B-Spline-Basisfunktionen der Ordnungen 2, 3 und 4 für t i t < t i+1 : Zhang 18

19 Uniforme B-Splines der Ordnung 1 bis 4 k=1 k=2 k=3 k=4 Zhang 19

20 Nichtuniforme B-Splines Ordnung 3: Zhang 20

21 Eigenschaften der B-Splines Partition of unity: k i=0 N i,k(t) = 1. Positivity: N i,k (t) 0. Local support: N i,k (t) = 0 for t / [t i, t i+k ]. C k 2 continuity: If the knots {t i } are pairwise different from each other, then N i,k (t) C k 2, i.e. N i,k (t) is (k 2) times continuously differentiable. Zhang 21

22 Gewinnung einer B-Spline-Kurve Eine B-Spline-Kurve kann dadurch konstruiert werden, daß eine Menge von vorgegebenen Größen mit diesen B-Splines gemischt werden: r(t) = m v j N j,k (t) wobei v j Kontrollpunkte (de Boor-Punkte) genannt werden. j=0 Sei ein Parameter t gegeben, ist r(t) ein Punkt dieser B-Spline-Kurve. Wenn t von t k 1 bis zu t m+1 variiert, so stellt r(t) eine C k 2 stetig differenzierbare Kurve dar. Zhang 22

23 Berechnung von Kontrollpunkten aus Datenpunkten Die Punkte v j sind nur bei k = 2 identisch mit den Datenpunkten zur Interpolation, sonst nicht. Ein Kontrollpunktzug bildet eine konvexe Hülle für die Interpolationskurve. Zwei Verfahren zur Berechnung von Kontrollpunkten aus Datenpunkten: Zhang 23

24 Berechnung von Kontrollpunkten aus Datenpunkten 1 Durch die Lösung des folgenden Gleichungssytems (Böhm84): q j (t) = m v j N j,k (t) j=0 wobei q j die Datenpunkte für die Interpolation sind, j = 0,, m. 2 Durch Lernen basierend auf dem Gradient-Abstieg (Zhang98). Zhang 24

25 Lattice - I Zhang 25

26 Lattice - II Zhang 26

27 Tensor-Produkt 2D-NURBS Zhang 27

28 Problematik in der realen Welt Modellierung: Lernen aus Beispielen, selbstoptimierende Gestaltung, Vorhersagen,... Regelung: Perzeption-Aktion-Zyklus, Zustandsregelung, Identifikation dynamischer Systeme,... als Benchmark zur Wahl eines Modells Zhang 28

29 - 1D Beispiel Eine Testfunktion f (x) = 8sin(10x 2 + 5x + 1) mit 1 < x < 1 und die richtig verteilten B-Splines: Zhang 29

30 Lattice The B-spline model a two-dimensional illustration. Zhang 30

31 Lattice (cont.) Jedes n-dimensionale Viereck (n > 1) wird von dem j th multivariaten B-spline N j k (x) bedeckt. Nj k (x) ist über den Tensorprodukt n univariate B-splines: n N j k (x) = N j i j,k j (x j ) (1) j=1 Zhang 31

32 Lattice (cont.) (a) Tensor product of two, order 2 univariate B-splines. (b) Tensor product of one order 3 and one order 2 univariate B- splines. (c) Tensor product of two univariate B-splines of order 3. Bivariate B-splines formed by taking the tensor product of two univariate B-splines. Zhang 32

33 Allgemeine Anforderungen an einen Approximator Universalität: Approximation von beliebigen Funktionen Generalisierung: gute Approximation ohne Overfitting Adaptivität: selbsteinstellend anhand von neuen Daten Parallelität: Rechnen nach biologischen Vorbildern Interpretierbarkeit: mindestens als Grey-box anstatt Black-box Zhang 33

34 Bedeutung der Interpretierbarkeit eines Modells Richard P. Feynman: the way we have to describe nature is generally incomprehensible to us. Albert Einstein: it should be possible to explain the laws of physics to a barmaid. Zhang 34

35 Bedeutung der Interpretierbarkeit eines Modells (cont.) Wichtige Gründe für symbolische Interpretierbarkeit eines Approximators: Linguistische Modellierung bietet ein Mittel zur Fertigkeitsübertragung von einem Experten auf einen Computer oder Roboter. Automatisches Lernen eines transparenten Modells erleichtert die Analyse, Validierung und Überwachung bei der Entwicklung eines Modells bzw. eines Reglers. Transparente Modelle besitzen vielfältige Anwendungsmöglichkeiten in Decision-Support Systems. Zhang 35

36 Symbolumwandlung der Kernfunktionen Positiv definierte, konvexe Kernfunktionen können als Fuzzy-Mengen betrachtet werden. Z.B.: µ B (x) = ( x ) 2 Zhang 36

37 B-Spline ANFIS Bei einem B-Spline ANFIS mit n Eingängen x 1, x 2,..., x n, werden Regeln der folgenden Form benutzt: {Regel(i 1, i 2,..., i n ): IF (x 1 IS N 1 i 1,k 1 ) AND (x 2 IS N 2 i 2,k 2 ) AND... AND (x n IS N n i n,k n ) THEN y IS Y i1 i 2...i n }, wobei x j : Eingangsgröße j (j = 1,..., n), k j : Ordnung der B-Spline-Basisfunktion für x j, N j i j,k j : mit dem i-ten linguistischen Term für x j assoziierte B-Spline-Funktion, i j = 0,..., m j, Partitionierung von Eingang j, Y i1i 2...i n : Kontrollpunkte der Regel(i 1, i 2,..., i n ). der AND -Operator: Produkt Zhang 37

38 B-Spline ANFIS (cont.) Dann ist der Ausgang y eines MISO Regelungssystems: m 1 m n n y =... (Y i1,...,i n N j i j,k j (x j )) i 1 =1 i n=1 Das ist ein allgemeines B-Spline-Modell, das die Hyperfläche NUBS (nonuniform B-spline) darstellt. j=1 Zhang 38

39 Architektur des B-Spline ANFIS Zhang 39

40 ZF-Formulierung - Tensorprodukt Tensor-Produkt 2D-Splines: Zhang 40

41 Die Aktivierung der ZF über den Eingang Zhang 41

42 B-Spline ANFIS: ein Besipiel Ein Beispiel mit zwei Eingangsvariablen (x und y) und einem Ausgang z. Die Parameter der DANN-Teile sind Z 1, Z 2, Z 3, Z 4. Zhang 42

43 B-Spline ANFIS: ein Besipiel (cont.) Die linguistischen Terme der Eingänge (WENN-Teile): Zhang 43

44 B-Spline ANFIS: ein Besipiel (cont.) Die Parameter der DANN-Teile: Zhang 44

45 Ein Beispiel-Regelbasis Die Beispiel-Regelbasis besteht aus vier Regeln: Regel 1) IF x is X 1 and y is Y 1 THEN z is Z 1 2) IF x is X 1 and y is Y 2 THEN z is Z 2 3) IF x is X 2 and y is Y 1 THEN z is Z 2 4) IF x is X 2 and y is Y 2 THEN z is Z 4 Zhang 45

46 Illustrierung der Fuzzy-Inferenz Zhang 46

47 Illustrierung der Fuzzy-Inferenz (2) Zhang 47

48 Illustrierung der Fuzzy-Inferenz (3) Zhang 48

49 Illustrierung der Fuzzy-Inferenz (4) Zhang 49

50 Illustrierung der Fuzzy-Inferenz (cont.) Zhang 50

51 Algorithmem zum überwachten Lernen - I Angenommen sei {(X, y d )} eine Menge von Trainingsdaten, wobei X = (x 1, x 2,..., x n ) : der Vektor der Eingangsdaten, y d : der gewünschte Ausgang für X. Der LSE ist: E = 1 2 (y r y d ) 2, (2) wobei y r der aktuelle reale Ausgangswert während des Tranings ist. Die zu findenen Parameter sind Y i1,i 2,...,i n, die den Fehler in (2) minimiert, d.h. E = 1 2 (y r y d ) 2 MIN. (3) Zhang 51

52 Algorithmen zum überwachten Lernen - II Jeder Kontrollpunkt Y i1,...,i n kann über das folgende Gradientabstiegsverfahren verbessert werden: wobei 0 < ɛ 1. Y i1,...,i n = E ɛ Y i1,...,i n (4) n = ɛ(y r y d ) N j i j,k j (x j ) (5) j=1 Zhang 52

53 Algorithmen zum überwachten Lernen - III Das Gradientabstiegsverfahren gewährleistet, dass der Lernalgorithmus zum globalen Minimum der LSE-Funktion konvergiert, weil die 2. partielle Ableitung bezüglich zu Y i1,i 2,...,i n konstant ist: 2 E 2 Y i1,...,i n = ( n N j i j,k j (x j )) 2 0. (6) j=1 Dies bedeutet dass die LSE-Funktion (2) konvex im Raum Y i1,i 2,...,i n ist und deshalb nur einen (globalen) Minimum besitzt. Zhang 53

54 Symbolumwandlung der Kernfunktionen Positiv definierte, konvexe Kernfunktionen können als Fuzzy-Mengen betrachtet werden. z.b.: µ B (x) = ( x ) 2 Zhang 54

55 ZF-Funktionen (a) (b) ( c ) (d) (e) (f) (g) (h) Zhang 55

56 Einführung in die Fuzzy-Mengen ungenaue natürsprachliche Abstufungen von Begriffen wie groß, schön, stark... menschliche Denk- und Verhaltensmodelle mit der einstufigen Logik: Autofahren: Wenn-Dann -Regeln Autoparken: genau auf den Millimeter? Zhang 56

57 Einführung in die Fuzzy-Mengen Verwendung unscharfer Sprache statt numerischer Beschreibung: bremse 2.52 m vor der Kurve nur in Maschinesystemen bremse kurz vor der Kurve in natürlicher Sprache Zhang 57

58 Begriffserklärung Fuzzy: indistintive, vague, unclear. Fuzzy-Mengen / Fuzzy-Logik als Mechanismus für ungenaue natursprachliche Abstufungen von Begriffen wie groß, schön, stark... Verwendung unscharfer Sprache statt numerischer Beschreibung. Abstraktion von unnötigen/zu komplexen Details. Modellierung menschlicher Denk- und Verhaltensprozesse mit der einstufigen Logik. Zhang 58

59 Charakteristische Funktion vs. Zugehörigkeitsfunktion Für Fuzzy-Mengen A verwendet man eine verallgemeinerte charakteristische Funktion µ A, die jedem Element x X eine reelle Zahl aus [0, 1] zuordnet den Grad, zu dem das Element x zur beschriebenen unscharfen Menge A gehört: µ A : X [0, 1] µ A wird als Zugehörigkeitsfunktion (ZF) bezeichnet. A = {(x, µ A (x) x X } Zhang 59

60 Zugehörigkeitsfunktion Charakteristik der kontinuierlichen ZF: Positiv definierte, konvexe Funktionen (einige wichtige Kernfunktionen). Subjektive Perzeption keine probalistische Funktionen Zhang 60

61 ZF-Formulierung - I ( ( x a Triangulare: trimf (x; a, b, c) = max min b a, c x ) ), 0 c b Trapezoidale: trapmf (x; a, b, c, d) = max ( ( x a min b a, 1, d x ) ), 0 d c Zhang 61

62 ZF-Formulierung - II Gaussian: gaussmf (x; c, σ) = e 1 2( x c σ ) 2 B-Splines: bsplinemf (x, x i, x i+1,, x i+k ) Zhang 62

63 Linguistische Variable Eine numerische Variable nimmt numerische Werte an: Das Alter = 25 Eine linguistische Variable nimmt linguistische Werte (Terme) an: Das Alter ist jung Ein linguistischer Wert ist eine Fuzzy-Menge. Zhang 63

64 Fuzzy-Partition Fuzzy-Partitionen über die linguistischen Werte Jung, Mittleres Alter und Alt : Zhang 64

65 Fuzzy-Logik: Ableitungsmechanismen Eine Fuzzy-Regel wird folgendermaßen formuliert: IF A THEN B mit Fuzzy-Mengen A, B über den Universen X, Y. Einer der wichtigsten Ableitungsmechanismen ist der verallgemeinerte Modus-Ponens (GMP): Implikation: IF x is A THEN y is B Prämisse: x is A Konklusion: y is B Zhang 65

66 Fuzzy-Systeme zur Grundidee: Beschreibung des gewünschten Reglerverhaltens mit Hilfe umgangssprachlicher, qualitativer Regeln. Quantifizierung linguistischer Werte durch Fuzzy-Mengen. Regel Auswertung durch Verfahren der Fuzzy-Logik bzw. der Interpolation. Zhang 66

67 Fuzzy-Systeme zur Fuzzy-Regeln: IF (eine Menge Konditionen werden erfüllt) THEN (eine Menge Konsequenzen können bestimmt werden) In den Prämissen (Antecedenten) vom IF-Teil: linguistische Variablen aus der Domäne der Prozeßzustände; In den Konklusionen (Konsequenten) vom THEN-Teil: linguistische Variablen aus der Regelungsdomäne. Zhang 67

68 Adaptive Netzwerke Architektur: Feedforward Netzwerke mit verschiedenen Knoten-Funktionen Zhang 68

69 Rule Extraction Die Fuzzy-Patchs (Kosko): Zhang 69

70 Rule Extraction Ein Fuzzy-Regel-Patch: Zhang 70

71 Additive Systeme Ein additiver Fuzzy-Controller addiert die THEN -Teile der gefeuerten Regeln. Fuzzy-Approximations-Satz: Ein additiver Fuzzy-Controller kann eine beliebige stetige Funktion f : X Y approximieren wenn X kompakt ist. Zhang 71

72 Optimale Fuzzy-Regel-Patchs Optimale Fuzzy-Regel-Patchs decken die Extrema einer Funktion: Zhang 72

73 Optimale Fuzzy-Regel-Patchs Projektion der Ellipsoide auf die Ein- und Ausgangsachse: Zhang 73

74 Optimale Fuzzy-Regel-Patchs Die Größe eines Ellipsoids hängt von den Trainingsdaten ab. Zhang 74

75 Optimale Fuzzy-Regel-Patchs Visualisierung des Eingangs-Ausgangs-Raumes: Zhang 75

76 Optimale Fuzzy-Regel-Patchs Ein Beispiel der Interpolation: Zhang 76

77 Optimale Fuzzy-Regel-Patchs Datencluster entlang der Funktion: Zhang 77

78 Optimale Fuzzy-Regel-Patchs Zhang 78

79 Optimale Fuzzy-Regel-Patchs Approximation mit Fuzzy Mengen an den Projektionen der Extremapunkte: Zhang 79

80 Approximation einer zweidimensionalen Funktion z =f (x, y) =3(1 x) 2 e x2 (y+1) 2 10( x 5 x3 y 5 )e x2 y e (x+1)2 y 2 Zhang 80

81 Approximation einer zweidimensionalen Funktion Ableitungen der Funktion: dz dx = 6(1 2 (y+1) 2 x)e x 6(1 x) 2 xe x 2 (y+1) 2 10( 1 5 3x 2 ) e x 2 y ( 1 5 x x 3 y 5 )xe x 2 y ( 2x 2)e (x+1)2 y 2 dz dy =3(1 x)2 ( 2y 2)e x 2 (y+1) y 4 e x 2 y ( 1 5 x x 3 y 5 )ye x 2 y ye (x+1)2 y 2 Zhang 81

82 Approximation einer zweidimensionalen Funktion d dz dx dx 2 =36xe x (y+1) 2 18x 2 e x 2 (y+1) 2 24x 3 e x 2 (y+1) x 4 e x 2 (y+1) xe x 2 y 2 148x 3 e x 2 y 2 20y 5 e x 2 y x 5 e x 2 y x 2 e x 2 y 2 y e (x+1)2 y e (x+1)2 y 2 x e (x+1)2 y 2 x Zhang 82

83 Approximation einer zweidimensionalen Funktion d( dz dy ) = 6(1 x) 2 e x 2 y(+1) 2 + 3(1 x) 2 ( 2y 2) 2 e x 2 (y+1) 2 dy + 200y 3 e x 2 y 2 200y 5 e x 2 y ( 1 5 x x 3 y 5 )e x 2 y 2 40( 1 5 x x 3 y 5 )y 2 e x 2 y e (x+1)2 y y 2 e (x+1)2 y 2 Zhang 83

84 Vereinte Betrachtung aus der statistischen Lerntheorie - I {(x i, y i )} l i=1 seien die Daten oder Beispiele. Gesucht wird eine Funktion f, die die folgende Darstellung minimiert: l H[f ] = 1 l i=1 V (y i, f (x i )) + λ f 2 K wobei V (, ) eine Verlustfunktion und f 2 K eine Norm im Hilbert-Raum H ist, welche von einer positiv definierten Kernfunktion K bestimmt wird, und λ der Regularisierungsparameter ist. Die Probleme in der Modellierung, Datenregression und Musterklassifikation beruhen jeweils auf einer Art von V (, ). Zhang 84

85 Vereinte Betrachtung aus der statistischen Lerntheorie - II 1. V (y i, f (x i )) = (y i f (x i )) 2 (y i R 1, V : Quadratische Fehlerfunktion) Regularization Networks, RN 2. V (y i, f (x i )) = y i f (x i ) ɛ (y i R 1, ɛ : eine ɛ-unempfindliche Norm) Support Vector Machines Regression, SVMR 3. V (y i, f (x i )) = 1 y i f (x i ) + (y i { 1, 1}, x + = x für x 0, sonst x + = 0) Support Vector Machines Classification, SVMC Zhang 85

86 Vereinigte Betrachtung aus der statistischen Lerntheorie - II 1. V (y i, f (x i )) = (y i f (x i )) 2 (y i : eine reelle Zahl, V : Quadratische Fehlerfunktion) Regularization Networks, RN 2. V (y i, f (x i )) = y i f (x i ) ɛ (y i : eine reelle Zahl, ɛ : eine ɛ-unempfindliche Norm) Support Vector Machines Regression, SVMR 3. V (y i, f (x i )) = 1 y i f (x i ) + (y i : -1 oder 1, x + = x für x 0, sonst x + = 0) Support Vector Machines Classification, SVMC Für Modellierungs- und Regelungsaufgaben ist die 1. Definition am wichtigsten. Zhang 86

87 Universelle Funktionsapproximierung - I Ein Regularisierungsnetzwerk kann alle glatten Funktionen beliebig gut approximieren. Die allgemeine Lösung dieses Problems ist: f (x) = wobei c i die Koeffizienten sind. l c i K(x; x i ) i=1 Zhang 87

88 Universelle Funktionsapproximierung - II Proposition der Approximation: Für irgendeine kontinuierliche Funktion Y, die auf einer kompakten Untermenge R n definiert wird und K die Kernfunktionen sind, gibt es eine Funktion y (x) = l i=1 c ik(x; x i ), so dass für alle x und irgendein ɛ gilt: Y (x) y (x) < ɛ Zhang 88

89 Universelle Funktionsapproximatoren Verwendung verschiedener Kernfunktionen führt zu unterschiedlichen Modellen: K(x x i ) = exp( x x i 2 ) K(x x i ) = ( x x i 2 + c 2 ) 1 2 K(x x i ) = tanh(x x i θ) K(x x i ) = (1 + x x i ) d K(x x i ) = B 2n+1 (x x i ) K(x x i ) = sin(d )(x x i) sin (x x i ) 2 Gaussian RBF Inverse Multiquadratische Funktionen Multilagen Perzeptron Polynom vom Grad d B-Splines Trigonometrisches Polynom Zhang 89

90 Probleme 1. Fluch der Dimensionalität durch exponentielle Abhängigkeit des Speicherbedarfs von der Dimension des Eingaberaumes. 2. Aliasing bei der Merkmals-Extrahierung. 3. Nicht vorhandene Soll-Daten (y). 4. Nicht vorhandene Eingangsfaktoren. Zhang 90

91 Lernen aus DJ-Daten Dow-Jones-Index: eine modellierbare Funktion? Zhang 91

92 Beispiel: Bilderbeobachtung in lokalen Szenarien Eine Sequenz von Grauwertbildern über ein Objekt wird durch die Bewegung entlang einer festen Lage erzeugt: Zhang 92

93 Beispiel: Extrahierung von Eigenvektoren Die ersten 6 Eigenvektoren: Zhang 93

94 Beispiel: Eigenvektoren und Eigenwerte Zhang 94

95 Kombination von Dimensionsreduzierung mit einem B-Spline-Model Eigenvektoren können durch Linguistische Terme partitioniert werden. Solche eine Kombination von PCA und B-Spline-Modell kann als ein Neuro-Fuzzy-Modell betrachtet werden. Zhang 95

96 Das Neuro-Fuzzy-Model Zhang 96

97 Die Trainierungs- und Anwendungsphasen Zhang 97