Merkmalsequenzen in der Mustererkennung

Transkript

1 Dipl.-Inf. Claus Bahlmann, LMB, Institut für Informatik, Albert-Ludwigs-Universität Freiburg Merkmalsequenzen in der Mustererkennung Dynamic Time Warping-Techniken am Beispiel der On-line Handschrifterkennung Claus Bahlmann Institut für Informatik Albert-Ludwigs-Universität Freiburg 23. Januar 2003

2 Dipl.-Inf. Claus Bahlmann, LMB, Institut für Informatik, Albert-Ludwigs-Universität Freiburg Überblick Einführung Handschrifterkennung Daten- / Merkmalgewinnung in der on-line Handschrifterkennung Dynamic time warping (DTW) Distanz für Merkmalsequenzen Klassifikationstechniken für Merkmalsequenzen Generative Klassifikation CSDTW Cluster generative SDTW Diskriminative Klassifikation SVM-GDTW ein Gauss-DTW-Kern für Support-Vektor-Maschinen (SVM) Anwendung frog on hand CSDTW

3 Dipl.-Inf. Claus Bahlmann, LMB, Institut für Informatik, Albert-Ludwigs-Universität Freiburg 2 Handschrifterkennung Definition Transformation einer Sprache, welche in räumlicher Form von grafischen Markierungen vorliegt, in eine symbolische Repräsentation (Plamondon und Srihari, 2000) [8]

4 Dipl.-Inf. Claus Bahlmann, LMB, Institut für Informatik, Albert-Ludwigs-Universität Freiburg 3 Handschrifterkennung Disziplinen Off-line On-line Erkennungszeitpunkt: nach dem Schreiben während des Schreibens Digitalisierung: Scannen des Bildes Abtasten der Stiftbewegung Datenrepräsentation: 2D-Bild D-Zeitsequenz von 2D-Ortskoordinaten Beispielanwendung: Prozeß- Automatisierung bei Post, Bank, Pen-Computing (PDA, Tablet PC, )

5 Dipl.-Inf. Claus Bahlmann, LMB, Institut für Informatik, Albert-Ludwigs-Universität Freiburg 4 On-line Handschrifterkennung Datengewinnung Umgebung: Digitalisiertablett und (spezieller) Stift (x, y ) (x 2, y 2 ) Vorgehensweise: Abtastung der Ortskoordinaten eines Schriftzugs in zeitlich konstantem Intervall Sequenz von Koordinaten PSfrag replacements (x 4, y 4 ) (x 5, y 5 ) (x 3, y 3 ) (x 6, y 6 ) P = [p,, p N ] = [(x, y ) τ,, (x N, y N ) τ ] (x 9, y 9 ) (x 8, y 8 ) (x 7, y 7 )

6 Dipl.-Inf. Claus Bahlmann, LMB, Institut für Informatik, Albert-Ludwigs-Universität Freiburg 5 On-line Handschrifterkennung Merkmalgewinnung Gewinnung von lage- / skalierungsinvarianten Merkmalen der Koordinatensequenz P = [p,, p N ]: normierte x-koordinate x i = x i µ x σ y normierte y-koordinate ỹ i = y i µ y σ y Tangentensteigungswinkel PSfrag replacements θ i = ang ( i x + i y ) p i+ p i+2 p i p i p i 2 θ i PSfrag replacements p i+ Merkmalvektor t i = ( x i, ỹ i, θ i ) τ Merkmalvektorsequenz T = [ t,, t NT ] p i+2 p i pi p i 2 θ i

7 Probleme: unterschiedlich lange Sequenzen zeitliche Variationen in den Sequenzen Lösungsansatz: Einführung von neuer Zeitachse {,, N} Zuordnungsfunktion Dynamic Time Warping ein Abstandsmass für Merkmalsequenzen Φ : {,, N} ({,, N T } {,, N R }) definiert durch lokale Transitionen Φ = [ φ,, φ N ] Dipl.-Inf. Claus Bahlmann, LMB, Institut für Informatik, Albert-Ludwigs-Universität Freiburg 6

8 Dipl.-Inf. Claus Bahlmann, LMB, Institut für Informatik, Albert-Ludwigs-Universität Freiburg 7 PSfrag replacements Dynamic Time Warping Problemformulierung Warping Distanz: D Φ (T, R) = N n= d ( ) t φt (n), r φr (n) R r NR. r Φ. DTW-Distanz := Viterbi-Distanz: r D (T, R) = D Φ (T, R) = min Φ {D Φ (T, R)} Lokale Distanz: Quadrierte Euklidische Distanz t t 2 t NT T d (t i, r j ) = t i r j 2

9 Dipl.-Inf. Claus Bahlmann, LMB, Institut für Informatik, Albert-Ludwigs-Universität Freiburg 8 Naive Suche: Dynamic Time Warping Algorithmen zur effizienten Berechnung exponentiell viele Pfade!!! scheidet daher aus Dynamische Programmierung: O (c N T N R ) siehe nächste Folie(n) (c = Anzahl lokaler Transitionen) Strahlsuche (beam search): O (c max{n T, N R )} siehe übernächste Folie

10 Dipl.-Inf. Claus Bahlmann, LMB, Institut für Informatik, Albert-Ludwigs-Universität Freiburg 9 r r 2 r Dynamic Time Warping Dynamische Programmierung () NR..... Di,j : Viterbi-Distanz für Vergleich der Präfixe [t,, t i ] und [r,, r j ].... R T Muster R D NT,N R D N T,N R D NT,N R D NT,N R D (T, R) = DN T,N R = d ( ) t NT, r NR + min D NT,N R D NT,N R D NT,N R Muster T Rekursiver, rückwärtsschauender Aufbau der Viterbi-Matrix D Komplexität O (c N T N R )

11 Dipl.-Inf. Claus Bahlmann, LMB, Institut für Informatik, Albert-Ludwigs-Universität Freiburg 0 Dynamic Time Warping Dynamische Programmierung (2) Lokale Distanzmatrix Viterbi-Matrix

12 Dipl.-Inf. Claus Bahlmann, LMB, Institut für Informatik, Albert-Ludwigs-Universität Freiburg DTW in Aktion Matlab-Demo

13 Dipl.-Inf. Claus Bahlmann, LMB, Institut für Informatik, Albert-Ludwigs-Universität Freiburg 2 Dynamic Time Warping Strahlsuche Iteratives Verwalten aktiver Pfadhypothesen Abbruch der Verfolgung von nichtwahrscheinlichen Pfadhypothesen Suboptimales Verfahren Komplexität O (c (N T + N R ))

14 Dipl.-Inf. Claus Bahlmann, LMB, Institut für Informatik, Albert-Ludwigs-Universität Freiburg 3 Strahlsuche in Aktion Matlab-Demo

15 Dipl.-Inf. Claus Bahlmann, LMB, Institut für Informatik, Albert-Ludwigs-Universität Freiburg 4 Statistisches DTW PSfrag replacements Idee Bei bekannten Wahrscheinlichkeitsvert., z.b. R (x) = ( (2π) n Σ exp ) 2 (x µ)τ (Σ) (x µ) t t 2 t NT Φ 3 2 Euklid. Distanz log(klassenbedingte Wkt.) r r 2 0 d (t, r) = t r 2 d (t, R) = log P (t R) = F 2 log (2π) + 2 log ( Σ ) r NR..... PSfrag replacements t R T t 2 t NT Φ Statistisches Modell + 2 (t µ)τ (Σ) (t µ) R = (µ, Σ) r r 2 r NR..... R T

16 Dipl.-Inf. Claus Bahlmann, LMB, Institut für Informatik, Albert-Ludwigs-Universität Freiburg 5 Statistisches DTW Idee (2) DTW-Distanz log(klassenbedingte Wkt.) D Φ (T, R) = N tφt (n) r φr (n) n= D Φ (T, R) = log P (T R, Φ) = = Statistisches Modell N n= N n= 2 d ( ) t φt (n), R φr (n) F 2 log (2π) + 2 log ( ΣφR ) (n) + ( ) τ ( ) ( ) t φt (n) µ φr (n) ΣφR 2 (n) t φt (n) µ φr (n) log ( P φr (n) ( φ) ) R j = ( µ j, Σ j, P j ( φ) )

17 Dipl.-Inf. Claus Bahlmann, LMB, Institut für Informatik, Albert-Ludwigs-Universität Freiburg 6 Warping Distanz: Statistisches DTW Problemformulierung r D Φ (T, R) = N n= d ( ) t φt (n), R φr (n) r 2 r NR R R NR. R Φ. SDTW-Distanz := Viterbi-Distanz: R D (T, R) = D Φ (T, R) = min Φ {D Φ (T, R)} Lokale Distanz: log a-posteriori Wahrscheinlichkeit t t 2 t NT T d (t i, R j ) = log P (t i R j )

18 Dipl.-Inf. Claus Bahlmann, LMB, Institut für Informatik, Albert-Ludwigs-Universität Freiburg 7 Generative Klassifikation Cluster generative SDTW (CSDTW) PSfrag replacements PSfrag replacements Testmuster T t t2 tn T Φ r t t2 tn T Φ r r2 r2 R R 2 Allographenmodelle R lk = R NR [ R lk,, R lk N lk ] rn R..... R T R R2 RN R rn R..... R T R R2 RN R T D R A, R A2, R A3 R Z, R Z2 argmin{ } l l = { argmin D ( T, R lk)} l {,...,L},k {,...,K l }

19 Dipl.-Inf. Claus Bahlmann, LMB, Institut für Informatik, Albert-Ludwigs-Universität Freiburg 8 T l Cluster generative SDTW (CSDTW) Training 2 Schritte für jede einzelne Klasse A bis Z ; A A A A A A A A A A Clustering A A A Parameterschätzung A A A A A A A R A j = R A2 j = R A3 j = ( ( ( µ A j µ A2 j µ A3 j ), Σ A j, Pj A ( φ)), Σ A2 j, Pj A2 ( φ)), Σ A3, P A3 ( φ) j j. Häufungspunktanalyse (Clustering) durch hierarchisches, agglomeratives Verfahren und modifiziertem DTW-Abstand 2. Schätzung der statistischen Parameter R lk iterativem Algorithmus (Viterbi-Training): j = ( ) µ lk j, Σlk j, Pj lk ( φ) (a) berechne neue Zuordnungsfunktion aller Beispiele eines Clusters zu Referenzmodell R lk j (t) (b) schätze neues Referenzmodell R lk j (t + ) entlang der berechneten Korrespondenzen mit

20 Dipl.-Inf. Claus Bahlmann, LMB, Institut für Informatik, Albert-Ludwigs-Universität Freiburg 9 CSDTW in Aktion Matlab-Demo

21 Dipl.-Inf. Claus Bahlmann, LMB, Institut für Informatik, Albert-Ludwigs-Universität Freiburg 20 Zwischenstand Überblick Handschrifterkennung Daten- / Merkmalgewinnung Dynamic Time Warping (DTW) Statistische Erweiterung von DTW (SDTW) Generative Klassifikation mit Cluster generative SDTW (CSDTW)

22 Dipl.-Inf. Claus Bahlmann, LMB, Institut für Informatik, Albert-Ludwigs-Universität Freiburg 2 D argmin{ } R R.. 2. R NR. Schätze klassenbedingte R T l A, R A2, R A3 Wahrscheinlichkeitsdichten P ( X) P (X l) für jede Klasse R Z l, R Z2 P (2 X) D 2. Wähle die Klasseargmin{ } mit der höchsten a-posteriori- Wahrscheinlichkeit mit Hilfe der Bayes-Regel Generative vs. diskriminative Klassifikation P (l T ) = P (T l) P (l) P (T ) P (X ) P (X 2) class conditional density P (X ) P (X 2) T l 0.8 P ( X) P (2 X) posterior probability

23 Dipl.-Inf. Claus Bahlmann, LMB, Institut für Informatik, Albert-Ludwigs-Universität Freiburg 22 Diskriminative Klassifikation Support Vektor Maschine (SVM) Kern: K (T, P ) SVM Klassifikation: ( ) Ŝ (T ) = sign α i S i K (T, P i ) + b i SVM Training: Bestimme α i zur Maximierung der Zielfunktion L D = α i 2 i α i α j S i S j K (P i, P j ) i,j unter den Nebenbedingungen 0 α i C and α i S i = 0 i

24 Dipl.-Inf. Claus Bahlmann, LMB, Institut für Informatik, Albert-Ludwigs-Universität Freiburg 23 Support Vektor Maschine (SVM) Kerne Vektorraumdaten Sequenzen T = (7, 5, 8) τ P = (9, 3, 4) τ P = [7, 5, 5, 8] T = [7, 5, 8] Musterbeispiele Kernbeispiele K(T, P ) Gauss-Kern K (T, P ) = exp ( γ T P 2) Gauss-DTW (GDTW)-Kern K (T, P) = exp ( γd (T, P) )

25 Dipl.-Inf. Claus Bahlmann, LMB, Institut für Informatik, Albert-Ludwigs-Universität Freiburg 24 t 2 t NT Φ r r 2 NR... R T t 2 Ṙ T t NT Φ r r 2 NR... R T t 2 Ṙ T t NT Ṙ T SVM Φ r mit Gauss-DTW-Kern Φ r Φ r r 2 r NR... R T t 2 t NT r 2 r NR Beispiele... R T... t 2 R T t NT r 2 r NR... R T.... t.. t 2 R T t NT Φ r r 2 NR... R T K (T, P j ) = exp ( γd (T, P j )) R R 2 R NR R A2, R A3 R Z, R Z2 R R 2 R NR R A, R A2, R A3 R Z, R Z2 D argmin{ } R R 2 R R R R P R 2 P 2 R 2 P 3 P R 4 P 2 R 2 5 R NR R A, R A2, R A3 R Z, R Z2 D R NR R A, R A2, R A3 R Z, R Z2 D R NR R A, R A2, R A3 R Z, R Z2 D R NR R A, R A2, R A3 R Z, R Z D argmin{ } argmin{ } argmin{ } argmin{ } 2 T l 0 2 T l T l T l R R R NR R 30 NR R R A, R A2, R A3 30 NR R R A, R A2, R A3 30 NR R A, R A2, R A3 30 R NR R A, R A2, R A3 30 R A, R A2, R A3 20 D R Z, R Z D R Z, R Z D R Z, R Z D R Z, R Z D R Z, R Z2 0 D 0 argmin{ } argmin{ } argmin{ } argmin{ } argmin{ } argmin{ } T T l 0 2 T l T l T l T l T l D ( T, P j ) K ( T, P j ) R R 2 R R 2 T l R R

26 Dipl.-Inf. Claus Bahlmann, LMB, Institut für Informatik, Albert-Ludwigs-Universität Freiburg 25 R 2 R NR R A, R A2, R A3 R Z, R Z2 D Multi-Klassen SVM DAG (directed argmin{ } acyclic graph)-svm: Kombiniere K (K... ) /2 Zwei-Klassen-SVMs zu einer K-Klassen-SVM T l vs 4 not not vs 4 not 2 not vs 3 not not vs vs 3 vs 2 2 not 3 not 4 not 2 not 3 not not entnommen aus (Platt, 2000) [9]

27 Dipl.-Inf. Claus Bahlmann, LMB, Institut für Informatik, Albert-Ludwigs-Universität Freiburg 26 SVM-GDTW in Aktion Matlab-Demo

28 Fehlerraten Kleinbuchstaben Verfahren Fehlerrate E UNIPEN Database Type CSDTW [] 9.3 % DAG-SVM-GDTW [2] 2.0 % Train-R0/V07 67 %/33 % Train/Test Train-R0/V07 20 %/20 % Train/Test MLP [7] 4.4 % DevTest-R02/V02 HMM-NN hybrid [3] 3.2 % Train-R0/V07 HMM [5] 4. % Train-R0/V06 4 % bad characters removed Dipl.-Inf. Claus Bahlmann, LMB, Institut für Informatik, Albert-Ludwigs-Universität Freiburg 27

29 Dipl.-Inf. Claus Bahlmann, LMB, Institut für Informatik, Albert-Ludwigs-Universität Freiburg not not 2 not 3 not 4 vs 4 2 vs 4 3 vs 4 vs 3 2 vs 3 vs 2 frog on hand CSDTW Compaq ipaq Anwendung R MHz Intel StrongARM Prozessor (ohne Fließkomma-Arithmetik) 6 MByte Flash-Speicher ( ˆ= Festplatte in PC) 64 MByte RAM System: Embedded Linux Kernel (Familiar Distribution [4]) Oberfläche: Open Palmtop Integrated Environment (OPIE) [6] R R NR R A, R A2, R A3 R Z, R Z2 D argmin{ } T l not not 2 not 3 not 4 vs 4 2 vs 4 3 vs 4 vs 3 2 vs 3 vs 2

30 Dipl.-Inf. Claus Bahlmann, LMB, Institut für Informatik, Albert-Ludwigs-Universität Freiburg 29 frog on hand CSDTW in Aktion Demo

31 Dipl.-Inf. Claus Bahlmann, LMB, Institut für Informatik, Albert-Ludwigs-Universität Freiburg 30 Zusammenfassung Überblick Handschrifterkennung Daten- / Merkmalgewinnung Dynamic Time Warping (DTW) Statistische Erweiterung von DTW (SDTW) Generative Klassifikation mit Cluster generative SDTW (CSDTW) Diskriminative Klassifikation mit Gauss-DTW-Kern und SVMs (DAG-GDTW-SVM) DTW als vielseitig zu verwendendes Abstandsmass für Sequenzen frog on hand CSDTW auf ipaq Andere Anwendungen: Spracherkennung, Robotik, Gensequenzierung

32 Dipl.-Inf. Claus Bahlmann, LMB, Institut für Informatik, Albert-Ludwigs-Universität Freiburg 3 Literatur Literatur [] Claus Bahlmann. A writer independent on-line handwriting recognition system with cluster-based statistical dynamic time warping. URL mailto:bahlmann@informatik.uni-freiburg.de. In Bearbeitung. (document) [2] Claus Bahlmann, Bernard Haasdonk, and Hans Burkhardt. On-line handwriting recognition with support vector machines a kernel approach. In Proc. 8th Int. Workshop Front. Handwriting Recognition (IWFHR), pages 49 54, Niagara-on-the-Lake, Canada, (document) [3] N. Gauthier, T. Artières, B. Dorizzi, and P. Gallinari. Strategies for combining on-line and off-line information in an on-line handwriting recognition system. In Proc. 6th Int. Conf. Doc. Anal. Recognition (ICDAR), pages 42 46, Seattle, WA, 200. (document)

33 Dipl.-Inf. Claus Bahlmann, LMB, Institut für Informatik, Albert-Ludwigs-Universität Freiburg 32 [4] Handhelds.org. URL Linux distribution for Compaq ipaq. (document) [5] Jianying Hu, Sok Gek Lim, and Michael K. Brown. Writer independent on-line handwriting recognition using an HMM approach. Pattern Recognition, 33:33 47, January (document) [6] OPIE (Open Palmtop Integrated Environment). URL Graphical user interface for Linux Compaq ipaq. (document) [7] Marc Parizeau, Alexandre Lemieux, and Christian Gagné. Character recognition experiments using UNIPEN data. In Proc. 6th Int. Conf. Doc. Anal. Recognition (ICDAR), pages , Seattle, WA, 200. (document) [8] Rejean Plamondon and Sargur N. Srihari. On-line and off-line handwriting recognition: A comprehensive survey. IEEE Trans. Pattern Anal. and Mach. Intell., 22():63 84, January (document) [9] J. C. Platt, N. Cristianini, and J. Shawe-Taylor. Large margin DAGS for multiclass classification. In Advances in Neural Information Processing Systems 2. MIT Press, (document)