Tensoren in der Datenanalyse

Tensoren in der Datenanalyse Edgar Tretschk Universität des Saarlandes 2. Dezember 2015 1

Inhalt 1 Grundlagen 2 Singulärwertzerlegung 3 Ziffernerkennung 4 Bewegungsabläufe 2

Tensoren als mehrdimensionale Datenarrays Tensor: Verallgemeinerung von Vektoren und Matrizen auf beliebig viele Dimensionen dreidimensionale Tensoren über R: A = (a ijk ) R l m n Ziffernerkennung n verschiedene 16 16-Bilder von Ziffern D R 16 16 n 3

Tensoren als mehrdimensionale Datenarrays Tensor: Verallgemeinerung von Vektoren und Matrizen auf beliebig viele Dimensionen dreidimensionale Tensoren über R: A = (a ijk ) R l m n multipliziere Vektoren der d-ten Dimension von A mit M: A d M Ziffernerkennung n verschiedene 16 16-Bilder von Ziffern D R 16 16 n 4

Frobenius-Norm, Orthogonalität & Untertensoren analog zu Vektoren und Matrizen: inneres Produkt: A, B := i,j,k a ijk b ijk Frobenius-Norm: ( A F := A, A 1/2 = Orthogonalität: A, B = 0 i,j,k a 2 ijk ) 1/2 k-ter (n 1-dimensionaler) Untertensor in der d-ten Dimension (fixiere d-ten Index auf k): S id =k 5

Singulärwert-Zerlegung von Matrizen in Tensorschreibweise betrachte M R m n als Tensor: M = U (1) Σ U (2)T = Σ 1 U (1) 2 U (2) Interpretation: U (1) transformiert Spalten (Vektoren der ersten Dimension) von Σ U (2) transformiert Zeilen (Vektoren der zweiten Dimension) von Σ 6

Singulärwert-Zerlegung von Tensoren A = S 1 U (1) 2 U (2) 3 U (3) Kerntensor S stellt Singulärwerte dar jede Dimension d hat eigene Singulärwerte: k-ter Singulärwert der d-ten Dimension: σ (d) k := S id =k F Ordnung der Singulärwerte einer Dimension d: σ (d) 1 σ (d) 2... σ (d) I d 7

Singulärwert-Zerlegung von Tensoren A = S 1 U (1) 2 U (2) 3 U (3) Kerntensor S stellt Singulärwerte dar jede Dimension d hat eigene Singulärwerte: k-ter Singulärwert der d-ten Dimension: σ (d) k := S id =k F Ordnung der Singulärwerte einer Dimension d: σ (d) 1 σ (d) 2... σ (d) I d S ist nicht diagonal, sondern orthogonal: alle parallelen Scheiben sind paarweise orthogonal 8

Berechnung der Singulärwertzerlgung Matrix-Singulärwertzerlegung für Dimension d: setze: A d = U (d) Σ (d) (V (d) ) T S := A 1 (U (1) ) 1 2 (U (2) ) 1 3 (U (3) ) 1 9

Optimierte Basis für Ziffern (I) wähle Basis (B k ) mit B k := S i3 =k 1 U (1) 2 U (2) erste Reihe: B 1, B 2 und B 3 zweite Reihe: entsprechende Scheiben S i3 =1, S i3 =2 und S i3 =3 Quelle: Eldén, 2007 10

Optimierte Basis für Ziffern (II) erster/größter Singulärwert in dritter Dimension: S i3 =1 wichtigste Richtung aller Ziffern: B 1 größte Abweichungsrichtung von B 1 : B 2 orthogonale Basis robuste Darstellung von Ziffern 11

Darstellung unbekannter Ziffer Z in optimierter Basis Optimierungsproblem via Methode der kleinsten Quadrate: Z n F min z j B j z R n j=1 Ergebnis: z j = Z, B j, j = 1,..., n B j, B j 12

Singulärwertzerlegung von Bewegungsabläufen einzelne Bewegung: Vektor b R w von Gelenkwinkeln zu bestimmten Zeiten n Personen führen m verschiedene Bewegungsarten aus: R n m w M 13

Singulärwertzerlegung von Bewegungsabläufen einzelne Bewegung: Vektor b R w von Gelenkwinkeln zu bestimmten Zeiten n Personen führen m verschiedene Bewegungsarten aus: R n m w M = S 1 P P enthält die Personenparameter (Signatur) p i jedes Individuums i p T 1 p T n p T P = 2. 14

Singulärwertzerlegung von Bewegungsabläufen einzelne Bewegung: Vektor b R w von Gelenkwinkeln zu bestimmten Zeiten n Personen führen m verschiedene Bewegungsarten aus: R n m w M = S 1 P 2 A P enthält die Personenparameter (Signatur) p i jedes Individuums i, A die Bewegungsparameter a j jeder Bewegungsart j p T 1 a T 1 p T P = 2., A = a T 2. p T n a T m 15

Singulärwertzerlegung von Bewegungsabläufen einzelne Bewegung: Vektor b R w von Gelenkwinkeln zu bestimmten Zeiten n Personen führen m verschiedene Bewegungsarten aus: R n m w M = S 1 P 2 A 3 J P enthält die Personenparameter (Signatur) p i jedes Individuums i, A die Bewegungsparameter a j jeder Bewegungsart j und J die Eigenbewegungen p T 1 a T 1 p T P = 2., A = a T 2. p T n a T m 16

Basis für Bewegungsarten Bewegungsbasis für Bewegungsart j: A j := S 2 a T j 3 J 17

Basis für Bewegungsarten Bewegungsbasis für Bewegungsart j: A j := S 2 a T j 3 J Linearkombination der Zeilenvektoren von A j gemäß p i liefert Instanz b i,j der Bewegungsart j für Person i: b i,j = p T i A j 18

Bewegungssynthese zu neuer Person u neue Person u führt Bewegungsart j aus: b u,j löse nach Signatur p u auf: b u,j = p T u A j 19

Bewegungssynthese zu neuer Person u neue Person u führt Bewegungsart j aus: b u,j löse nach Signatur p u auf: b u,j = p T u A j gemäß p u synthetisierte Bewegungen für Person u: S 1 p T u 2 A 3 J k-ter Vektor der dritten Dimension des Tensors entspricht b u,k 20

Basis für Personen Bewegungsbasis für Person i: P i := S 1 p T i 3 J 21

Basis für Personen Bewegungsbasis für Person i: P i := S 1 p T i 3 J Linearkombination der Zeilenvektoren von P i gemäß a j liefert Instanz b i,j der Bewegungsart j für Person i: b i,j = a T j P i 22

Bewegungssynthese zu neuer Bewegung v bekannte Person i führt neue Bewegungsart v aus: b i,v löse nach Signatur a v auf: b i,v = a T v P i 23

Bewegungssynthese zu neuer Bewegung v bekannte Person i führt neue Bewegungsart v aus: b i,v löse nach Signatur a v auf: b i,v = a T v P i gemäß a v synthetisierte Bewegungen für Bewegungsart v: S 1 P 2 a T v 3 J k-ter Vektor der dritten Dimension des Tensors entspricht b k,v 24

Haarlose Personen sind synthetisierte Versionen der anderen Quelle: Vasilescu, Human motion signatures: Analysis, synthesis, recognition, 2002. 25

Anhand von Treppensteigen synthetisierte Laufbewegung Quelle: Vasilescu, Human motion signatures: Analysis, synthesis, recognition, 2002. 26

Quellen I Eldén, L. Matrix methods in data mining and pattern recognition. Volume 4, Society for Industrial and Applied Mathematics (SIAM), Philadelphia, PA, 2007. De Lathauwer, Lieven and De Moor, Bart and Vandewalle, Joos. A multilinear singular value decomposition. SIAM Journal on Matrix Analysis and Applications, 21(4):1253 1278, 2000. Vasilescu, M Alex O. Human motion signatures: Analysis, synthesis, recognition. 16th International Conference on Pattern Recognition. Proceedings, 3:456 460, 2002. 30

Vielen Dank für Ihre Aufmerksamkeit! 31