Algebraische Statistik ein junges Forschungsgebiet. Dipl.-Math. Marcus Weber

Transkript

1 Algebraische Statistik ein junges Forschungsgebiet Dipl.-Math. Marcus Weber Disputationsvortrag 15. Februar 2006

2 Gliederung 1. Statistische Modelle 2. Algebraische Interpretation statistischer Probleme 3. Der Buchberger-Algorithmus 4. Diskussion bisheriger Resultate 2 Algebraische Statistik

3 1. Statistische Modelle 3 Algebraische Statistik

4 Statistisches Modell Modellierung bedingter Wahrscheinlichkeiten versteckter (H) und beobachtbarer (O) Ereignisse Markov Chain Model H H H H H Hidden Markov Model Tree Model 4 Algebraische Statistik

5 Beobachtung Beispiel: Hidden Markov Model mit O {A, B, C} und H {a, b}. H H H 5 Algebraische Statistik

6 Beobachtung Beispiel: Hidden Markov Model mit O {A, B, C} und H {a, b}. H H H B A B 6 Algebraische Statistik

7 Beobachtung Beispiel: Hidden Markov Model mit O {A, B, C} und H {a, b}. a a a B A B w a B w a a w a A w a a w a B 7 Algebraische Statistik

8 Beobachtung Beispiel: Hidden Markov Model mit O {A, B, C} und H {a, b}. h h h B A B w BAB = w h1 B w h1 h 2 w h2 A w h2 h 3 w h3 B h 1,h 2,h 3 {a,b} 8 Algebraische Statistik

9 Algebraisches Statistisches Modell w BAB = w h1 B w h1 h 2 w h2 A w h2 h 3 w h3 B h 1,h 2,h 3 {a,b} w H H a b a θ 1 θ 2 b θ 3 θ 4 w H O A B C a θ 5 θ 6 θ 7 b θ 8 θ 9 θ 10 p : 2 2,2 3 IR IR 27 9 Algebraische Statistik

10 Algebraisches Statistisches Modell w BAB = w h1 B w h1 h 2 w h2 A w h2 h 3 w h3 B h 1,h 2,h 3 {a,b} w H H a b a θ 1 θ 2 b θ 3 θ 4 w H O A B C a θ 5 θ 6 θ 7 b θ 8 θ 9 θ 10 p : IC 10 IC 27 p i (Θ) ist ein Polynom in Θ = [θ 1,..., θ 10 ]. 10 Algebraische Statistik

11 2. Algebraische Interpretation statistischer Probleme 11 Algebraische Statistik

12 Wahrscheinlichste Pfade w BAB = w h1 B w h1 h 2 w h2 A w h2 h 3 w h3 B h 1,h 2,h 3 {a,b} 12 Algebraische Statistik

13 Wahrscheinlichste Pfade w BAB = w BAB = h 1,h 2,h 3 {a,b} w h1 B w h1 h 2 w h2 A w h2 h 3 w h3 B max w h1 B w h1 h 2 w h2 A w h2 h 3 w h3 B h 1,h 2,h 3 {a,b} 13 Algebraische Statistik

14 Wahrscheinlichste Pfade w BAB = w BAB = l BAB = h 1,h 2,h 3 {a,b} w h1 B w h1 h 2 w h2 A w h2 h 3 w h3 B max w h1 B w h1 h 2 w h2 A w h2 h 3 w h3 B h 1,h 2,h 3 {a,b} max l h1 B + l h1 h 2 + l h2 A + l h2 h 3 + l h3 B h 1,h 2,h 3 {a,b} 14 Algebraische Statistik

15 Wahrscheinlichste Pfade w BAB = w BAB = l BAB = l BAB = h 1,h 2,h 3 {a,b} w h1 B w h1 h 2 w h2 A w h2 h 3 w h3 B max w h1 B w h1 h 2 w h2 A w h2 h 3 w h3 B h 1,h 2,h 3 {a,b} max l h1 B + l h1 h 2 + l h2 A + l h2 h 3 + l h3 B h 1,h 2,h 3 {a,b} h 1,h 2,h 3 {a,b} l h1 B l h1 h 2 l h2 A l h2 h 3 l h3 B 15 Algebraische Statistik

16 Wahrscheinlichste Pfade w BAB = w BAB = l BAB = l BAB = h 1,h 2,h 3 {a,b} w h1 B w h1 h 2 w h2 A w h2 h 3 w h3 B max w h1 B w h1 h 2 w h2 A w h2 h 3 w h3 B h 1,h 2,h 3 {a,b} max l h1 B + l h1 h 2 + l h2 A + l h2 h 3 + l h3 B h 1,h 2,h 3 {a,b} h 1,h 2,h 3 {a,b} l h1 B l h1 h 2 l h2 A l h2 h 3 l h3 B Geschicktes Ausrechnen (Distributiv-Gesetz, Horner-Schema) dieses Polynoms : Viterbi-Algorithmus (Hidden Markov Models), Needlemann-Wunsch-Algorithmus (Sequenz-Alignment-Graph) 16 Algebraische Statistik

17 Modell-Invarianten H H H H H H B A B B A C Zusammenhänge zwischen w BAB, w BAC,..., die unabhängig von der Wahl der Parameter Θ sind, sondern nur das Statistische Modell betreffen? Z.B.: w AAA w BAC = w CCC w CAB 17 Algebraische Statistik

18 Modell-Invarianten p : IC 10 IC 27 w AAA = p 1 (Θ) w AAB = p 2 (Θ). w CCC = p 27 (Θ) 18 Algebraische Statistik

19 Modell-Invarianten p : IC 10 IC 27 0 = w AAA p 1 (Θ) 0 = w AAB p 2 (Θ). 0 = w CCC p 27 (Θ) 27 algebraische Gleichungen mit 37=27+10 Unbekannten. Varietät V. Verfahren: Elimination der 10 Parameter ( Eliminationstheorie ). 19 Algebraische Statistik

20 Parameterschätzung, Log-Likelihood Parameterraum θ p w u Wahrscheinlichkeitsraum 20 Algebraische Statistik

21 Parameterschätzung, Log-Likelihood Maximiere bezüglich Θ die Log-Likelihood-Funktion: 27 L u (Θ) = u i log(p i (Θ)) i=1 Algebraischer Ansatz: Berechne alle kritischen Punkte von L u, auch alle komplexwertigen. 0 = L u(θ) θ j = 27 i=1 u i p i (Θ), j = 1,..., 10. p i (Θ) θ j 21 Algebraische Statistik

22 Parameterschätzung, Log-Likelihood Maximiere bezüglich Θ die Log-Likelihood-Funktion: 27 L u (Θ) = u i log(p i (Θ)) i=1 Algebraischer Ansatz: Berechne alle kritischen Punkte von L u, auch alle komplexwertigen. 0 = L u(θ) θ j = 27 i=1 u i z i p i (Θ) θ j, j = 1,..., 10, 0 = z i p i (Θ) 1, i = 1,..., Algebraische Statistik

23 3. Der Buchberger-Algorithmus 23 Algebraische Statistik

24 Varietäten 0 = p 1 (x 1, x 2,..., x m ) 0 = p 2 (x 1, x 2,..., x m ). 0 = p n (x 1, x 2,..., x m ) V(p 1,..., p n ) IC m 24 Algebraische Statistik

25 Lineare Gleichungssysteme Idee der Gauß-Elimination: Umformung eines linearen Gleichungssystems in ein äquivalentes lineares System einfacherer Gestalt. 0 = 2x 1 5x 2 +3x = 4x 1 +x 2 +x = x 1 x 2 x = x x x = x x = x Algebraische Statistik

26 Idee des Buchberger-Algorithmus Idee des Buchberger-Algorithmus (Buchberger, 1965): Umformung eines algebraischen Gleichungssystems in ein äquivalentes algebraisches System einfacherer Gestalt. 26 Algebraische Statistik

27 Idee des Buchberger-Algorithmus Idee des Buchberger-Algorithmus (Buchberger, 1965): Umformung eines algebraischen Gleichungssystems in ein äquivalentes algebraisches System einfacherer Gestalt. 0 = p(x), 0 = q(x) 0 = p(x) r(x), r K[X 1, X 2,...] 0 = p(x) + q(x). 27 Algebraische Statistik

28 Idee des Buchberger-Algorithmus Idee des Buchberger-Algorithmus (Buchberger, 1965): Umformung eines algebraischen Gleichungssystems in ein äquivalentes algebraisches System einfacherer Gestalt. 0 = p(x), 0 = q(x) 0 = p(x) r(x), r K[X 1, X 2,...] 0 = p(x) + q(x). Varietät eines Ideals: V(F) = V( F ) = V( G ) = V(G) V( 2x 3 5x 2 8x + 20, x 3 + x 2 4x 4 ) = V( x 2 4 ) = {2, 2} 28 Algebraische Statistik

29 Euklidische Ringe Beispiel: Ideal einer Familie F ganzer Zahlen. 198, 108 = ggt (198, 108) = 18. Euklidischer Algorithmus: Größter gemeinsamer Teiler kann durch sukzessive Division mit Rest (wobei der Grad des Restgliedes abnimmt) bestimmt werden. 198 = = = Hauptidealringe: Euklidische Ringe sind Hauptidealringe. Beipiel: Polynomring in einer Variablen mit Grad =höchster vorkommender Exponent des Polynoms. V( 2x 3 5x 2 8x + 20, x 3 + x 2 4x 4 ) = V( x 2 4 ) = {2, 2} 29 Algebraische Statistik

30 Polynomringe mehrerer Variablen Polynomringe in mehreren Variablen sind keine euklidischen Ringe. Sprich: Nicht jedes Ideal wird von einem einzigen Polynom erzeugt. Verallgemeinerte Division mit Rest: Sei F = {p 1, p 2,..., p n } K[X 1, X 2,...] gegeben, dann existiert zu jedem p K[X 1, X 2,...] eine Zerlegung p = a 1 p 1 + a 2 p a n p n + r mit Polynomen a 1,..., a n, r K[X 1, X 2,...]. Und: a i p i 0 mulgrad(p) mulgrad(a i p i ). 30 Algebraische Statistik

31 Gröbner-Basen p = xy 2 x, F = {xy + 1, y 2 1} xy 2 x = y(xy + 1) + 0(y 2 1) +( x y) xy 2 x = x(y 2 1) + 0(xy + 1) +0 Gibt es eine Basis G des Ideals F, so dass der Rest bei verallgemeinerter Division eindeutig bestimmt ist? Antwort ja: Gröbner-Basen. Buchberger-Algorithmus (verallgemeinert Gauß- Elimination und Euklidischen Algorithmus) 31 Algebraische Statistik

32 Buchberger-Algorithmus 0. F Erzeugendensystem eines Ideals. G := F. 1. Erweiterung auf eine Gröbner-Basis: a) Konstruiere Testpolynome aus F (siehe Gauß-Eliminationsschritt) und führe unter G die verallgemeinerte Division durch. b) Ist der Rest jeweils 0, dann ist die Gröbner-Basis ausreichend, gehe zu 2. Andernfalls füge die Nicht-Null-Reste zu G hinzu und wiederhole Normiere die Polynome aus G und reduziere (auf bestimmte Weise) die Gröbner-Basis. 32 Algebraische Statistik

33 4. Diskussion bisheriger Resultate 33 Algebraische Statistik

34 Einige algebraische Resultate Colin Dewey, Peter Huggins, Kevin Woods, Bernd Sturmfels, Lior Pratcher: Sensitivitätsanalyse des parametrisierten Sequenz-Alignments durch Polytop-Algebra. Colin Dewey, Kevin Woods: Biologisch korrektes Alignment, das für keine Parameterwahl des statistischen Modells (Sequenz-Alignment-Graph) optimal ist. Marta Casanellas, Luis David Garcia, Seth Sullivant: Katalog von Eigenschaften kleiner Bäume im Web, Auswahl des richtigen statistischen Modells für phylogenetische Bäume anhand dieser Daten möglich. Sergi Elizade: Few inference functions theorem. 34 Algebraische Statistik

35 Zusammenfassung Statistisches Problem Algebraische Formulierung Lösung wahrsch. Pfade (max,+)-algebra geschicktes Ausklammern Modell-Invarianten Eliminationstheorie Buchberger-Algorithmus Max-Likelihood Varietäten Buchberger-Algorithmus 35 Algebraische Statistik

36 Verwendete Literatur Lior Patcher, Bernd Sturmfels (eds.): Algebraic Statistics for Computational Biology, Cambridge University Press, Oktober Hans J. Stetter: Numerical Polynomial Algebra, Society for Industrial and Applied Mathematics, Philadelhia, David Cox, John Little, and Donal O Shea: Ideals, Varieties and Algorithms. An Introduction to Computational Algebraic Geometry And Commutative Algebra, 2nd ed., Undergraduated Texts in Mathematics, Springer- Verlag, New York, Algebraische Statistik