Statistik trifft Big Data. Univ. Prof. Dr. Andreas Futschik IFAS, JKU

Transkript

1 Statistik trifft Big Data Univ. Prof. Dr. Andreas Futschik IFAS, JKU

2 It is a breathtaking time in science as masses of data pour in, promising new insights. But how can we find meaning in these terabytes? To search successfully for new science in large datasets, we must find unexpected patterns and interpret evidence in ways that frame new questions and suggest further explorations. Frankel & Reid, Nature (2008)

3 Von Terabyte zu Petabyte zu Exabyte zu Zetabyte im Internet

4 Big Data bei CERN 600 mio. Teilchenkollisionen pro Sekunde im LHC Datenzentrum verarbeitet ca. 1 Petabyte pro Tag

5 EBAY 50TB Daten über Kundenverhalten pro Tag Speichervolumen an Daten ca. 100 PB

6 Genomics Human Genome Project: 3 Milliarden $ Celera-Shotgun sequencing: 300 Mio. $ Illumina-HiSEQ: $1,000 human genome. Sequenzierexperiment dauert heute Stunden bis Tage Pro Lauf bis zu 1Tb an reads

7 Was sind Big Data? Die größten zur Zeit (nicht notwendigerweise öffentlich) verfügbaren Datensätze (Lior Pachter, Berkeley) Big data is an all-encompassing term for any collection of data sets so large and complex that it becomes difficult to process using traditional data processing applications. (Wikipedia) Aus Sicht der Statistik: Datensätze bei denen wir mit den bisherigen Analyseverfahren an Grenzen stoßen (Rechenaufwand, Methodik, etc.)

8 Big Data gestern, heute und morgen Was man unter Big Data versteht unterliegt einem raschen historischen Wandel

9 Big Data & Statistik: neue Mehr Daten -> mehr Information -> mehr Erkenntnisse (?) Ungewöhnliche Fälle treten in großen Datensätzen häufiger auf Möglichkeit der statistischen Analyse von Ausreißern: NNNN 1 auch für kleines p, wenn N sehr groß ist. Ausreißer werden dann zu heterogener Subpopulation. Möglichkeiten

10 Big Data & Statistik: neue Möglichkeiten Hochdimensionale Daten ermöglichen das simultane Untersuchen vieler potentieller Einflussfaktoren bzw. Zusammenhänge Neue Erkenntnisse durch Zusammenführen von Daten aus verschiedenen Quellen Bessere Prognosen durch Berücksichtigung der Heterogenität von Populationen (z.b. personalized medicine)

11 Big Data & Statistik technische Menge an Daten technisches Handling Gängige Analyseverfahren werden oft zu langsam numerisch instabil Herausforderungen

12 Big Data & Statistik methodische Manche methodische Probleme sind unabhängig vom Datenumfang Statistische Methoden basieren oft auf Annahmen und Approximationen - Anwendung in neuem Umfeld u.u. problematisch Probleme

13 Schlecht gewählte Stichproben--mehr ist nicht unbedingt nicht besser Vorhersage des Ausgangs der amerikanischen Präsidentschaftswahlen basierend auf 10 Mio. ausgesandten Fragebögen Das Literary Digest Desaster I Prognose vom Landau gewinnt Wahlen mit 370 von 531 Wahlmännerstimmen

14 Das Literary Digest Desaster II Tatsächlicher Ausgang vom ; Roosevelt gewinnt mit über 60% der Stimmen Lehren daraus mehr Daten sind nicht unbedingt besser Beginn der neuen Meinungsforschung Niedergang von Literary Digest: 1938 Fusion mit Zeitschrift Review of Reviews Bald darauf völlige Einstellung

15 Falsche Modelle liefern keine guten Ergebnisse (unabhängig von der Menge an vorhandenen Daten) Liber de ludo aleae (veröffentlicht 1663) Grundprinzipien der Wahrscheinlichkeitsrechnung Hat der Legende nach seinen eigenen Todestag vorhergesagt Cardano ( )

16 Zufallskorrelation I Wenn viele Variablen zur Auswahl stehen ergeben sich auch rein zufällig hohe Korrelationen. Beispiel n=50 Beobachtungen zu p=10 3, bzw unabhängigen N(0,1) Zufallsvariablen Z 1,,Z p. Betrachten: mmmmmm jj 2 ρρ (ZZ 1, ZZ jj ) mmmmmm SS =5 ρρ (ZZ 1, ZZ SS )

17 Quelle: J. Fan (2014) Zufallskorrelation II

18 Korrelation und Kausalität Korrelation ist nicht gleichbedeutend mit Kausalität: How nutritional risk is assessed and managed in European hospitals: A survey of 21,007 patients findings from the cross-sectional nutritionday survey. (Schindler, Pernicka et al. (2010)) Prognose versus Verstehen von Kausalzusammenhängen

19 Multiples Testen Several hypothesis tests: R rejections, F false rejections FWE: P(R>0) < α (nn > pp) FDR: E(F/R) < α (pp > nn) Q-Wert, q i (empirischer) Bayes Schätzer für E(F/R)), falls bei allen Tests mit p Werten p i abgelehnt wird (p nn)

20 Eigene Beiträge: Multiples Testen On the Optimum Number of Hypotheses when the Number of Observations is Limited. Futschik & Posch (2005) A uniform improvement of Bonferroni type tests by sequential tests. Posch & Futschik (2008)

21 Eigene Beiträge: ABC (Approximate Bayesian Computation) Tavare et al. (1995), Beaumont et al. (2002), Beaumont and Rannala (2004)

22 Anwendung zur Schätzung der demographischen Geschichte von Ibex in der Schweiz

23 Ergebnisse Modular ABC Inference: Aeschbacher, Futschik, Beaumont(2013) Choice of summary statistics via boosting: Aeschbacher, Beaumont, Futschik (2012)

24 Eigene Beiträge: Random Perturbation Effizientes Schätzen der Maximalstelle der a- posteriori Verteilung und/oder des MLE mittels eines random perturbation Verfahrens Gem. mit J. Bertl, G. Ewing, C. Kosiol Anwendung u.a. auf Warteschlangensysteme ABC

25 Eigene Beiträge: Multiresolutionsverfahren I

26 Eigene Beiträge: Multiresolutionsverfahren II Elhaik et al. (2010) Futschik, Hotz, Munk, Sieling (2014)

27 Weitere Beiträge mbic (with A. Baierl, M. Bogdan, F. Frommlet et al ) Continent-wide response of mountain vegetation to climate change. (Gottfried et al: Nature Climate Change (2012)) Vielen Dank!