Risiken bei der Analyse sehr großer Datenmengen. Dr. Thomas Hoppe

Transkript

1 Risiken bei der Analyse sehr großer Datenmengen Dr. Thomas Hoppe

2 Datenaufbereitung Datenanalyse Data Mining Data Science Big Data Risiken der Analyse

3 Sammlung Integration Transformation Fehlerbereinigung Ausreißererkennung

4 Inspektion Visualisierung Deskriptive Analyse Explorative Analyse Hypothesentest

5 überwacht Regression Klassifikation unüberwacht Clustern Mixture Modells Latente Klassen Komplexitätsreduktion

6 Trainigsbeispiele Lernalgorithmus Modell Neue Fälle Vorhersagealgorithmus R

7 CC BY-SA Drew Conway

8 1994 Miramax Films

9 say big data once more 1994 Miramax Films

10 it s just marketing Business Intelligence Web Analytics CC-BY-SA joshjanssen Flickr

11 Unternehmen Airbus S&D Delphi IMM Carmeq Zalando Ebay... Technologie Map-Reduce Hadoop Spark Stratosphere Mahout NoSQL CC-BY-SA Skley Flickr

12 Google Amazon Facebook Ebay Zalando Twitter

13 CC BY-NC-SA monojussi Flickr

14

15 Datensätze Merkmal/Variablen/Feature/Attribute

16 Datensätze/Zeit (Meta-)Merkmal/Raum

17 Datensätze (Meta-)Merkmal

18 Datensätze Hohe Komplexität, Viele Abhängigkeiten Großer Ausschnitt, Hohe Auflösung Merkmal Viele Merkmale Viele Datensätze

19 Datensätze/Zeit (Meta-)Merkmale/Raum

20 CC BY-NC-SA monojussi Flickr

21 Curse of Dimensionality Spurious Correlations Conditioning on a collider Hidden Classes Data Torture

22 CC-BY-SA Adrian J. Hunter Wikimedia

23 CC-BY-SA Adrian J. Hunter Wikimedia

24 CC-BY-SA Adrian J. Hunter Wikimedia

25

26 r

27 V = 2 r d π d/2 d 2 dγ( ) V = (2r) d r lim d V = π d/2 0 V d r (d-1) Γ( d ) 2

28 Idee:

29 Volumen der Hypersphäre mit r=1 Anteil der Hyperspäre am Hyperraum 5 100% 4 80% 3 60% 2 40% 1 20% Dimensionen 0% Volumen Anteil

30 Raum der Hypersphäre wird sehr klein Besteht fast nur Ecken und kaum Mitte Beispiele sitzen fast nur in den Ecken

31

32 Hohe Anzahl von Merkmalen gleichbleibende Anzahl von Beispielen Lernergebnis unzuverlässiger, größere Varianz Lernergebnis gleicher Genauigkeit exponentiell-wachsende Zahl von Beispielen nötig Beispiele liegen fast nur in den Ecken Klassifikation wird schwieriger Potential zur Dimensionsreduktion

33

34 F = feature F = F r F i n = dppd data points per dimension f = F i R = cor(f i ) m= R = f*(f-1)/2 Annahme über Feature F i : unabhängig bestehen aus weißem Rauschen R gaussverteilt, = 0, = 1/(n-1)

35 F = feature F = F r F i n = dppd data points per dimension f = F i R = cor(f i ) m= R = f*(f-1)/2 r R stark korreliert: r < -0.8 oder 0.8 > r p = P(r > a): P normalverteilte Dichtefkt. P( r R: r > a) = 1-[(1-p)^m]

36 f = 150 m = n = 20 a = 0.8 P( r R:r>a) = 93,5% f = 450 m = n = 20 a = 0.9 P( r R:r>a) = 99,6% 3 unechte Korrelationen 4 unechte Korrelationen

37 Korrekturen Merkmale sind mehr als weißes Rauschen Korrelationen sind nicht unabhängig kann etwas > 0 angesetzt werden größere Zahl von Datenpunkten o. Merkmalen Konsequenz Korrekturen neutralisieren sich in der Realität Abschätzung kann als realistisch betrachtet werden

38 f = 20 m = 190 n = 10 a = 0.8 P( r R:r>a) = 79% 2 unechte Korrelationen! CC-BY.reid. Flickr

39 Entdeckung irrelevanter Zusammenhänge garantiert Viele Beispiele nötig Dimensionen besser abgedeckt Beispiele liegen jedoch wiederum in den Ecken Irrelevante, starke Zusammenhänge können relevante, schwächere Zusammenhänge verdecken

40 CC-BY-SA TobTob Flickr

41 CC-BY-SA Skley Flickr

42 If a case being observed is a function of two variables then this will induce an artifactual negative correlation between the variables. This is true even if in the broader population there is no correlation between the variables. CC-BY-SA Tim bates

43

44

45

46 Konsequenz der Unwahrnehmbarkeit Konsequenz unbekannten Auswahlprozesses Potentielles Problem vorhandener Daten Latentes Problem bei nachträglicher Erweiterung der Datenmenge

47

48

49 Ohne Analyse keine sinnvollen Ergebnisse Wissen über den Anwendungsbereich nötig

50 CC BY-NC

51 CC BY-NC

52 CC BY-NC

53 CC BY-NC

54 Daten (aus offenen Quellen) wurden u.u. schon für Analysen genutzt.

55 CC BY-NC-SA monojussi flickr

56 Nicht nur die Daten, die Tools und deren Einsatz zählt, sondern auch das Wissen um die Beschränkungen.