Data Preprocessing II

Transkript

1 Seminar Business Intelligence Data Preprocessing II Sabine Queckbörner DATA PREPROCESSING II Übersicht Reduktion Numerosity Reduction Diskretisierung von Datenwerten Kompression Kompression multidimensionaler Daten 1

2 Reduktion Numerosity Reduction Diskretisierung von Datenwerten Kompression Kompression multidimensionaler Daten Data Cubes verschiedene Abstraktionsebenen Jede Abstraktionsebene reduziert die Größe der resultierenden Daten Die höchste Abstraktionsebene und damit die größte Reduktion, wird mit der Aggregation aller Teilwürfel zu einem Gesamtwürfel erreicht. 2

3 Data Cubes - Beispiel Filiale 4 Filiale 3 Filiale 2 Filiale Ablufttrockner Kondenstrockner Spülmaschinen Waschmaschinen Wieviele Waschmaschinen wurden im ganzen Jahr in den Filialen verkauft? Waschmaschinen Quartal Filiale 4 Filiale 3 Filiale 2 Filiale 1 1 Data Cubes - Beispiel Filiale 4 Filiale 3 Filiale 2 Filiale Quartal Ablufttrockner Kondenstrockner Spülmaschinen Waschmaschinen Wieviele Waschmaschinen wurden im ganzen Jahr in den Filialen verkauft? Filiale 4 Filiale 3 Filiale 2 Filiale 1 1 Waschm. Waschmaschinen Filiale 4 Filiale 3 - Filiale 2 1 Filiale 1 3

4 Reduktion Numerosity Reduction Diskretisierung von Datenwerten Kompression Kompression multidimensionaler Daten Auswahlverfahren: Schrittweise Vorwärtsauswahl Start Lösungsmenge Ausgangsmenge y z x z Auswahl y x Ende y x z 4

5 Auswahlverfahren: Schrittweise Vorwärtsauswahl Schrittweise Rückwärtseliminierung Start Lösungsmenge Ausgangsmenge y z x y z x z y Eliminierung x Ende z y Auswahlverfahren: Schrittweise Vorwärtsauswahl Schrittweise Rückwärtseliminierung Kombination aus beiden Verfahren Start Lösungsmenge Ausgangsmenge z Auswahl x z y y Eliminierung x Ende z y 5

6 Numerosity Reduction Reduktion Numerosity Reduction Diskretisierung von Datenwerten Kompression Kompression multidimensionaler Daten Numerosity Reduktion Histogramme

7 Numerosity Reduktion Histogramme Clustering Numerosity Reduktion Histogramme Clustering Sampling Einfache zufällige Stichprobe ohne Ersetzung Einfache zufällige Stichprobe mit Ersetzung Cluster-Stichprobe Schichtenweise Stichproben

8 Diskretisierung Reduktion Numerosity Reduction Diskretisierung von Datenwerten Kompression Kompression multidimensionaler Daten Diskretisierung Numerische Daten Binning Histogramm - Analyse Cluster - Analyse Segmentierung durch natürliche Partitionierung Regel 8

9 Diskretisierung Regel 3, 6, oder 9 unterschiedliche Werte Bereich in 3 Intervalle (2-3-2 für sieben) aufteilen 2, 4 oder 8 unterschiedliche Werte Bereich in 4 gleichweite Intervalle aufteilen 1, 5 oder 10 unterschiedliche Werte Bereich in 5 gleichweite Intervalle aufteilen Diskretisierung Regel Beispiel:

10 Diskretisierung Regel Beispiel: verschiedene Werte Diskretisierung Regel Beispiel: verschiedene Werte verschiedene Werte

11 KOMPRESSION Reduktion Multidimensionale Daten Numerosity Reduction Diskretisierung von Datenwerten Kompression Kompression multidimensionaler Daten KOMPRESSION Multidimensionale Daten Transformationskodierung Prinzip: Transformation Daten anders darstellen Zum Beispiel Fourier-Transformation, Cosinus- Transformation, Wavelet-Transformation Quantisierung Wertebereich der Bildpunkte einschränken Kodierung Binärkodierung zum Beispiel durch Lauflängenkodierung 11

12 KOMPRESSION Multidimensionale Daten Wavelet-Transformation - Prinzip: 1. Tiefpassfilterung 2. Tiefpassfilterung Ursprungsbild 1.Transformation 2.Transformation Immer kleiner werdende Hochpassanteile und ein einziger Tiefpassanteil KOMPRESSION Multidimensionale Daten Wavelet-Transformation - Beispiel: H1 Dx1 H2 Dx1 Dy1 Dxy1 Dy1 Dxy1 12

13 KOMPRESSION Reduktion Numerosity Reduction Diskretisierung von Datenwerten Kompression Kompression multidimensionaler Daten KOMPRESSION Dictionary-basierte Algorithmen Statistische Kodierer Borrows-Wheeler-Transformation 13

14 KOMPRESSION Dictionary-basierte Algorithmen Statistische Kodierer Borrows-Wheeler-Transformation Zeichenkette umsortieren kodieren KOMPRESSION Dictionary-basierte Algorithmen Statistische Kodierer Borrows-Wheeler-Transformation Zeichenkette umsortieren quadratische Matrix erstellen Zeilen der Matrix alphabetisch sortieren Ausgabe: letzte Spalte Position der Ausgangszeichenkette in sortierter Matrix kodieren 14

15 KOMPRESSION Borrows-Wheeler-Transformation Beispiel: Ausgabe: oohbaallll, 1 KOMPRESSION Borrows-Wheeler-Transformation Beispiel: Eingabe: oohbaallll, 1 B B T F 0 3 B H 1 2 H a 2 4 a l 3 5 a l 4 6 l o 5 l B 6 8 l a 9 l l 8 0 o l 9 1 o o 1 15

16 DATA PREPROCESSING II Zusammenfassung Reduktion,, Numerosity Reduction, Diskretisierung Kompression Multidimensionale Daten und Zeichenketten Vielen Dank 16