Agenda. Themenblock: Data Preprocessing. Gründe für Data Preprocessing. Data Mining Projekt - Zeitaufwand. Data Preprocessing SPSS Clementine

Transkript

1 Themenblock: Data Preprocessing Praktikum: Data Warehousing und Data Mining Praktikum Data Warehousing und Mining 2 Data Mining Projekt - Zeitaufwand Problemspezifikation: 20% Was ist das Problem? Wie sollte das Ergebnis aussehen? Formale Spezifikation Finden von Wissen: 80% Datenbeschaffung Datenaufbereitung (Data Preprocessing): 60% Data Mining Evaluierung Weiterführende Massnahmen Vgl.: Vorlesung Data Mining for Business Applications ; M. Spiliopoulou Gründe für Data Preprocessing Daten sind oft Unvollständig Einzelne Attributwerte fehlen Enthalten Aggregate statt tatsächlicher Werte Verunreinigt Enthalten Fehler Besitzen Ausreißer Inkonsistent Namen / IDs in Relationen unterschiedlich In unterschiedlichen Quellen Integration notwendig In ungeeigneter Form für die Weiterverarbeitung Praktikum Data Warehousing und Mining 3 Praktikum Data Warehousing und Mining 4

2 Vorarbeiten Data Preprocessing Analyse der Daten Betrachtung der Daten NULL-Werte Mathematische Verfahren Mittelwert Median Skewness Varianz / Standardabweichung Verteilung Histogramm Plot Web Praktikum Data Warehousing und Mining 5 Arten von Data Preprocessing Data Cleaning Auffüllen fehlender Werte Bearbeitung von Ausreißern / fehlerhaften Werten Data Transformation Skalierung von Attributwerten Umstrukturierung Data Reduction Aggregation Reduktion der Attributwerte Dimensionsreduktion Praktikum Data Warehousing und Mining 6 SPSS Clementine - Struktur Praktikum Data Warehousing und Mining 7 Praktikum Data Warehousing und Mining 8

3 SPSS Clementine - Aufbau Fokus auf Datenstrom (Stream) Tupel entstehen in Quelle Tupel werden modifiziert Tupel enden an Senke des Tools Menü (oben): Speichern und Laden Arbeitsbereich (mitte): Modellierung des Datenstroms Modellbereich (unten): Komponenten des Datenstroms Outputbereich (rechts): Abgeleitete Modelle Vorgehen bei Modellierung Pseudocode 01 Erstellen Datenquelle 02 WHILE Ergebnis nicht erreicht DO 03 Graphische Analyse der Daten 04 WHILE Idee vorhanden DO 05 Komponente vom Modellbereich in Arbeitsbereich 06 Komponenten mit existierenden Komponenten verbinden (mittlere Maustaste) 07 Eigenschaften der Komponenten bearbeiten 08 END DO 09 END DO 10 Einfügen einer Datensenke 11 Ergebnis speichern Praktikum Data Warehousing und Mining 9 Praktikum Data Warehousing und Mining 10 Gruppen von Komponenten Sources Unterstützt verschiedene Formate (hier: primär Var. File) Record Ops Field Ops Operationen auf Attributwerten Graphs der Daten Modelling Data Mining Modelle Output Ausgabe Sowohl in Dateien, als auch in Tabellen Praktikum Data Warehousing und Mining 11 Praktikum Data Warehousing und Mining 12

4 Datenquellen Datenquellen Var. File (I) Database ODBC Schnittstelle zu anderen Datenquellen Var. File (Fokus hier) Dateien mit Einträgen variabler Länge + Trennzeichen Standardbeispiel: CSV-Dateien Fixed File Dateien mit Einträgen fixer Länge ohne Trennzeichen Excel File Dateien des bekannten Anbieters für Officelösungen User Input Manuelle Eingabe von Daten Interessant bei der Erstellung synthetischer Testdaten Struktur der Dialoge (allgemein) Bereich mit Inhalt Menüreiter Buttons Eingabe einer Datei Dateireiter ( File ) Angabe der Quelldatei Einlesen der Attributnamen aktivieren (oder deaktivieren) ( Read field names from file ) Angabe der Trennzeichen ( Delimiters ) Praktikum Data Warehousing und Mining 13 Praktikum Data Warehousing und Mining 14 Datenquellen Var. File (II) Reiter: Data Datentypen werden automatisch erkannt Mit Reiter Data Änderungen möglich Reiter: Filter Ausblenden einzelner Attribute möglich Reiter: Types Bestimmung endgültiger Datentypen Angabe in Spalte Type Bestimmung des Wertebereichs über Read Values Plot Visualisierung Visualisiert Beziehungen zwischen numerischen Werten Distribution Zeigt Auftreten kategorischer Werte Histogramm Zeigt Auftreten numerischer Werte Multiplot Visualisiert mehrere numerische Y Werte in Abhängigkeit von einem numerischen X Wert Web Zeigt Beziehungen zwischen zwei oder mehreren kategorischen Werten Praktikum Data Warehousing und Mining 15 Praktikum Data Warehousing und Mining 16

5 Graphs - Plot Visualisiert einzelne Tupel Bis zu drei numerische Attribute angebbar Formatierung der Datenpunkte abhängig von weiteren Attributen Nutzen Finden von Korrelationen Finden von Clustern Finden von Ausreisern Praktikum Data Warehousing und Mining 17 Praktikum Data Warehousing und Mining 18 Graphs - Distribution Zeigt die Verteilung von kategorischen Attribute Darstellung von Anzahl und Prozentsatz Nutzen: Finden von Ausreißern Finden von unterrepräsentierten Attributwerten Welchen Nutzen hat man von der Kenntnis unterrepräsentierter Attributwerte? Graphs - Histogramm Zeigt die Verteilung numerischer Attribute Verteilung abhängig von kategorischem Attribut möglich Darstellung der Anzahl Prozentsatz interpretierbar Nutzen Finden von Ausreisern Finden der Verteilung Erkennen von Tupelcharakteristika Praktikum Data Warehousing und Mining 19 Praktikum Data Warehousing und Mining 20

6 Graphs - Webs Visualisiert Beziehungen zwischen zwei kategorischen Attributen Dicke Verbindungslinie zwischen häufig auftretenden Attributwertkombination Nutzen Frequent Itemsetz erkennbar Beziehungen auffindbar Praktikum Data Warehousing und Mining 21 Praktikum Data Warehousing und Mining 22 Operationen auf Tupelebene Select Selektion von Tupeln Sample Sampling von Tupeln Aggregate Aggregieren von Tupeln Sort Sortieren von Tupeln Merge Verbund über zwei Tupelmengen Append Vereinigung zweier Tupelmengen Distinct Entfernen redundanter Tupel Selektion von Tupeln Record Ops - Select Entspricht Selektion in relationalen Datenbanken Grosse Menge an Funktionen anwendbar Praktikum Data Warehousing und Mining 23 Praktikum Data Warehousing und Mining 24

7 Record Ops - Sample Wählt eine Teilmenge der Tupel aus Verschiedene Kriterien möglich Erste n Tupel Jedes n. Tupel Zufällige n Tupel Nutzen Reduktion der Tupel für Weiterverarbeitung Record Ops - Aggregate Aggregation von Tupeln Angabe von Schlüsselwerten entspricht Group By in relationalen Datenbanken Berechenbare Aggregate: Summe Mittelwert Minimum Maximum Standardabweichung Praktikum Data Warehousing und Mining 25 Praktikum Data Warehousing und Mining 26 Record Ops - Sort Sortieren der Tupel Verschiedene Sortierattribute wählbar Record Ops - Merge Verbund zweier Tabellen über Verbundattribute Wichtig: Vorher Attribute umbennen: Verbundattribute müssen identisch, andere unterschiedlich sein Verbundmodi Inner Join Outer Join Partial Outer Join Anti-Joind Praktikum Data Warehousing und Mining 27 Praktikum Data Warehousing und Mining 28

8 Record Ops - Append Vereinigung zweier Tupelmengen Wichtig: Tupelmengen müssen Vereinigungskompatibel sein Vereinigungsmodi Abhängig von Attributposition Abhängig von Attributname Record Ops - Distinct Sucht Teilmenge von Tupeln mit identischen Schlüsseln Vorsicht: Nicht-Schlüssel Attributwerte entsprechen Attributwerten des ersten gefundenen Tupels Praktikum Data Warehousing und Mining 29 Praktikum Data Warehousing und Mining 30 Operationen auf Attributebene Type und Filter Entsprechen den gleichnamigen Reitern bei Var. Source Derive und Filler Ermitteln zusätzliche Attribute bzw. Attributwerte Binning Transformieren numerische in kategorische Werte Partition Erstellen von Partitionen Restructure Umstrukturierung der Werte Transpose Entspricht Pivotisieren bei Cognos History Bestimmt die letzten n Werte eines Attributs Field Order Ändert die Reihenfolge der Attribute Praktikum Data Warehousing und Mining 31 Praktikum Data Warehousing und Mining 32

9 Ableiten eines neuen Attributs Modi Formel Zähler Field Ops - Derive Field Ops - Filler Ersetzt einzelne Attributwerte wenn diese Condition erfüllen durch Replace with: Zieltyp wählbar Praktikum Data Warehousing und Mining 33 Praktikum Data Warehousing und Mining 34 Diskretisiert einzelne Attribute Methoden Feste Breite Anzahl Anzahl der Bins spezifizierbar Field Ops - Binning Field Ops - Partition Unterteilung der Daten in Trainings und Testdatensätze Vorgehen: Einfügen eines zusätzlichen Attributs Attribut hat Wert entsprechend zugehörigem Tupel Nutzen: Wichtig beim Data Mining! Praktikum Data Warehousing und Mining 35 Praktikum Data Warehousing und Mining 36

10 Erstellt neue Attribute auf der Basis kategorischer Attributwerte Field Ops - Restructure Für jeden Wert in Create restructured fields wird neues Attribut erzeugt Wert des neuen Attributs ist Wert in Value field Field Ops - History Erstellt n neue Attribute Füllt neue Attribute mit den Vergangenheitswerten des in Selected fields spezifizierten Attributs Praktikum Data Warehousing und Mining 37 Praktikum Data Warehousing und Mining 38 Table Ausgabe in Tabelle Matrix Ausgabe einer Matrix Flat File Ausgabe in Textdatei Excel Ausgabe der Ergebnisse Ausgabe in Exceldokument Praktikum Data Warehousing und Mining 39 Praktikum Data Warehousing und Mining 40

11 Output - Table Ausgabe einer Tabelle mit allen Daten Output - Matrix Matrix Darstellung von Informationen Interessant bei kategorischen Attributen Zählt Anzahl übereinstimmender Werte Einsetzbar zum Finden der Anzahl von False Positives, False Negatives! Praktikum Data Warehousing und Mining 41 Praktikum Data Warehousing und Mining 42 Output Flat File Speichern des Ergebnisses in einer Textdatei Trennzeichen und Anführungszeichen spezifizierbar Praktikum Data Warehousing und Mining 43 Praktikum Data Warehousing und Mining 44

12 Processor Cache Lokalität Cache Beispiel: Eine Anwendung generiert 180 Mill. Speicherzugriffe Latenzzeit des Speichers: 50ns Cache ist 20mal schneller Memory Zugriffsdauer: Ist kein Cache verfügbar: 9 Sekunden 20% der Daten im Cache: 7.29 Sekunden (Verbesserung: 19%) 90% der Daten im Cache: 4.95 Sekunden (Verbesserung: 56%) Eigenschaften Cache Speicher Schneller Pufferspeicher zwischen Prozessor und Hauptspeicher Oftmals in Hierarchien eingesetzt Hauptzweck: Mittlere Zugriffszeit auf den Hauptspeicher senken Prinzip: Ausnutzen von Lokalitätseingenschaften zeitliche örtliche Praktikum Data Warehousing und Mining 45 Praktikum Data Warehousing und Mining 46 Cache Aufbau Cache-Blöcken werden in Sätze eingeteilt Assoziativität: Anzahl der Blöcken pro Satz Beispiel: 2-Weg Cache Satz 0 Satz 1 Block 0 Block 1 Block 0 Block 1 Cache Ereignisse Laden: ein Datenblock wird in einen leeren Cacheblock angelegt Replacement: ein Datenblock im Cache wird von einem anderen verdrängt Hit: gebrauchtes Datenobjekt wird in Cache gefunden Miss: Datenobjekt ist nicht in Cache Arten von Fehlzugriffen Cold Miss: Fehlzugriff beim erstmaligen Laden eines Datenblocks. Capacity Miss: Fehlzugriff, da Block aufgrund eines zu kleinen Cache-Speichers zuvor verdrängt worden ist. Conflict Miss: Fehlzugriff durch eine vorhergehende Verdrängung des aktuell zugegriffenen Blocks. Praktikum Data Warehousing und Mining 47 Praktikum Data Warehousing und Mining 48

13 Speicherlokalität auf DSM-Multiprozessor Sys. DSM: distributed shared memory Architektur Processor L1 cache L2 cache Memory L3 cache. Shared (virtual) memory Interconnection network Processor L1 cache L2 cache Memory L3 cache Praktikum Data Warehousing und Mining 49 Lokale vs. Entfernte Zugriffe Lokale Zugriffe Zugriffe auf lokalen Hauptspeicher Entfernte Zugriffe Zugriffe auf die Hauptspeicher anderer Prozessoren Ein entfernter Zugriff ist um Größenordnung langsamer Bis zum 40-Fach Optimierung Daten auf Prozessoren so verteilt, dass jeder Prozessor die meisten Daten lokal bekommt Praktikum Data Warehousing und Mining 50 Quellenangaben J. Han und M. Kamber: Data mining : concepts and techniques, Morgan Kaufmann, M. Spiliopoulou: Vorlesung Data Mining for Business Applications, Vielen Dank für Eure Aufmerksamkeit! Praktikum Data Warehousing und Mining 51