Themenblock: Data Warehousing II

Transkript

1 Themenblock: Data Warehousing II Praktikum: Data Warehousing und Data Mining

2 Agenda Wiederholung: multidimensionale Operatoren Cognos Cognos Report Studio Cognos Analysis Studio Hinweise zur Bearbeitung Praktikum Data Warehousing und Mining 2

3 Zeit Pivotieren Produkt Geographie Produkt Produkt Zeit Geographie Zeit Geographie Praktikum Data Warehousing und Mining 3

4 Roll-up und Drill-down Drill-down Produkt Produkt Januar Quartal Februar Quartal März Quartal Geographie Geographie Roll-up Praktikum Data Warehousing und Mining 4

5 Slicing und Dicing Produkt Produkt Zeit Zeit Geographie Geographie Praktikum Data Warehousing und Mining 5

6 Zusammenfassung: multidim. Operatoren Nutzen multidimensionale Struktur der Daten Erlauben einfache Modifikation von Anfragen zu inhaltlich ähnlichen Anfragen zu strukturell ähnlichen Anfragen Sind auf die Fragestellungen im Data Warehouse zugeschnitten Ergänzen bisher bekannte Operatoren Praktikum Data Warehousing und Mining 6

7 Agenda Wiederholung: multidimensionale Operatoren Cognos Cognos Report Studio Cognos Analysis Studio Hinweise zur Bearbeitung Praktikum Data Warehousing und Mining 7

8 Cognos Ermöglicht Erstellen von Ad-hoc-Anfragen (Query Studio) Berichten (Report Studio) Multidimensionalen Anfragen (Analysis Studio) Backend Data Cube Relationale Daten Anmeldung Internet-Explorer URL: Benutzername: <Benutzername> Passwort: <Passwort> Praktikum Data Warehousing und Mining 8

9 Cognos - Startbildschirm Praktikum Data Warehousing und Mining 9

10 QueryStudio vs. ReportStudio QueryStudio (für einfache Anfrage) In Echtzeit Visuell ReportStudio (für komplexe Berichte) Visuell Ergebnisgenerierung auf Befehl Bedingte Variablen Dynamische Berichte Layout individueller anpassbar AnalysisStudio (für multidimensionale Sicht) In Echtzeit Visuell Praktikum Data Warehousing und Mining 10

11 Agenda Wiederholung: multidimensionale Operatoren Cognos Cognos Report Studio Cognos Analysis Studio Hinweise zur Bearbeitung Praktikum Data Warehousing und Mining 11

12 ReportStudio Erstellen komplexer Berichte vielfältige Ausgabe- und Darstellungsoptionen Parameterabfrage bei Anfrageaufruf Relationale Sicht auf die Daten Praktikum Data Warehousing und Mining 12

13 Aufbau Praktikum Data Warehousing und Mining 13

14 Layout Grundlegende Berichtsstruktur Menge von Seiten Bestimmt Aussehen und Formatierung eines Berichts Seiten Container für Objekte Kopf/Fußzeile Objekte Eigentliche Informationen Typen Listen Pivottabellen Diagramme Praktikum Data Warehousing und Mining 14

15 Abfragen Grundlegende Berichtsstruktur Auf Basis relationaler Anfragesprachen Bilden Grundlage für Berichte Vorgehen Berichterstellung Datenquelle (Package) angeben Berichtsvorlage auswählen Abfrageelemente hinzufügen Speichern und ausführen des Berichts Praktikum Data Warehousing und Mining 15

16 Vorgehen Quelldaten wählen Daten anpassen Abfragen erstellen Aggregate berechnen Daten filtern Daten sortieren Visualisierung wählen Ergebnis speichern Praktikum Data Warehousing und Mining 16

17 Daten einfügen Baumstruktur Enthält Zeichenketten Enthält Werte Oder Sonstiges Einfache Anfragen stellen Drag and drop Baumelemente auf Arbeitsfläche Elemente auf Arbeitsfläche verschieben Praktikum Data Warehousing und Mining 17

18 Menü - Daten bearbeiten Anwendung gängiger SQL-Anweisungen Filtern Sortieren Aggregate berechnen Vorgehen Daten im Arbeitsbereich markieren Funktion anklicken Dialog befolgen Hinweis: Die Funktionen in der Shortcutleiste sind nicht mit den Befehlen hier identisch! Praktikum Data Warehousing und Mining 18

19 Menü - Berechnete Attribute Berechnung neuer Attribute Unterstützte Funktionen Grundrechenarten Runden Abrunden Quadratwurzel usw. Praktikum Data Warehousing und Mining 19

20 Menü - Filter Cognos erkennt, ob Attribut kategorisch Filter auf Menge von Attributwerten oder numerisch Filter auf Wertebereich Optional Ausnahmebehandlung bei fehlenden Werten Praktikum Data Warehousing und Mining 20

21 Sortieren nach mehreren Attributen Sortierung von links nach rechts Modi Menü - Sortieren Einmaliges Anklicken: aufsteigende Sortierung Zweimaliges Anklicken: absteigende Sortierung Dreimaliges Anklicken: Aufhebung der Sortierung Praktikum Data Warehousing und Mining 21

22 Menü - Aggregatfunktion Aggregate über Attribute Wird automatisch eingeblendet Modi Diverse Aggregate Summe Anzahl Durchschnitt Maximum Minimum Ausblenden Praktikum Data Warehousing und Mining 22

23 Menü Struktur ändern Änderung der Darstellungsweise Gruppieren / Gruppierung aufheben Pivotieren Tabelle gemäß eines Attribut unterteilen Liste in Kreuztabelle umwandeln Praktikum Data Warehousing und Mining 23

24 Menü Gruppieren Praktikum Data Warehousing und Mining 24

25 Menü Pivottabelle erstellen Praktikum Data Warehousing und Mining 25

26 Menü Pivotieren Praktikum Data Warehousing und Mining 26

27 Menü Abschnitte erstellen Praktikum Data Warehousing und Mining 27

28 Einfügbare Objekte Diagramm Praktikum Data Warehousing und Mining 28

29 Report Studio Basiswissen I Seiten-Explorer Verwaltung Berichtsseiten Erstellen Anzeigen Manipulieren Neue hinzufügen Dient Strukturierung graphischer Aufbereitung Praktikum Data Warehousing und Mining 29

30 Report Studio Basiswissen II Abfragen-Explorer Abfragen Erstellen Anzeigen Ändern Praktikum Data Warehousing und Mining 30

31 Report Studio Basiswissen III Bedingungs-Explorer Variablen Sichten Verwenden Bedingte Formatierung z.b. Hinterlegung ausgezeichneter Werte Praktikum Data Warehousing und Mining 31

32 Zusätzliche Funktionen vgl. mit Query Studio Automatische Anpassung Bedingte Formatierung Praktikum Data Warehousing und Mining 32

33 Vorgehen Bericht mit Eingabeparametern Entsprechendes Attribut markieren Eingabeaufforderungsseite erstellen anklicken Seite über Seiten-Explorer öffnen Einstellungen über Eigenschaften-Dialog verfeinern Praktikum Data Warehousing und Mining 33

34 Vorgehen Bedingte Formatierung Im Bedingungsexplorer auf Variablen klicken Name eingeben und Typ boolsch auswählen Praktikum Data Warehousing und Mining 34

35 Bedingte Formatierung Ausdrucksdefinition eingeben im Bedingungs-Explorer neue Variable ja auswählen (um festzulegen, was passiert, wenn die Bedingung erfüllt ist) Bedingter Stil: Variable auswählen Hintergrundfarbe wählen Praktikum Data Warehousing und Mining 35

36 Agenda Wiederholung: multidimensionale Operatoren Cognos Cognos Report Studio Cognos Analysis Studio Hinweise zur Bearbeitung Praktikum Data Warehousing und Mining 36

37 AnalysisStudio Aufbau Praktikum Data Warehousing und Mining 37

38 Sicht auf die Daten Blättern in der Hierarchie möglich Ähnlich MDX Tools in SQL Server Unterscheidung zwischen Fakten und Dimensionen Praktikum Data Warehousing und Mining 38

39 Multidimensionale Operationen Rechtsklick auf Spalten bzw. Zeilennamen Kontextmenü erlaubt Drilldown und Drillup Slicing und Dicing (über Ausschließen) Pivotieren analog ReportStudio Entsprechendes Icon im Menü anklicken Praktikum Data Warehousing und Mining 39

40 Agenda Wiederholung: multidimensionale Operatoren Cognos Cognos Report Studio Cognos Analysis Studio Hinweise zur Bearbeitung Praktikum Data Warehousing und Mining 40

41 Hinweise zur Bearbeitung Erreichen der Tools Internet Explorer URL: ReportStudio bevorzugt nutzen Performance! Daten des Data Cubes aus Package: DWM Relational / DWM Multidimensional Ergebnis in Eigenem Ordner speichern Praktikum Data Warehousing und Mining 41

42 Lösungen last.fm Übungsblatt: Preprocessing Lösungen nach Matthias Huber

43 Identifikation relevanter Künstler I Idee: Ausblenden von Künstlern, die von wenigen Nutzern gehört werden Motivation: selten gehörte Künstler sind uninteressant (Ausreißer, ) Praktikum Data Warehousing und Mining 43

44 Identifikation relevanter Künstler II Idee: Kombination der relevanten Künstler mit Tags Motivation: nur so können Tags erhalten bleiben Ergebnis: Liste aller relevanten Künstler + Tags Praktikum Data Warehousing und Mining 44

45 Anzeigen nur relevanter Künstler bei Nutzern Idee: Auch Nutzerdaten sollten nur wichtige Künstler enthalten Praktikum Data Warehousing und Mining 45

46 Lösungen last.fm Übungsblatt: Aufgabe 1 Lösungen nach Matthias Huber

47 Identifikation der Cluster Bisher: Ausreißer eliminiert Idee: Anwenden von k-means Ergebnis: Gleichgroße Cluster Praktikum Data Warehousing und Mining 47

48 Identifikation der Tags Bisher: 10 Cluster bestimmt, mit Band-Häufigkeiten pro Cluster Idee: Identifikation der häufigsten Tags Praktikum Data Warehousing und Mining 48

49 Unsere Erwartungen Ergebnisse ähnlich zu bisherigen Folien Identifikation sinnvoller Clusterzahlen mit alternativem (hierarchischem) Clustering Sinnvolle Benennung der Cluster Text in managerfreundlicher Version Praktikum Data Warehousing und Mining 49

50 Häufige Fehler / Schwächen Ausreißer nicht eliminiert Attribute nicht / unzureichend normiert Designentscheidungen nicht diskutiert Nicht auf Vorteile / Nachteile unterschiedlicher Lösungen eingegangen Praktikum Data Warehousing und Mining 50

51 Lösungen last.fm Übungsblatt: Aufgabe 2 Lösungen nach Matthias Huber

52 Identifikation der häufigsten Künstler Vorgehen: Einfache Aggregation und Bestimmung der häufigsten Künstler Praktikum Data Warehousing und Mining 52

53 Identifikation von Assoziationsregeln Bisher: Identifikation der häufigsten Künstler Jetzt: Bestimmen von Assoziationsregeln Praktikum Data Warehousing und Mining 53

54 Beliebteste Künstler Jetzt: Bestimmen von Assoziationsregeln (hier: mit minsupp = 10%, minconf = 65%) Praktikum Data Warehousing und Mining 54

55 Portishead Jetzt: Vorgehen Analog zu beliebtesten Künstlern, aber: mit minsupp = 1%, minconf = 50% (beide geringer) Praktikum Data Warehousing und Mining 55

56 Unsere Erwartungen Normalisierung der Nutzer Identifikation der Assoziationsregeln Nutzen unterschiedlicher minconf und minsupp Auswahl geeigneter Assoziationsregeln und Begründung Vorschläge für das Management Praktikum Data Warehousing und Mining 56

57 Häufige Fehler / Schwächen Entscheidungen für das Management nicht formuliert / begründet minconf und minsupp nicht variiert minconf zu gering für Cross-Selling Keine / unbegründete Normalisierung der Nutzer Praktikum Data Warehousing und Mining 57

58 Alternativen Identifizierung der Cluster mit hohem Portishead-Anteil Formulierung als Klassifikations- oder Regressionsproblem (auf Basis gehörter Musikrichtungen oder Bands) Einbeziehung des bisherigen Portishead- Hörverhaltens ist sinnvoll

59 Ergebnisse Aufgabe DM II DMC DM II Vorname Name Vortrag Top-X Einzel Gruppe Michael Knoll 1,5 0,20 6,00 6,00 2 Roland Görlitz 1,5 0,17 6,00 6,00 2 Hristina Taneva 1 0,23 6,00 6,00 1,5 Grigor Gyorev 1 0,24 6,00 6,00 1,5 Kirstina Uzunova 1 0,22 6,00 6,00 1,5 Christopher Oßner 1,5 0,21 6,00 5,00 2 Robert Jungblut 1,5 0,15 6,00 5,00 2 Fabian Lehn 1,5 0,46 4,00 5,00 2 Dan Dragan 1,5 0,27 5,00 6,00 2 Tilmann Böhme 2 0,32 5,00 5,00 2,5 Matthias Stumpp 1,5 0,28 5,00 6,00 2 Benjamin Kille 1,5 0,19 6,00 6,00 2 Marcel Noe 2 0,29 5,00 5,00 2,5 DMC DM II Vorname Name Vortrag Top-X Einzel Gruppe Moritz Lapp 2 5,00 2,5 Alexander Turek 1,5 0,43 4,00 6,00 2 Martin Zang 1,5 0,41 4,00 5,00 2 Mirko Wächter 1,5 0,14 6,00 5,00 2 Pierre Weber 1 0,22 6,00 6,00 1,5 Xiajun Feng 1,5 0,45 4,00 5,00 2 Ahmet Göcksel 1,5 0,13 6,00 6,00 2 Mathilde Janin 2 5,00 2,5 Elena Blazheva 1,5 0,33 5,00 5,00 2 Kiril Aleksandrov 1,5 0,33 5,00 5,00 2 Norbert Ottahal 1,5 0,13 6,00 6,00 2 Xiang Lei 1,5 0,31 5,00 6,00 2 Praktikum Data Warehousing und Mining 59

60 Quellenangaben A. Bauer, H. Günzel: Data Warehouse Systeme Architektur, Entwicklung, Anwendung, dpunkt.verlag, Praktikum Data Warehousing und Mining 60