Data Warehousing und Data Mining

Transkript

1 Data Warehousing und Data Mining Wintersemester 2011 / 2012 Ulf Leser Wissensmanagement in der Bioinformatik

2 Datenbanken und Datenanalyse... Der typische Wal-Mart Kaufagent verwendet täglich mächtige Data Mining Werkzeuge, um die Daten der 300 Terabyte Datenbank zu erforschen [Jim Gray, Computer Zeitung 17/2003] Today, Wal-Mart is logging one million customer transactions per hour and feeding information into databases estimated at 2.5 petabytes in size. [Rogers, Big Data is Scaling BI and Analytics] Fragen Was verkaufen wir wo am häufigsten? Gibt es einen Zusammenhang zwischen der Regalposition und den Umsatzzahlen von Produkten? Wie lange müssen wir Produkt X durchschnittlich lagern und wo? Ulf Leser: Data Warehousing und Data Mining 2

3 Data Warehousing und Data Mining Halbkurs Di, Uhr, RUD 26, Do, Uhr, RUD 26, Übung (Sebastian Wandelt) Do, Uhr, RUD 25, Do, Uhr, RUD 26, Erster Termin: Donnerstag, , Uhr Teilnahme und Bestehen ist Voraussetzung für Prüfung Anmeldung über GOYA Sprechstunde Nach Vereinbarung IV.105, (030) , leser(...)informatik.hu-berlin.de Ulf Leser: Data Warehousing und Data Mining 3

4 Einbettung Voraussetzung: DBS-I Relationales Modell und Algebra ER-Modell Joins, Grundzüge der Anfrageoptimierung SQL Keine Voraussetzung: DBS-II Anrechenbar Diplomhauptstudium, Praktische Informatik Monobachelor Informatik, Wahlpflichtbereich (8SP) Ulf Leser: Data Warehousing und Data Mining 4

5 Inhaltsübersicht 1- Einleitung & Motivation Was ist ein DWH? Architektur & Prozesse Qrtl. Qrtl Qrtl. Qrtl. Konzepte & Komponenten Modellierung von DWH Multimensionale Modellierung OLAP Operationen Umsetzung des multimensionalen Datenmodells Relationale Abbildungen SQL-basierte OLAP-Operatoren MDX Ulf Leser: Data Warehousing und Data Mining 5

6 Inhaltsübersicht Extraction, Transformation Load (ETL) Integrationsprobleme Datenqualität und -bereinigung Indexstrukturen für DWH Bitmap-Index, Join-Index, Multimensionale Indexstrukturen: Gr-File, KD Trees Logische Optimierung Star-Join, Partitionierung Materialisierte Sichten Auswahl, Aktualisierung, Verwendung Qrtl. Qrtl Qrtl. Qrtl. Ulf Leser: Data Warehousing und Data Mining 6

7 Inhaltsübersicht 3- Datenaufbereitung Clustering K-Means, nearest neighbor DBSCAN und BIRCH Klassifikation Decision Trees, Naive Bayes SPRINT, RainForest Assoziationsregeln Warenkorbanalyse, A-Priori Algorithmus Ableitung von Kaufempfehlungen Collaborative Filtering Qrtl. Qrtl Qrtl. Qrtl. Ulf Leser: Data Warehousing und Data Mining 7

8 Literatur Primär Lehner: Datenbanktechnologie für Data Warehouse Systeme, dpunkt.verlag, 2003 Han/Kamber: Data Mining, Morgan Kaufmann, 2006 Weitere Bauer/Günzel: Data Warehouse Systeme, dpunkt.verlag, 2004 Ester/Sander: Knowledge Discovery in Databases, Springer Oehler: OLAP: Grundlagen, Modellierung und betriebswirtschaftliche Grundlagen, Hanser Verlag, 2000 Übersichtsartikel Chaudhuri, Dayal: An Overview of Data Warehousing and OLAP Technology, SIGMOD Record, 1997 Jensen et al. (2010). "Multimensional Databases and Data Warehousing", Morgan & Claypool Publishers. Fayyad: From Data Mining to Knowledge Discovery in Databases, Ai Magazine, 1996 Ulf Leser: Data Warehousing und Data Mining 8

9 Gäste : Prof. Edlich, FHTW, NoSQL Datenbanken : Dr. Dresing, Oracle, Oracle Data Integrator Ulf Leser: Data Warehousing und Data Mining 9

10 Webseite Ulf Leser: Data Warehousing und Data Mining 10

11 Feedback SoSe 2007 Semester Regelmäßiger Besuch Angemessene Stoffmenge Stoff zu Leicht? Nachvollziehbar Fehlende Kenntnisse? Dozent kennt sich aus Gut vorbereitet Engagierter Dozent Zwischenfragen Schnelligkeit Anregender Stil Angemessene Folien Klare Folien Neues gelernt Nutzbringend? Gesamteindruck Übung: Regelmüssig Übung: Schwierigkeit Übung: Motivation DWH & DM 8 2,0 2,0 3,0 2,0 4,0 1,0 2,0 1,0 1,0 2,0 2,0 1,0 2,0 1,0 2,0 2,0 3,0 1,0 DWH & DM 8 2,0 2,0 3,0 1,0 4,0 1,0 1,0 1,0 1,0 2,0 1,0 3,0 2,0 1,0 1,0 1,0 3,0 2,0 DWH & DM 21 1,0 3,0 2,0 2,0 5,0 2,0 2,0 2,0 1,0 4,0 2,0 3,0 3,0 4,0 3,0 2,0 1,0 3,0 2,0 DWH & DM 6 1,0 3,0 3,0 1,0 3,0 1,0 1,0 1,0 1,0 2,0 1,0 3,0 1,0 1,0 1,0 1,0 1,0 3,0 3,0 DWH & DM 6 1,0 2,0 3,0 2,0 3,0 1,0 1,0 1,0 1,0 2,0 2,0 3,0 2,0 1,0 2,0 2,0 1,0 3,0 1,0 DWH & DM 10 2,0 3,0 3,0 2,0 3,0 1,0 3,0 1,0 1,0 2,0 2,0 3,0 2,0 2,0 2,0 1,0 1,0 3,0 2,0 DWH & DM 7 2,0 3,0 3,0 1,0 4,0 1,0 2,0 1,0 1,0 3,0 2,0 3,0 2,0 4,0 2,0 1,0 1,0 3,0 2,0 DWH & DM 10 1,0 3,0 3,0 1,0 3,0 1,0 1,0 1,0 1,0 3,0 1,0 3,0 2,0 2,0 1,0 1,0 1,0 3,0 1,0 DWH & DM 10 2,0 3,0 3,0 1,0 3,0 1,0 2,0 1,0 2,0 1,0 3,0 3,0 4,0 1,0 1,0 1,0 3,0 3,0 3,0 DWH & DM 8 3,0 3,0 3,0 1,0 3,0 1,0 2,0 1,0 1,0 2,0 2,0 2,0 3,0 1,0 2,0 2,0 4,0 3,0 1,0 DWH & DM 6 2,0 2,0 3,0 2,0 4,0 1,0 1,0 1,0 1,0 2,0 2,0 2,0 3,0 1,0 1,0 1,0 3,0 1,0 DWH & DM 6 1,0 2,0 4,0 1,0 2,0 1,0 2,0 2,0 1,0 2,0 2,0 2,0 3,0 1,0 1,0 2,0 1,0 3,0 2,0 DWH & DM 10 1,0 3,0 3,0 1,0 5,0 2,0 1,0 1,0 1,0 2,0 1,0 2,0 1,0 1,0 1,0 1,0 1,0 3,0 1,0 DWH & DM 8 1,0 3,0 3,0 1,0 5,0 1,0 2,0 1,0 1,0 2,0 1,0 3,0 1,0 2,0 1,0 1,0 1,0 2,0 1,0 DWH & DM 8 1,0 3,0 3,0 1,0 4,0 1,0 1,0 2,0 3,0 1,0 3,0 1,0 2,0 2,0 1,0 3,0 2,0 DWH & DM 8 1,0 2,0 3,0 2,0 4,0 2,0 2,0 2,0 1,0 3,0 2,0 3,0 2,0 3,0 2,0 2,0 1,0 2,0 3,0 DWH & DM 2,0 3,0 3,0 2,0 4,0 1,0 2,0 1,0 1,0 3,0 2,0 3,0 2,0 3,0 3,0 2,0 1,0 3,0 3,0 DWH & DM 12 1,0 3,0 3,0 1,0 5,0 1,0 1,0 1,0 1,0 2,0 1,0 3,0 1,0 1,0 2,0 1,0 2,0 1,0 DWH & DM 10 1,0 2,0 3,0 1,0 4,0 1,0 1,0 1,0 1,0 3,0 2,0 3,0 2,0 1,0 1,0 1,0 1,0 3,0 1,0 DWH & DM 8 1,0 2,0 3,0 1,0 5,0 1,0 1,0 1,0 1,0 2,0 2,0 3,0 2,0 1,0 1,0 2,0 1,0 3,0 1,0 DWH & DM 8 1,0 3,0 3,0 1,0 5,0 1,0 1,0 1,0 1,0 3,0 1,0 3,0 1,0 1,0 1,0 1,0 1,0 3,0 1,0 DWH & DM 2,0 3,0 3,0 3,0 5,0 1,0 2,0 1,0 1,0 3,0 2,0 3,0 2,0 2,0 2,0 1,0 2,0 3,0 2,0 Durchschnitt 8,9 1,5 2,6 3,0 1,4 4,0 1,1 1,5 1,1 1,1 2,4 1,7 2,7 2,0 1,7 1,6 1,4 1,4 2,9 1,7 Wunschzahl 1,0 3,0 3,0 1,0 5,0 1,0 1,0 1,0 1,0 3,0 1,0 3,0 1,0 1,0 1,0 1,0 1,0 3,0 1,0 Abweichung -0,5 0,4 0,0-0,4 1,0-0,1-0,5-0,1-0,1 0,6-0,7 0,3-1,0-0,7-0,6-0,4-0,4 0,1-0,7 Ulf Leser: Data Warehousing und Data Mining 11

12 7*Wiederholung gut 3*Stil sehr gut Intuitive Vorkenntnisse formal untermauert 2*Lieber langsamer und tiefer 3*Zu schnell Folien vorher ins Netz Folien gut Zu wenig Interaktion Probeklausur wäre gut Stoff für die Prüfung eingrenzen Zu Oracle-lastig. Mindestens DB2 sollte dazu kommen Zu viel Redundanz mit InfoInt 2*Beispiele gut Teilweise theoretischer Stoff Was wird denn wirklich angewandt? Zu viele Fehler auf den Folien Sehr engagiert Wichtige Aussagen stärker betonen DWH hätte gereicht Korrektur der Folien sehr gut 2*Folien zu voll 2*Zu wenig Praxis, Gastdozent nicht gut Fehlende Praxisnähe wirkt negativ Zu viele Folien, wirkt erschlagend Fazit: "Das machen doch eh alles die Tools, ich werde mein Wissen nie mehr brauchen" Mehr DM, auch in der Übung Feedback Vorlesung Ulf Leser: Data Warehousing und Data Mining 12

13 Feedback Übung 7*Wettbewerb sehr gut 3*Aufgabenstellungen nicht immer klar 2*Guter Umfang, Bezug zur VL immer klar Lösungen vortragen war gut 2*Gruppen zu gross, jeder macht nur eine Aufgabe Blog für Änderungen in den Aufgaben Richtzeiten oder Zwischenergebnisse im Wettbewerb veröffentlichen Lieber Semesterprojekt als Einzelaufgaben Ulf Leser: Data Warehousing und Data Mining 13

14 Fragen Diplominformatiker? Semester? Prüfung? Spezielle Erwartungen? Sonstige Fragen? Ulf Leser: Data Warehousing und Data Mining 14

15 Bücher im Internet bestellen Backup Durchsatz Loadbalancing Portfolio Umsatz Marketing Daten bank Ulf Leser: Data Warehousing und Data Mining 15

16 Die (Spielzeug-)Datenbank dazu year year customer name cust_class discount customer_ productg_ discount line_item order_ product_ amount single_price productgroup name product productgroup_ month Month year_ day day month_ session cust_ day_ time order session_ supply_ total_amount order_status order_ supply_ status supply_station region_ region name Ulf Leser: Data Warehousing und Data Mining 16

17 Fragen eines Marketingleiters Wie viele abgeschlossene Bestellungen haben wir jeweils im Monat vor Weihnachten, aufgeschlüsselt nach Produktgruppen und Promotion? year year customer name cust_class discount customer_ productg_ discount line_item order_ product_ amount single_price name productgroup product productgroup_ month Month year_ day day month_ session cust_ day_ time order session_ supply_ total_amount order_status order_ supply_ status supply_station region_ name region Ulf Leser: Data Warehousing und Data Mining 17

18 SELECT Y.year, PG.name, DI.disc, count(*) FROM year Y, month M, day D, session S, line_item I, order O, product P, productgroup PG, discount DI, order_status OS WHERE M.year_ = Y. and D.month_ = M. and S.day_ = D. and O.session_ = S. and I.order_ = O. and I.product_ = P. and P.productgroup_ customer = PG. and DI.productgroup_ = PG. and name O. = OS.order_ cust_class D.day < 24 and M.month = 12 and OS.status= FINISHED GROUP BY Y.year, PG.name, DI.discount year year ORDER BY Y.year, DI.discount discount customer_ productg_ discount line_item order_ product_ amount single_price Technisch name productgroup product productgroup_ month Month year_ day day month_ session cust_ day_ time order session_ supply_ total_amount supply_station region_ name region order_status order_ supply_ Ulf Leser: Data Warehousing und Data Mining status 18

19 Ergebnis 9 Joins year: month: day: 3650 Records session: order: line_item: order_status: product: productgroup: 100 discount: 50 SELECT Y.year, PG.name, DI.disc, count(*) FROM year Y, month M, day D, session S, line_item I, order O, product P, productgroup PG, discount DI, order_status OS WHERE M.year_ = Y. and D.month_ = M. and S.day_ = D. and O.session_ = S. and I.order_ = O. and I.product_ = P. and P.productgroup_ = PG. and DI.productgroup_ = PG. and O. = OS.order_ D.day < 24 and M.month = 12 and OS.status= FINISHED GROUP BY Y.year, PG.name, DI.discount 10 Records ORDER BY Y.year, DI.discount 120 Records Problem! Schwierig zu optimieren (Join-Order) Ja nach Ausführungsplan riesige Zwischenergebnisse Ähnliche Anfragen ähnlich riesige Zwischenergebnisse Ulf Leser: Data Warehousing und Data Mining 19

20 In Wahrheit... DE FR UK IT AT Ulf Leser: Data Warehousing und Data Mining 20

21 Eine Möglichkeit CREATE VIEW christmas AS SELECT FROM WHERE... ORDER BY UNION ALL... SELECT FROM WHERE... ORDER BY SELECT FROM GROUP BY ORDER BY Y.year, PG.name, DI.disc, count(*) AS o_count FR.year Y, FR.month M, FR.day D, FR.session S, M.year = Y. and Y.year, DI.discount Y.year, PG.name, DI.disc, count(*) AS o_count EN.year Y, EN.month M, EN.day D, EN.session S, M.year = Y. and Y.year, DI.discount year, name, disc, sum(o_count) christmas year, name, disc year, disc Ulf Leser: Data Warehousing und Data Mining 21

22 Probleme Count über Union über verteilte Datenbanken? Heterogenitätsproblem Quellen werden Schemata verändern Länderspezifischer Eigenheiten (MWST, Versandkosten, Sonderaktionen,...) Oftmals verborgene Änderungen in der Semantik der Daten Datenmengenproblem Transport großer Datenmengen durchs Netz Anforderungsmismatch Operative Systeme brauchen die historischen Daten nicht Ziel: Frühes löschen (abgeschlossene Bestellungen) Planung braucht historische Perspektive Ziel: Alles aufheben Ulf Leser: Data Warehousing und Data Mining 22

23 Lösung Heterogenitätsproblem? Zentrale Datenbank Probleme Zweigstellen schreiben übers Netz Lange Antwortzeiten im operativen Betrieb Ulf Leser: Data Warehousing und Data Mining 23

24 Lösung Anfragezeiten? Probleme EN FR DE Schnelle lokale Anfragen Lange Antwortzeiten für strategische Anfragen Heterogenitätsproblem bleibt Ulf Leser: Data Warehousing und Data Mining 24

25 Lösung? A A A Probleme Replikation Replikation Lokale Anfrage arbeiten auf riesigen Tabellen Verzögerung im operativen Betrieb Ulf Leser: Data Warehousing und Data Mining 25

26 Data Warehouse Redundante Datenhaltung Spezielle Modellierung Transformierte und selektierte Daten Asynchrone Aktualisierung Ulf Leser: Data Warehousing und Data Mining 26

27 Inhalt dieser Vorlesung Szenario Definition & Geschichte & Abgrenzung Sichtweisen Typische Anwendungsgebiete Grosse Datenmengen und TPC-H Ulf Leser: Data Warehousing und Data Mining 27

28 Beispielszenario Ein beliebiges Handelsunternehmen Physikalische Datenverteilung Viele Niederlassungen (bis zu mehrere tausend) Noch mehr Registerkassen Aber: Zentrale Planung, Beschaffung, Verteilung Strategische Unternehmensentscheungen Erfordert Zentrale Übersicht über Umsätze, Kunden, Produkte, Integration von Lieferanten-, Kunden-, Produkt-, daten Ulf Leser: Data Warehousing und Data Mining 28

29 Handels - DWH FILIALE 3 FILIALE 1... FILIALE 2 DWH Artikeldaten Analyse Kundendaten Lieferantendaten Ulf Leser: Data Warehousing und Data Mining 29

30 Definition DWH A DWH is a subject-oriented, integrated, non-volatile, and time-variant collection of data in support of management s decisions [Inm96] Subj-oriented: Verkäufe, Personen, Produkte, etc. Integrated: Erstellt aus vielen Quellen Non-Volatile: Hält Daten unverändert über die Zeit Time-Variant: Vergleich von Daten über die Zeit Decisions: Wichtige Daten rein, unwichtige raus Ulf Leser: Data Warehousing und Data Mining 30

31 Geschichte von DWH Managementinformationssysteme (MIS), Decision Support Systeme (DSS), Executive Information Systeme (EIS) Seit den 60er Jahren Feste, programmierte Reports Redundante Datenhaltung sehr teuer dadurch langsam, oft Downtimes für operative Systeme Analysemethoden ungenügend (Data Mining) Schwierig zu bedienen Teuer und unflexibel Schattendasein Ulf Leser: Data Warehousing und Data Mining 31

32 Erfolg von DWH Top-Thema seit Mitte der 90er Jahre Voraussetzungen Extreme Verbilligung von Plattenspeicherplatz Relationale Modellierung: Anwendungsneutral IT in allen Unternehmensbereichen (SAP R/3) Vernetzung und Standardisierung (SQL) Trend zur rationalen Entscheungsfindung im Unternehmen Trend zu interaktiven Anwendungen Aber Vision der vollständigen Integration scheitert bisher (immer wieder aufs neue) Soziale versus technische Aspekte Ulf Leser: Data Warehousing und Data Mining 32

33 Abgrenzung Parallele Datenbanken Blendet Heterogenität aus Laufen auf einem Rechner, keine physikalische Verteilung Ziel: Ausfallsicherheit und Performanceverbesserung Technik zur Realisierung eines DWH Verteilte Datenbanken Gewollte Verteilung zur besseren Lastverteilung Keine physische Integration der Daten (Materialisierung) Ggf. Vorstufe zum DWH Föderierte Datenbanken Höhere Autonomie und Heterogenität Verteilung bleibt erhalten Ulf Leser: Data Warehousing und Data Mining 33

34 Inhalt dieser Vorlesung Szenario Definition & Geschichte & Abgrenzung Sichtweisen Betriebswirtschaftliche Sichtweise Informatiker Sichtweise: OLAP versus OLTP Typische Anwendungsgebiete Grosse Datenmengen und TPC-H Ulf Leser: Data Warehousing und Data Mining 34

35 Betriebswirtschaftliche Sicht Ein DWH Ermöglicht viele neue Fragen Verbessert viele Antworten erheblich... durch... Zugriff auf integrierte Daten Quellen- / Niederlassungsübergreifende Analysen Bessere Datenqualität Fehlerminimierung, Ergänzung, Plausibilitätschecks Korrektur von Fehlern ist im DWH vertretbar, aber nicht in den operativen Systemen (Originaldaten) Anreicherung mit externen Daten Externe Kundenprofile, geographische Daten, Ulf Leser: Data Warehousing und Data Mining 35

36 Informatische Sicht Operative Systeme Kassensysteme, Bestellabwicklung, Lagerverwaltung Viele Benutzer, kurze Transaktionen, einfache Queries Echtzeitanforderungen Kurzes Gedächtnis OLTP (Online Transaction Processing) DWH Sortimentplanung, Kapazitätsplanung, Marketing Wenige(r) Benutzer, komplexe Queries, nur lesend Zeitlich weniger kritisch Historische Daten OLAP (Online Analytical Processing) Ulf Leser: Data Warehousing und Data Mining 36

37 OLTP Beispiel Login Willkommen Bestellung Best. löschen SELECT pw FROM kunde WHERE login=... UPDATE kunde SET last_acc=date, tries=0 WHERE... COMMIT SELECT k_, name FROM kunde WHERE login=... SELECT last_pur FROM purchase WHERE k_= COMMIT SELECT av_qty FROM stock WHERE p_=... UPDATE stock SET av_qty=av_qty-1 where... INSERT INTO shop_cart VALUES( o_, k_, COMMIT DELETE FROM shop_cart WHERE o_=... UPDATE stock SET av_qty=av_qty+1 where COMMIT Ulf Leser: Data Warehousing und Data Mining 37

38 OLAP Beispiel Welche Produkte hatten im letzten Jahr im Bereich Bamberg einen Umsatzrückgang um mehr als 10%? Welche Produktgruppen sind davon betroffen? Welche Lieferanten haben diese Produkte? Welche Kunden haben über die letzten 5 Jahre eine Bestellung über 50 Euro innerhalb von 4 Wochen nach einem persönlichen Anschreiben aufgegeben? Wie hoch waren die Bestellungen im Schnitt? Wie hoch waren die Bestellungen im Vergleich zu den durchschnittlich. Bestellungen des jew. Kunden in einem vergleichbaren Zeitraum? Lohnen sich Mailing-Aktionen? Haben Zweigstellen einen höheren Umsatz, die gemeinsam gekaufte Produkte zusammen stellen? Welche Produkte werden überhaupt zusammen gekauft und wo? Ulf Leser: Data Warehousing und Data Mining 38

39 Modellierung im DWH Modellierung in operativen Systemen: Normalisierung year year month Month year_ day day month_ customer name cust_class session cust_ day_ time discount customer_ productg_ discount line_item order_ product_ amount single_price discount_ order session_ supply_ total_amount order_status order_ supply_ status name productgroup product productgroup_ supply_station region_ name region Modellierung in DWH: Dimensionen und Fakten year region Sachen Hessen Bücher CD Geschenke DVD produktgroup Ulf Leser: Data Warehousing und Data Mining 39

40 OLAP versus OLTP OLTP OLAP Typische Operationen Insert, Update, Delete, Select Select Bulk-Inserts Transaktionen Viele und kurz Lesetransaktionen Typische Anfragen Einfache Queries, Primärschlüsselzugriff, Schnelle Abfolgen von Selects/inserts/updates/deletes Komplexe Queries: Aggregate, Gruppierung, Subselects, etc. Bereichsanfragen über mehrere Attribute Daten pro Operation Wenige Tupel Mega-/ Gigabyte Datenmenge in DB Gigabyte Terabyte Datenart Rohdaten, häufige Änderungen Abgeleitete Daten, historisch & stabil Erwartete Antwortzeiten Echtzeit bis wenige Sekunden Minuten Modellierung Anwendungsorientiert Themenorientiert Typische Benutzer Sachbearbeiter Management Ulf Leser: Data Warehousing und Data Mining 40

41 Inhalt dieser Vorlesung Szenario Definition & Geschichte & Abgrenzung Sichtweisen Typische Anwendungsgebiete Grosse Datenmengen und TPC-H Ulf Leser: Data Warehousing und Data Mining 41

42 Wal Mart Größe Kunden pro Woche, Geschäfte Wal-Mart... will expand its data-warehouse system, which handles 50,000 queries a week, from 7.5 to 24 terabytes. [Info. Week, 1997] At 70 terabytes and growing... [2000, Wes] Terabyte Datenbank [2003, Computerzeitung] Ca. 480 Terabyte (11/04, New York Times) Ca. 2.5 Petabyte (9/11, Information Management Magazine] Datenbank: Teradata, NCR Täglich bis zu DW-Anfragen Die meisten Analysen laufen auf Shop-, nicht auf Kundenebene Überprüfung des Warensortiments zur Erkennung von Ladenhütern oder Verkaufsschlagern Standortanalyse, Rentabilität von Niederlassungen Untersuchung der Wirksamkeit von Marketing-Aktionen Ulf Leser: Data Warehousing und Data Mining 42

43 CRM: Customer Relationship Management Vertriebswege, Vertriebsorganisationen Kundenkäufe, Präferenzen, Kontaktdaten, Reklamationen, Bonität Wer sind Premiumkunden -> Sonderbehandlung Beratungssysteme, Personalisierung, Mailings Amazon Customers who bought X also bought Y Personalisierte Empfehlungen Neuerscheinungen Ulf Leser: Data Warehousing und Data Mining 43

44 Weitere Anwendungsgebiete Controlling & Accounting Kostenstellen, Kostenträger, Kostenarten Bilanzierung Plan Ist Zahlen, Szenarios Kennzahlensysteme Logistik Flottenmanagement Disposition Tracking Finanzen Kreditkartenanalyse Risikoanalysen Fraud Detection Ulf Leser: Data Warehousing und Data Mining 44

45 TPC.ORG: Benchmarks Vergleich der Leistungsfähigkeit von Datenbanken TPC-C OLTP Benchmark TPC-H Ad-Hoc Decision Support (variable Anfragen) TPC-R Reporting Decision Support (feste Anfragen) TPC-W ecommerce Transaktionsverarbeitung [TPC-D Abgelöst durch H und R] TPC-E Neuer OLTP Benchmark TPC-H Vorgegebene Schemata (Lieferwesen) Schema-, Anfrage- und Datengeneratoren Unterschiedliche DB-Größen 100 GB GB - 1 TB - 3 TB Ulf Leser: Data Warehousing und Data Mining 45

46 TPC-H Ergebnisse 3000 GB, 2003 Ulf Leser: Data Warehousing und Data Mining 46

47 TPC-H Ergebnisse 3000 GB, 2007 Ulf Leser: Data Warehousing und Data Mining 47

48 TPC-H Ergebnisse 3000 GB, 2011 Ulf Leser: Data Warehousing und Data Mining 48