Institut für Medizinische Informatik. Technische Universität Braunschweig

Transkript

1 Data Warehouse Dipl. Inform.. Maik Plischke Technische Universität Data Warehouse Definition gemäss W.H. Inmon A Data Warehouse is a subject- oriented, integrated, time-variant and nonvolatile collection of data in support of managements Decision support process. 1

2 Entstehung Anfang der 80er: Erste Projektversuche: Data Supermarket Super Database 1988: internes Projekt von IBM European Business Information System (EBIS) 1991: umbenannt in Information Warehouse Strategy Entstehung Ziel von EBIS: Konzepte für f r Produkte, Mechanismen und Vorgehensweisen zur Überwindung der Heterogenität t und Bewältigung der Informationsexplosion 2

3 Entstehung Ziel der Information Warehouse Strategy: Versorgung autorisierter Einzelpersonen mit zuverlässigen, zeitrichtigen, genauen und verständlichen Geschäftsinformationen aus allen Geschäftsbereichen zum Zwecke der Entscheidungsunterstützung tzung Hintergrundproblematik Informationen als unternehmerische Ressource Richtige Informationen zum richtigen Zeitpunkt am richtigen Ort Ineffizienz in der Informationslogistik: 95% Liege- und Wartezeit, 5% Verarbeitungszeit Schwächen chen relationaler Datenbanken bei der Durchführung hrung multidimensionaler betriebswirtschaftlicher Analysen Flache, zweidimensionale Tabellenstruktur Unterschiedliche Sichtweisen auf denselben Datenbestand ist sehr aufwendig 3

4 Hintergrundproblematik Forderung an die Informationslogistik Minimierung der Informationsdurchlaufzeiten Optimierung der Informationsbestände Informationsverfügbarkeit Just in time Idee: Zentraler Daten- und Informationspool als Basis einer adäquaten betrieblichen Informationsversorgung Wunsch nach für f r Produkte, Mechanismen und Vorgehensweisen zur Überwindung der Heterogenität t und Bewältigung der Informationsexplosion Data Warehouse Definition als Informationslager Erlaubt die Analyse und den Vergleich operativer, historischer und externer Daten Erlaubt die Berechnung von Prognosen Macht interne wie externe Trends sichtbar Dient der Unterstützung tzung von Entscheidungen in allen Unternehmensebenen 4

5 Data Warehouse Stellt eine vom operativen Bereich losgelöste, ste, homogene und konsistente Datenbasis bereit (Trennung von operativen und entscheidungsunterstützenden tzenden Systemen) Quellen dieser Datenbasis sind: Im Unternehmen vorhandene DV-Anwendungen und Datenerhaltungsysteme sowie Externe Daten, zum Beispiel aus Online-Diensten, dem Internet oder elektronische Presse-Ausschnitte Data Warehouse Strukutur und Umfang der Datenbasis in einem Data Warehouse besitzen ein spezifische Form, die Die Verfügbarkeit entscheidungsrelevanter Informationen in bedarfsgerechter Form gewährleistet Die grundsätzliche Analysierbarkeit der Daten sichert 5

6 Data Warehouse Eigenschaft:Themenbezug Operationelle Systeme Kontoeröffnung Kreditabwicklung Führungsinstrumente Wertschriftenverwaltung Operationelle Systeme sind prozessorientiert und werden durch ein System verwaltet Data Warehouse CRM Customer Relationship Management Risiko Management Das Data Warehouse ist themenbezogen und erhält Daten von vielen opertionalen Systemen. Die Daten werden nach dem betriebswirtschaftlichen Umfeld des Unternehmens organisiert. Data Warehouse Eigenschaft: : Integration Operationelle Systeme Data Warehouse Anwendungsspezifisch Integriert Anwendungen und Datenbanken wurden unabhängig voneinander erstellt EntwicklungübereinelangeZeit Integration von Beginn an Designed zu Beginn, Implementation iterativ in kurzer Zeit Integration aus verschiedenen Systemen 6

7 Data Warehouse Eigenschaft: Zeitabhängigkeit Operationelle Systeme Data Warehouse Normalerweise aktuelle Daten Generell historischer Bezug Zeitreihenanalysen Data Warehouse Eigenschaft: Beständigkeit einfügen Operationelle Systeme ändern Data Warehouse hinzufügen ersetzen löschen Laden / Hinzufügen Ständiger Wechsel stetiger Update Änderungen nach Bedürfnis und nicht nach Plan Konsistent zu einer bestimmten Zeit auf ein Data Warehouse wird nur lesend zugegriffen 7

8 Operative und strategische Planung Operative Planung Ausschöpfung vorhandener Erfolgspotentiale operative Daten Strategische Planung Aufbau langfristiger Erfolgspotentiale strategische Daten Operative Datenbank (Produktionsdatenbank) Datenbank, die operative Geschäftsvorg ftsvorgänge aufzeichnet, indem sie Einzeldaten in häufigen Transaktionen in Echtzeit laufend vollständig und redundanzarm fortschreibt Telekommunikation, Handel und Banken sind transaktionsintensive Branchen mit bis zu bis Tansaktionen pro Minute Quelle: [Lusti, 1999] 8

9 Mängel von operativen Datenbanken Operative Entscheidungen Datenanalyse Operative Datenbanken sind unübersichtlich (originäre Detaildaten) momentbezogen (keine historischen Periodendaten) benutzerfeindlich (SQL oder 3GL-Kenntnisse) Data Warehouse Data Warehouses... sind analytische Datenbanken die Berichtsgeneratoren Abfrage- und Analysewerkzeuge zur Verfügung stellen Sie dienen... Managern zur Entscheidungsunterstützung nachträglichen Monitoring von Entscheidungen Spezialisten zum Data Mining 9

10 Operative vs. Analytische Datenbanken Schwerpunkt Produktions- Data datenbank Warehouse Daten operativ Daten vollständig Daten detailliert Daten redundanzarm (fortschreibungsfreundlich) Daten änderungsintensiv Schlüssel i.d.r. natürlich meist Auswahlabfragen Abfragen häufig h ad hoc Daten strategisch Daten periodenbezogen Daten oft abgeleitet (v.a. zusammenfassend) endbenutzerorientiert Schlüssel i.d.r. künstlich k Data Warehouse Merkmale eines DW 1. Orientierung an unternehmensbedingten Sachverhalten (subject( subject-oriented) 2. Zeitraumbezug (time( time-variant) 3. Struktur- und Formatvereinheitlichung (integrated) 4. Permanenz (nonvolatile( nonvolatile) 10

11 Data Warehouse 1. Orientierung an unternehmensbedingten Sachverhalten (subject( subject-oriented): Ableitung relevanter Informationen aus den Unternehmensdaten aus unterschiedlichen Dimensionen für f r den Entscheidungsträger ger Dimensionen (Bsp.): Unternehmensstruktur, Produktstruktur, Regionalstruktur, Kundenstruktur, Zeitstruktur, betriebswirtschaftliche Kenngrößen und deren Ausprägung Data Warehouse 2. Zeitraumbezug (time( time-variant) Operative Systeme: Zeitpunktbetrachtungen Trendanalysen (Zeithorizonte bis zu 15 Jahren) Impliziter oder expliziter Bestandteil im DW Herstellung eines Zeitraumbezuges zu den entsprechenden Daten und Datensätzen, tzen, Zeitmarken 11

12 Data Warehouse 3. Struktur- und Formatvereinheitlichung (integrated) Lösungen für f r Daten aus heterogenen und proprietären ren Rechnerarchitekturen, Datenredundanzen und Inkonsistenzen sowie semantische Inkonsistenzen Data Warehouse 13. Mai 12/7/ Fr, KW14/00 12

13 Data Warehouse 4. Permanenz (nonvolatile( nonvolatile) Volatilität: t: Grad, mit dem sich Daten iim Laufe der normalen Nutzung ändern Keine Korrektur enthaltener Daten Keine Aktualisierungen oder Veränderungen Architektur 13

14 Architektur Operative Daten Externe Daten Daten Ladeprozess Auswahl Transformation Integration Data Warehouse Einzelheiten Zusammenfassungen Metadaten Information Endbenutzerzugriff Zugriffswerkzeuge Berichtsgenerator Zweidimensionale Abfrage Mehrdimensionale Abfrage (OLAP) Data Mining... Entscheidung Textdokument 14

15 Architektur Architektur Online-Transaction Transaction-Processing Schicht OLTP-Systeme Systeme: Informationsysteme zur Unterstützung tzung der eigentlichen Geschäftsprozesse: Bsp: Finanzbuchhaltung, Lagerverwaltung, Materialwirtschaft, Warenwirtschaft Meist gewachsene IT-Strukturen Realität: t: Extraktion der Daten aus unterschiedlichen Sytemen 15

16 Architektur Architektur Import-Schicht Daten aus OLTP-Systeme müssen selektiert, transformiert und bereinigt werden Tools zur Zusammenfassung der Funktionen Extraktion, Transformation und Loading (ELT-Tools) Daten aus operativen Systemen werden extrahiert und semantisch vereinheitlicht: m und Meter für Längenmaß muss automatisch erkannt und vereinheitlicht werden 16

17 Architektur Transformation interner und externer Daten in thematisch strukturierte Informationsdatenbanken Gründe für f r Transformationen auch der operativen Daten Anfragen/ Analysen erfordern oft Einbeziehung erheblicher Datenmengen; dadurch starke Behinderung operativer Systeme Form und Zusammenhänge der op. Daten sind zweckbestimmt nicht unmittelbar für Analysezwecke nutzbar Data Warehouse Daten aus internen und externen Quellen werden konsolidiert,, d.h. Bereinigt Gefiltert Umcodiert Sortiert Ggf. vorverdichtet Und anschließen in das DW eingestellt Extraktion, Umformatierung und Umstrukturierung der Daten für f r ein DW erfolgt mit Hilfe spezieller Software- Werkzeuge und in regelmäß äßigen zeitlichen Abständen 17

18 Architektur Architektur DW - Schicht Zentrale Datenhaltungskomponente (mehrere Terabyte) Metadatenbank enthält betriebswirtschaftliche und DV-technische Informationen über den Datenbestand des DW, Bearbeitung von Anfragen und zur Navigation im Datenbestand Data-Mart Mart: : Sub- oder Teilsystem des DW 18

19 Architektur Struktur eines DW ist themenorientiert (d.h. bezogen auf die Struktur des Unternehmens, seine Prozesse etc.) Sachverhalte können k z.b. unter zeitlichen, räumlichen oder bezogen auf spezielle Produkte und deren Varianten betrachtet werden Zeit, Raum, Produkte etc. sind sog. Dimensionen im DW. (In der Praxis: Dimensionen) Architektur Dimensionen legen Struktur und Klassifizierung der Daten fest Dimensionen haben verschiedene Grade der Detaillierung (Verdichtungsebenen/Aggregationsebenen) Aggregationsebenen der Dimension Zeit sind z.b. Tag Quartal Jahr Jahrzehnt 19

20 Architektur Aggregationsebenen der Dimension Raum sind z.b. Stadt Großraum Region Filialen Aggregationsebenen der Dimension Produkt sind z.b. Verpackung Preis Versandform Vertriebsweg Architektur Unterste Aggregationsebene ist jene Darstellung der Daten, die sich nicht weiter aufschlüsseln sseln lässtl Wahl der AE und ihrer untersten Ebene beeinflusst entscheidend das Datenvolumen und damit den Ressourcenbedarf des DW Vor der Einrichtung des DW müssen m alle Erkenntnisinteressen definiert sein; hieraus leiten sich die Dimensionen und AE ab (Auseinandersetzung mit den Unternehmensprozessen erforderlich!) 20

21 Architektur Grundsätzlich auch verzicht auf AE möglich, m d.h. Berechnung erwünschter Zusammenhänge nge erst aufgrund konkreter Anfrage Einbußen bei Komfort (Schnelligkeit der Abfrage, Einfachheit etc.); somit Verlust entscheidender Vorteile eines DW Einschub: Data Mart DM Datenbanken operativer Systeme DM DM Data Mart (DM): lokales Data Ware House, das sich auf die Daten eines Funktionsbereichs, einer Abteilung, einer Arbeitsgruppe, einer komplexen Anwendung beschränkt. 21

22 Einschub: Data Marts Vorteile Entwicklungskomplexität t kleiner Endbenutzerbeteiligung wahrscheinlicher Flexibilität grösser Datenmodell einfacher Abfrageeffizienz grösser Probleme Skalierbar? Integrierbar in Enterprise Data Warehouse? Redundanz kontrollierbar? Data Marts untereinander konsistent? Entwicklungs- und Wartungskosten tragbar? Einschub: Metadaten Kern des Data Warehouse: : Metadaten Enthalten alle Informationen über seinen Inhalt und seine Struktur Steuern den gesamten Prozess der Datenlogistik Enthalten Automatismen für f r die freie Navigation und das Drill-Down Down Definieren zulässige Verknüpfungen und Verwendungen von Daten als Grundlage für f r ihre (mehrdimensionale) Auswertung Geben Benutzer Überblick, wie das DW aufgebaut ist und wo sich welche Informationen befinden 22

23 Einschub: Metadaten Meta-Daten im Informationskatalog: Welche Daten gibt es? Wo befinden sie sich? In welcher Form existieren sie? Wer ist dafür verantwortlich? Wann war das letzte Update? Welche Werkzeuge ermöglichen mir den Zugriff? Wie kann ich einen Bericht erzeugen? Wo ist die Information, die ich brauche? Data Warehouse Einschub: Metadaten Load Query Source Storage Meta-Datenverwaltung 23

24 Architektur Architektur Analyse- und Präsentationsschicht Eindimensionale Auswertung mittels SQL Betrachtung multidimensionaler Daten aus verschiedenen Blickwinkeln OLAP (Online Analytical Processing) Systeme stellen unterschiedliche Sichten aus denselben Daten schnell und flexibel bereit und organisieren die Daten logisch in Würfeln Erkennen von unbekannten Zusammenhängen ngen in großen Datenmengen mittels Data Mining Methoden 24

25 Architektur Art und Weise der Auswertung und Visualisierung der Informationen sind abh. Von den spezifischen Anforderungen des Unternehmens In der Regel: Mischung aus vordefinierten Reports und dem freien Navigieren in Datenbeständen Einsatz von grafischen Präsentationswerkzeugen für die Darstellung der Auswertungsergebnisse Textdokument 25

26 Einschub: OLAP OLAP (Online Analytical Processing): Dynamische Auswertung der Daten OLAP-Werkzeuge ermöglichen insbesondere: Mehrdimensionale Sichten auf die Daten ohne zusätzliche Programmierung Stufenweises Erschließen en immer höhere h here Detaillierungsgrade (Drill( Drill-Down) Zugriff auf Datenbanken und andere Datenquellen Einschub: OLAP Nach CODD et al. (1993) existieren für f r OLAP 12 Evaluationsregeln 1. Mehrdimensionale konzeptionelle Perspektiven 2. Transparenz 3. Zugriffsmöglichkeit 4. Stabile Antwortzeiten bei der Berichtserstattung 5. Client/Server Architektur 6. Grundprinzipen der gleichgestellten Dimensionen 26

27 Einschub: OLAP Nach CODD et al. (1993) existieren für f r OLAP 12 Evaluationsregeln 7. Dynamische Verwaltung dünnbesetzter Matrizen 8. Mehrbenutzerfähigkeit 9. Unbeschränkte kreuzdimensionaler Operationen über Dimensionen hinweg 10. Intuitive Datenmanipulation 11. Flexibles Berichtswesen 12. Unbegrenzte Dimensions- und Aggregationsstufen Einschub: OLAP FASMI-Test: Dieser Test nennt 5 Kriterien, um zu entscheiden, ob ein Produkt ein OLAP-Produkt Produkt ist FAST: Antworten innerhalb weniger Sekunden ANALYSIS: Betriebswirtschaftliche und statistische Analysen, ad-hoc Berechnungen ohne Programmierkenntnisse SHARED: Mehrbenutzerbetrieb, Zugriffsrechte,... MULTIDIMENSIONAL: Die Kern-Anforderung für OLAP INFORMATION: Verarbeitung aller relevanter Informationen, unabhängig vom Umfang und Inhalt Quelle: Stand

28 Einschub: OLAP Vielfältige ltige OLAP-Anwendungen: Anwendungen: Beispiele Finanz- und Rechnungswesen Absatz Beschaffung Produktion Personalwesen... Kurzfristige Erfolgsrechnung Jahresabschlussanalyse Cash Flow - Analyse Soll-/Ist /Ist-Vergleiche Produkt- und Kundenvergleiche Qualität des Kundendienstes Bestandsanalysen Lieferfristenüberwachung Kapazitätsanalysen tsanalysen Qualitätskontrolle Personalverwaltung Mitarbeiterqualifikationen 28

29 Einschub: OLAP benutzerfreundliche Abfrage mit... Drilling Down and Up Zusammenfassung und Detaillierung entlang einer Dimension Drilling Through Detailzugriff auf operative Datenbanken (meist über vordefinierte SQL-Anweisungen) Drilling Across Zugriff auf mehrere Data Marts Filtern Werteauswahl Slicing and Dicing Dimensionsauswahl 29

30 Einschub: OLAP Verschiedene Sichten auf die Daten werden durch Drehen des Würfels W erzeugt. Je nach benötigter Sicht wird eine Tabelle als zweidimensionale Darstellung der Daten erzeugt Rotation = Drehen des Würfels Slicing = Auswählen einer bestimmten Scheibe der dritten Dimension Dicing = Einschränken der Dimension Präsentation mittels grafischer Oberflächen Export für f r z.b. Excel 30

31 31

32 Slicing (in Scheiben schneiden) Auswahl eines kleineren Würfels oder Reduktion der Dimensionen in einem mehrdimensionalen Würfel Branche Bank Zeit 1995 Zweidimensionale Darstellung als Tabelle: Nordamerika Europa Asien Bank Biotechn Computer Nordamerika Europa Asien Bank Biotechn Computer Computer Biotechnologie Nordamerika Europa Asien Region 1996 Dicing (würfeln) Rotation der Resultate um andere Sichten zu zeigen, z.b. Anzeigen anderer Dimensionen Austausch von Zeilen und Spalten (auch Pivoting) Branche Region Bank Nordamerika Biotechnologie Zeit Europa Zeit Computer Asien Nordamerika Europa Asien Region Bank Biotechnologie Computer Branche 32

33 Dicing Dicing (Dimensionswahl): Änderung der angezeigten Dimension mit Drag and Drop einer Dimension der horizontalen Leiste über dem Anzeigefenster Beispiel: Drag and Drop der neuen Dimension Firmensitz (Country of HQ) in die horizontale oder vertikale Titelleiste des Anzeigebereichs ersetzt die alte Dimension Fiskaljahr Pivoting tauscht Zeilen und Spalten Pivoting: Zeilen und Spalten tauschen (besondere Form des Dicing) Beispiel: Tausch der Dimensionen Branche und Firmensitz 33

34 Visualisierung Dreidimensionale Visualisierung Grafische Veranschaulichung eines Indikators und zweier Dimensionen Beispiel: Indikator Jahresertrag Dimensionen Branche und Firmensitz Filtern beschränkt die angezeigten Werte Beispiel: Unternehmungen mit einem Jahresertag von < oder 100 Mio 34

35 Einschub: Data-Mining Data-Mining Oberbegriff für f r Methoden und Techniken zur Aufdeckung unbekannter Zusammenhänge nge der Daten Aufspürung von Datenmustern Interpretation und Visualisierung von Mustern Einschub: Data Mining Data Mining ist nicht: Data Warehousing Ad hoc Anfragen / Reportgenerierung Online Analytic Processing (OLAP) Datenvisualisierung Software Agenten 35

36 Beispiel Handelsunternehmen Vorhersagen: Database Marketing Marketing auf Basis kundenindividueller Informationen in einer Kundendatenbank gespeicherter Informationen Beispiel: Aus Daten früherer Werbemassnahmen werden die Personengruppen ermittelt, denen man ein Leistungsangebot gezielt unterbreiten kann Mustererkennung: Typisches Kundenverhalten Daten aus Verkäufen Kundeninformationen (z.b. über Kundenkarte) Einkäufe (Produkte, Mengen, Daten) Frage: Welche (scheinbar unabhängigen) ngigen) Produkte werden oft zusammen gekauft? Nutzung des Wissens: Verkaufsanordnung des Sortiments (Beispiel: "Windeln und Bier") Cross-Selling Beispiel aus der Automobilindustrie Daten über 7-10 Jahre Historie für f r ca Fahrzeuge Fahrzeugdaten (Produktionsdaten; Daten über Motor, Getriebe,...) Beanstandungen (Schadensteil, Schadensart,...) Werkstattaufenthalte Frage: Wie kann man das Auto zuverlässiger machen? Mustererkennung: Suche in Datenbank nach möglichen m Gründen für r Ausfälle mögliche Umsetzung des Wissens: Änderung in Konstruktion Wechsel des Zulieferers Kundendienst: vorbeugende Wartung usw. 36

37 Weitere Anwendungsbeispiele Betrugserkennung Beispiel: Erkennung typische Muster zur Identifikation von Kreditkartenbetrug. Kreditbeurteilung Identifikation von Kriterien für Kreditwürdigkeit von Kunden Lebensversicherung Analyse von Daten früherer Verträge zur Identifikation von Fällen, die ohne oder mit geringem Risiko akzeptabel sind. Warum Data Mining? Vereinfachung und Automatisierung statistischer Prozesse Datenanalyse Anwendung der Modelle Bessere, verständlichere Modelle Nicht bekannte Zusammenhänge nge können erkannt werden 37

38 Data Warehouse Einsatz von Data Warehouses im Marketing: Database Marketing Custom Relationship Management Efficient Consumer Response Category Management Data Warehouse Einsatz von Data Warehouses im Marketing: Database Marketing Custom Relationship Management Efficient Consumer Response Category Management 38

39 Customer Relationship Management Dipl. Inform.. Maik Plischke Technische Universität Motivation Integrationsbarrieren zwischen IS des Marketings, Vertriebs und Service Unterschiedliche Kommunikationskanäle für r die zu integrierende Kundenkontaktpunkte Vollständige Abbildung des Kunden- Feedback-Kreislaufs bzw. Einordnung der Kunden über den Kundenwert in den Customer-Life Life-Cycle 39

40 Integrationsbedarf im CRM Entwicklung des CRM Wegfokusierung Rückfokusierung Massenmarketing Markttransparenz Kundenwechsel Service Abgrenzung Kundenbindung 40

41 Inhalte des CRM Aufbau, kontinuierliche Pflege und Kontrolle von profitablen Kundenbeziehungen Kerndedanke des CRM Konzeptentwicklung des CRM Datenbank aktualisieren Konzept bewerten Kundendaten erfassen (Data Warehouse) IT-Unterstützung Matching (Kundenbearbeitung) Profiling der Nutzerprofile 41

42 Komponenten eines CRM-Systems Front Office Data Ware House Back Office Kommunikationskanäle (Kontakt, Mailing, Telefon, Internet, WAP, TV) Konkrete Maßnahmen im Marketing, Verkauf und Service umsetzen Datenbestand und Optimierungserkenntnisse für Marketing, Verkauf... Kommunikatives CRM Operatives CRM Analytisches CRM Metadatengetriebende Datenbewirtschaftung Kunden Konto Adresse Externe Daten Bonität Herkunft Fakten Produkte Artikel Sortiment Aktionsware Organisation Filiale Mitarbeiter 42

43 Prozessintegration von Analysen und Kampagnen Data Access Segmentierung nach Kundenwert Analysen Hypothesen erstellen On-Line Analytical Processing Kundenverhalten analysieren Erstellen neuer Prognose- oder Klassifikationsmodelle auf Grundlage von analytischen Hypothesen Kampagne Steuerung der Kundenansprache Kundenwert Deckungsbeitragssumme der gekauften Produkte + potentielle Deckungbeitragssumme + Wert von der Empfehlung durch den Kunden + Wert der übermittelten Informationen - Kundenakqusitionskosten - Kundenbindungskosten = Kundenwert 43

44 Fazit 44