Motivation für Datawarehouse. Data Warehouse Systeme. Data-Warehouse Systeme

Transkript

1 Data-Warehouse Systeme A.Kaiser; WU-Wien MIS 210 Data Warehouse Systeme Ein Data Warehouse ist ein umfassendes Konzept zur Entscheidungsunterstützung von Mitarbeitern aller Bereiche und Ebenen. Kern ist eine integrierte DB mit entscheidungsrelevanter Information über die Geschäftsfelder, die aus den operativen Datenbanken und externen Quellen bedarfsgerecht gewonnen wird. Der direkte Zugriff wird den Benutzern durch einen Informationskatalog (Metadatenbank) erleichtert, der über die Inhalte, Formate und Auswertungsmöglichkeiten des Date Warehouse Auskunft gibt. Eine dritte wesentliche Komponente sind die Software-werkzeuge und Anwendungsprogramme (z.b. EIS), mit denen die Daten abgefragt, transformiert und präsentiert werden. A.Kaiser; WU-Wien MIS 211 Motivation für Datawarehouse Essentielle Informationen müssen für Mitarbeiter jederzeit und vollständig zugänglich sein Dies ist in heutigen Organisationen oft nicht der Fall, obwohl diese Informationen prinzipiell vorhanden sind A.Kaiser; WU-Wien MIS 212 1

2 Motivation für Datawarehouse Erfolgsfaktor Information Das Vorhandensein aussagekräftiger Fakten wird immer wichtiger für die Entscheidungsfindung, um auf dem Markt reagieren zu können Angebote auf individuelle Bedürfnisse der Kunden anzupassen A.Kaiser; WU-Wien MIS 213 Motivation für Datawarehouse existierende Probleme Für veraltete Systeme gibt es oft keine komfortablen Abfragewerkzeuge Es stehen keine Ressourcen zur Verfügung, um die für die Analysen notwendigen Reports zu generieren chaotisches Wachstum der EDV-Infrastruktur in vielen Organisationen erschwert Zugriff auf verteilte Information Mangel an Analysewerkzeugen, um aus Rohdaten entscheidungsrelevante Informationen zu erzeugen A.Kaiser; WU-Wien MIS 214 Die Data-Warehouse-Metapher Zentrale Sammelstelle für verteilte Informationen Aufbereiten und Aussondern wertvoller Informationen aus dem Datenmüll Data Warehouses zur allgemeinen Disposition für Mitarbeiter in unterschiedlichen Hierarchieebenen A.Kaiser; WU-Wien MIS 215 2

3 Data Warehouse - Definition Mit dem Begriff Data Warehouse (DW) wird eine von den operationalen DV- Systemen isolierte Datenbank umschrieben, die als unternehmensweite Datenbasis für das gesamte Spektrum managementunterstützender Informationssysteme dient. Trennung operationale DV-Systeme - DW A.Kaiser; WU-Wien MIS 216 Data Warehouse - Merkmale Orientierung an den unternehmensbestimmenden Sachverhalten subjektorientiert Zeitraumbezug zeitabhängig Struktur- und Formatvereinheitlichung integriert und vereinheitlicht Nicht-Volatilität (nur lesender Zugriff) beständig bzw. dauerhaft A.Kaiser; WU-Wien MIS 217 subjektorientiert Orientierung an den unternehmensbestimmenden Sachverhalten typische Subjekte der Betrachtung: Kunden Produkte Lieferanten Fokussierung auf inhaltliche Kernbereich der Organisation A.Kaiser; WU-Wien MIS 218 3

4 integriert und vereinheitlicht einheitliche Konventionen bezüglich Namensgebung, Datenattributen, etc. einheitliche Datenformate (z.b. Werteinheiten) semantische Integrität (z.b. Angleichen unterschiedlicher Kontenrahmen, Währungsumrechnung) Ziel ist eine konsistente Datenmenge im Datawarehouse A.Kaiser; WU-Wien MIS 219 beständig dauerhaft Speicherung über größere Zeiträume wichtigsten Operationen sind das Datenladen und die Datenabfrage A.Kaiser; WU-Wien MIS 220 zeitabhängig es werden Daten benötigt, welche die Entwicklung des Unternehmens über einen bestimmten Zeitraum repräsentieren und damit zum Erkennen von Trends herangezogen werden können Einbindung des betrachteten Zeitraums (z.b. Tag, Woche, Monat) in die entsprechenden Schlüssel der Daten; Erweiterung der Schlüssel um Zeitmarken A.Kaiser; WU-Wien MIS 221 4

5 zeitabhängig Unterscheidung in zeitunabhängige Größen (Attribute) zeitabhängige Größen (Attribute) weitere feinere Aufteilung möglich A.Kaiser; WU-Wien MIS 222 Data Warehouse - Komponenten Datenbasis Datenverdichtung und Granularität Partitionierung Denormalisierung Transformationsprogramme ( Datenpumpen ) Meta-Daten A.Kaiser; WU-Wien MIS 223 Daten im Data Warehouse unternehmensinterne Daten aus den operationalen DV-Systemen des Unternehmens unternehmensexterne Daten von Quellen ausserhalb des Unternehmens A.Kaiser; WU-Wien MIS 224 5

6 Data Warehouse - Datenbasis Kern des DW-Konzepts Verdichtung und Granularität Datenredundanzen werden dabei bewußt in Kauf genommen um die Antwortzeiten gering zu halten. Mit steigender Verdichtung der Daten wird eine höhere Granularität erreicht. Granularität wirkt sich auf den benötigten Speicherplatzbedarf aus. Möglichst hohe Granularität aus dv-technischer Sicht vorteilhaft. Möglichst niedrige Granularität aus der Sicht der Entscheidungsträger vorteilhaft (Möglichkeiten sehr detaillierter Auswertungen und Analysen) A.Kaiser; WU-Wien MIS 225 Data Warehouse - Datenbasis Mehrstufige Granularität - Verdichtung steigt mit zunehmenden Alter der Daten z.b. Daten des laufenden Monats und des letzten Monats mit sehr niedriger Granularität. Archivierung der nicht mehr aktuellen Daten mit sehr niedriger Granularität und Verdichtung der Daten zu höherer Granularität im Datawarehouse. A.Kaiser; WU-Wien MIS 226 Data Warehouse - Datenbasis Der Einsatz der mehrstufigen Granularität gewährleistet eine schnelle Verarbeitung von über 95% der benötigten Auswertungen und Analysen durch die direkt zu Verfügung stehenden Daten. Bei weniger als 5% der Auswertungen muß auf die archivierten Datenbestände zurückgegriffen werden. A.Kaiser; WU-Wien MIS 227 6

7 Data Warehouse - Datenbasis Partitionierung der gesamte Datenbestand im DW wird in mehrere kleine, physisch selbständige Partitionen mit redundanzfreien Datenbeständen aufgeteilt. Im betriebswirtschaftlichen Kontext kann zwischen einer horizontalen und einer vertikalen Partitionierung der Daten unterschieden werden. A.Kaiser; WU-Wien MIS 228 Data Warehouse - Datenbasis Horizontale Partitionierung: alle Partitionen haben selbe Datenstruktur (Unterteilung z.b. in Mutter- und Tochterunternehmen oder in Zeiträume) Vertikale Partitionierung: Unterteilung in Anlehnung an unternehmensbestimmende Sachverhalte. Die Aufteilung erfolgt - betrachtet man eine Relation - spaltenweise. A.Kaiser; WU-Wien MIS 229 Datenbasis Verdichtungsstufe n Verdichtungsstufe 2 Verdichtungsstufe 1 Meta- Daten unternehmensexterne Daten Transformations programme unternehmensexterne Daten archivierte Detaildaten A.Kaiser; WU-Wien MIS 230 7

8 Data Warehouse - Datenbasis Denormalisierung: Normalformen in RDBMS zur Gewährleistung von Integrität und Datenkonsistenz. Ziel der Denormalisierung ist die Reduktion der Datenbankzugriffe und damit eine Verbesserung des Antwortzeitverhaltens. Im DW möglich, da i.d.r. nur lesender Zugriff. A.Kaiser; WU-Wien MIS 231 Data Warehouse - Transformationsprogramme Übernahme unternehmensinterner und - externer Daten. Maßgeblicher Einfluß auf die Qualität der Daten in der Datenbasis. Einsatz der Datenpumpen an den Input- Schnittstellen zu den operationalen DV- Systemen und den unternehmensexternen Datenquellen. A.Kaiser; WU-Wien MIS 232 Data Warehouse - Transformationsprogramme 2 Schritte: 1 Zusammenführung der Daten aus den unterschiedlichen Quellsystemen (relationale, hierarchische DB, Dateien, etc.) unter technischen Gesichtspunkten. 2 Aufbereitung der Daten unter anwendungsorientierten, betriebswirtschaftlichen Kriterien. Regeln, Zuordnungen und Definitionen sind in den Meta-Daten hinterlegt. A.Kaiser; WU-Wien MIS 233 8

9 Data Warehouse - Transformationsprogramme Gewinnung unternehmensinterner Daten zum überwiegenden Teil aus den operationalen DV-Systemen Verschiedene Verfahrensweisen Zeitmarken; Protokolldatei, in der Änderungen in den operationalen Datenbeständen mitgeführt werden; etc. A.Kaiser; WU-Wien MIS 234 Data Warehouse - Transformationsprogramme Gewinnung unternehmensexterner Daten Nachrichtendienste von Wirtschaftsverbänden, politische Informationsdienste, Markt- Meinungs- und Trendforschungsinstitute, Medienanalysen, selbst in Auftrag gegebene Studien und Untersuchungen, etc. unstrukturiert, unterschiedliche Form; Überführung in das DW entweder in digitalisierter Form als separates Dokument A.Kaiser; WU-Wien MIS 235 Data Warehouse - Transformationsprogramme oder Belassen in ursprünglicher Form und Speicherung in geeigneten Archiven um sie den Entscheidungsträgern zur Verfügung zu stellen. Zeitraumbezug der unternehmensexternen Daten ist von Bedeutung; Verwendung von Zeitmarken A.Kaiser; WU-Wien MIS 236 9

10 Data Warehouse - Transformationsprogramme Frequenz für die Aktualisierung des DW wird durch betriebswirtschaftliche Anforderungen und DV-technische Voraussetzungen des Unternehmens bestimmt bei jeder Änderung in den Quelldaten periodisch nach vordefinierten Zeitpunkten manuell gesteuert A.Kaiser; WU-Wien MIS 237 Data Warehouse - Meta-Daten Daten über Daten; Abstraktion betrieblicher Datenobjekte In vielen Softwaresystemen von Bedeutung DB-Systeme, ER-Diagramme, Funktionsbäume, Data-Dictonaries, Repositories, etc. z.b. 12/6/97 12.Juni 1997 oder 6.Dezember 1997 vgl. auch Informationstheorie A.Kaiser; WU-Wien MIS 238 Data Warehouse - Meta-Daten Operationale Meta-Daten umfassen Informationen über die operationalen Systeme (z.b. Namen der Originaldatenquellen), die Datenstrukturen (Feldbezeichnungen), Dateiorganisationsformen, Informationen über den Transformationsprozess, Informationen über die Zieldatenquelle A.Kaiser; WU-Wien MIS

11 Data Warehouse - Meta-Daten DSS-Meta-Daten verbinden die physischen Daten des DW mit dem konzeptionellen Geschäftsprozessmodell und den Front-End- Tools der Endbenutzer Dazu werden Angaben über Speicherungsorte und -strukturen im DW benötigt, um aus den dort verfügbaren Daten sinnvolle Informationen über Geschäftsprozesse ableiten zu können. A.Kaiser; WU-Wien MIS 240 Data Warehouse - Meta-Daten Meta-Daten speichern Daten über das dem DW zugrundeliegende Datenmodell sowie eine semantische und eine DV-technische Beschreibung aller gespeicherten Daten die Herkunft der Daten Informationen über den gesamten Transformationsprozess die Abbildung aller vorhandenen Verdichtungsstufen einschl. des zeitlichen Ablaufs der Verdichtung A.Kaiser; WU-Wien MIS 241 Data Warehouse - Meta-Daten bestehende Auswertungen und Analysen, die als Mustervorlage für andere Aufgaben dienen die Daten aus den externen Quellen, versehen mit einem entsprechenden Eintrag über Inhalt, Quelle, Datum, Form, Archivierungsort und Querverweisen auf bereits vorhandene Dokumente Verzeichnis der Integritätsbedingungen Cross-Referenz-Tabellen Meta-Daten = intelligentes Inhaltsverzeichnis, Lexikon, Thesaurus, Glossar A.Kaiser; WU-Wien MIS

12 ??? Zusammenfassung, Ergänzung, Querverbindungen, Beispiele A.Kaiser; WU-Wien MIS 243 Data Warehouse Ein Data Warehouse ist keine von der Stange zu kaufende Standardsoftware, sondern immer eine unternehmensindividuelle Lösung. Daher ist es auch besser vom Data Warehouse-Konzept zu sprechen. A.Kaiser; WU-Wien MIS 244 Data Warehouse - Architektur Direkter Zugriff Data Mart Data Mart ODS Data Warehouse i.e.s. Meta-Daten Interne Datenquellen RDBMS DBMS... Externe Datenquellen A.Kaiser; WU-Wien MIS

13 Aufgaben eines Data Warehouse Extraktion von Informationen aus den operativen Systemen in regelmäßigen Abständen Integration in einer Sekundärdatenbank Bereinigung Filterung nach Wichtig/Unwichtig thematische Ordnung Analysewerkzeuge fokussieren auf relevante Information A.Kaiser; WU-Wien MIS 246 Datenbankmodell I.d.R. konventionelle RDBMS multidimensionale Datenbanksysteme Speicherung der Daten in Form sog. Hypercubes (mehrdimensionale Würfel) zur Auswertung der Daten mit Hilfe von OLAP- Systemen Simulation der Multidimensionalität durch RDBMS ( virtuell multidimensional) A.Kaiser; WU-Wien MIS 247 Relationale Dbs vs. Data Warehouse RDBMS orientieren sich an den Geschäftsobjekten und betrieblichen Vorgängen große Zahl von Benutzern greift zu (meist in kurzen Transaktionen) einfache Operationen mit vielen Änderungen hohe Anforderungen an Verfügbarkeit (OLTP) A.Kaiser; WU-Wien MIS

14 Relationale Dbs vs. Data Warehouse DW sollen flexible Unterstützung in verschiedenen Entscheidungssituationen liefern unterschiedliche Experten haben unterschiedliche Bezugsgrößen und Dimensionen Ausnutzung aller im Unternehmensnetz verstreuten und externen Quellen A.Kaiser; WU-Wien MIS 249 Operative vs. DW-Datenbestände Detaillierte Daten aktuelle Daten ständig aktualisiert Transaktionen hohe Verfügbarkeit statisch kleine Mengen pro Prozeß Verdichtete Daten hist. + aktuelle Daten sporadisch aktualisiert Analysen geringe Verfügbarkeit flexibel große Mengen pro Prozeß A.Kaiser; WU-Wien MIS 250 Beispiele Produktmanager: Verkaufszahlen eines Produkts in allen Absatzgebieten über sämtliche Monate Finanzbeauftragter: alle Produkte in allen Gebieten pro Monat Gebietsleiter: alle Produkte in allen Monaten in einem Gebiet auch: Kunden, Filialen, Produktionsstandorte etc. A.Kaiser; WU-Wien MIS

15 Beispiel: Bank Beim täglichen Betrieb entstehen laufend Informationen, die sehr aufschlußreich sein können und in neuen Zusammenhängen verwendet werden können: Informationen über die Kunden Kontoformen und -bewegungen Sparformen und -aktivitäten Kreditwesen etc. A.Kaiser; WU-Wien MIS 252 Beispiel: Bank Informationen Kundenprofil Ableitung geeigneter Werbemaßnahmen Kreditwürdigkeitsprüfung etc. A.Kaiser; WU-Wien MIS 253 Der Produktmanager ist verzweifelt. In zwei Tagen muß er seinem Chef die Absatzentwicklung des von ihm betreuten Fruchtquarks präsentieren. Doch ihm fehlen die Zahlen der letzten sechs Monate! Aus dem Vertrieb hat er nur vage gehört, daß der Umsatz im Osten eingebrochen sei. Wie soll er das nur erklären? Der EDV-Bearbeiter hat auf seine Anfragen nur abgewunken: Den Bericht können Sie frühestens in zwei Wochen haben. Blieb wieder nur eine ungenaue Hochrechnung aus den alten Zahlen. Doch daß sich diese bewahrheitet, war von vornherein wenig wahrscheinlich - schließlich hat der Erzrivale zwei neue Konkurrenzprodukte herausgebracht. Und wie war der Quark ob der veränderten Marktsituation neu zu positionieren? (Quelle: ct März 1997,284) A.Kaiser; WU-Wien MIS

16 Anforderungen an DW Multidimensionales Datenmodell (d.h. mehrschichtiger Datenraum mit allen relevanten Unternehmensmerkmalen) Skalierbarkeit (z.b. Zeit: Tage, Wochen, Monate oder kumulierte Werte) A.Kaiser; WU-Wien MIS 255 DW-Modell Produkte und Monate für 1 Gebiet Monat Gebiete und Monate für 1 Produkt Produkte und Gebiete für 1 Monat Produkt Absatzzahlen Gebiet Alle Produkte Alle Gebiete Alle Monate A.Kaiser; WU-Wien MIS 256 Werkzeuge Report- und Abfrage Statistik OLAP Data Mining Dokumenten-Retrieval aktive Filter Prozeßmodellierung geograph. IS Führungsinformation Entscheidungsunterstützung abteilungsspez. Tools industriespez. Tools A.Kaiser; WU-Wien MIS

17 Report- und Anfragetools Auf Abfrage- und Berichterzeugung spezialisierte Tools direkte und indirekte Benutzung von SQL A.Kaiser; WU-Wien MIS 258 Statistische Auswertung der Daten Mittelwerte Streuung Prüftests Regressionsanalyse Zeitreihenanalyse Korrelationsanalyse (zw. Werbung und Absatzzahlen) A.Kaiser; WU-Wien MIS 259 Aufgabenstellung Sie sind Mitarbeiter in einem großen Betrieb der Reisebranche Reisebüro Veranstaltungsmanagement Durchführung von Reisen und Events Zukauf von externen Anbietern etc. Brainstorming für den Aufbau eines DW-Systems: welche Komponenten (Daten, Info, intern, extern) --> Motivation welche Auswertungsmöglichkeiten --> Motivation A.Kaiser; WU-Wien MIS