Kapitel 4: Data Warehouse Architektur

Transkript

1 Kapitel 4: Data Warehouse Architektur Data Warehousing und Mining 1

2 Data Warehousing, Motivation Zugriff auf und Kombination von Daten aus mehreren unterschiedlichen Quellen, Source Source Source komplexe Datenanalyse über mehrere Quellen, multidimensionale Sichten auf die Daten, unterschiedliche Sichten, die die jeweilige Perspektive reflektieren, Beispiel: Stab Vertrieb: Umsatz, aufgeschlüsselt nach Verkäufer, Stab Produktentwicklung: Umsatz aufgeschlüsselt nach Produkten, Analyse der zeitlichen Entwicklung, auch wenn Datenquellen sich auf aktuellen Datenbank-Zustand beschränken. Data Warehousing und Mining 2

3 Data Warehousing, Motivation, Beispiele Beispiel, warum Integration lokaler Datenbanken für Datenanalyse vorteilhaft; ein Unternehmen habe die folgenden Datenbanken, die den Aktivitäten einzelner Unternehmensbereiche entsprechen: Detaillierte Produktinformation, Kundenprofile, Reklamationen, Information zu Vertriebsbüros, Vertriebsbeauftragten. Alle Kombinationen von zwei oder mehr Datenbank-Inhalten sind sinnvoll für Datenanalyse, z.b. Kundenprofile - Reklamationen, Reklamationen - Vertriebsbeauftragte. Beispiel, warum zeitliche Betrachtung vorteilhaft; man beachte die Aussagekraft der folgenden Aussagen:,1400 Berufsunfähigkeitsversicherungen seit Jahresbeginn verkauft.,1400 Berufsunfähigkeitsversicherungen seit Jahresbeginn verkauft, in den letzten drei Jahren waren es zwischen 2100 und 2300 zum Vergleichszeitpunkt. Data Warehousing und Mining 3

4 Data Warehousing - Materialisierung von Sichten (Erste) Verfeinerung der Architektur: Warehouse Source Source Source Virtual Data Warehouse/virtuelle Integrationsplattform := Menge von Sichten (ohne Materialisierung) Data Warehousing und Mining 4

5 Data Warehousing - Materialisierung von Sichten Besonderheit von Data Warehouses, unter Betrachtung der allgemeinen Problematik des integrierten Zugriffs auf heterogene Informationssysteme: Sichten sind materialisiert. Motivation für Materialisierung: Performance Man erspart sich das Holen der Daten aus den Quellen, man kann die materialisierten Sichten indexieren (kann man i.a. nicht, ohne die Daten zu holen, da keine Kontrolle über die Sourcen), man konkurriert u.u. mit weniger anderen Usern um Ressourcen (Argument auch aus Sicht der Betreiber der Sourcen), u.u. keine kontinuierlichen Updates, die Zugriff verlangsamen, Qualität des Datenbestands, Man ist besser gefeit gegen nachträgliche implizite Umdeutungen von Attributen, Data Cleansing ist i.a. aufwendig; es ist daher sinnvoll, das Ergebnis zu materialisieren, Erfassen historischer Entwicklungen des Datenbestands. Data Warehousing und Mining 5

6 Data Warehousing, um was geht es also? Mehrere Aspekte: Verwaltung materialisierter Sichten, hauptsächlich Aggregate, Primitive für Datenanalyse und ihre effiziente Implementierung. Data Warehousing und Mining 6

7 OLTP vs. OLAP OLTP ( online transaction processing ): Transaktionsorientierte Datenzugriffe, typischerweise Erfassen von Daten und Lesezugriffe auf diesen. Tagesgeschäft bedienen Beispiel aus dem Bankbereich: Wie hoch ist mein Kontostand? Beispiele für OLTP-Systeme: Buchungssysteme, Point-of-Sale, Lagerverwaltung, Tracking-Systeme, Aktien-/Wertpapierhandel, Regel- und Steuerungssysteme. OLAP ( online analytical processing ): Konsolidierung, Viewing und Analyse der Daten gemäß mehrerer Dimensionen. Entscheidungen unterstützen Gemeint sind strategische Unterscheidungen. Beispiel: Was ist der Zusammenhang zwischen Kontostand und Häufigkeit von Buchungen? Sysadmin sagt: They (the users) don t even know what they want! How can we provide it? keine eng beschränkten Sichten und Analysemöglichkeiten; keine Konsolidierung der Daten, bei der wichtige Information verlorengeht. Data Warehousing und Mining 7

8 Vier Stufen der Datenanalyse (1) Einfache Anfragen Beispiele: Wieviele Studenten hören Datenbanken I?, Was kosten mich meine Mitarbeiter?, Welches Produkt ist das beste? Anfragen beinhalten alle Aggregation. What-if Analyse Beispiel: Wenn die Arbeitskosten nächstes Jahr um 5% zunehmen, und der Absatz gleich bleibt, wie wird sich dann der Profit entwickeln?, Was hätte ich für ein Geschäft gemacht, wenn in Dollar? Data Warehousing und Mining 8

9 Vier Stufen der Datenanalyse (2) Analyse der Entwicklungen, die zum aktuellen Datenbank-Zustand geführt haben. Beispiel: Warum hat der Hustensaft-Absatz im Saarland im November (im Gegensatz zu anderen Bundesländern) stark zugenommen? Funktioniert, wenn nicht externe Faktoren ausschlaggebend sind. Planung Was muß in der Zukunft getan werden, damit sich ein bestimmter Effekt einstellt? Beispiel: Was muß geschehen, damit der Umsatz nächstes Jahr um 5% steigt? Unterschied zu What-if -Analyse: Zeitliche Dimension ist hier explizit, die Bedingungen sind viel vager, falls überhaupt vorhanden. Data Warehousing und Mining 9

10 Data Warehouse, Data Warehouse Technologie (Analogie zum Unterschied Datenbank - DBMS ) Data Warehouse Technologie - Menge von Methoden, Techniken und Werkzeugen, die kombiniert werden können, um eine Plattform zu schaffen, die dem Endbenutzer Daten in integrierter Form liefert. Data Warehouse - Repository, das die für Decision Support Anwendungen einer Organisation notwendigen Daten in konsolidierter Form enthält, können auch zugekaufte Daten sein. Data Warehousing und Mining 10

11 Anforderungen an die Daten im Data Warehouse Wohldefiniert, konsistent, dauerhaft, d.h. Bedeutung der Daten ändert sich nicht; Daten sind auch in der Zukunft sinnvoll, Daten sollen historische Entwicklungen reflektieren, Datenvolumen soll ausreichen für aussagekräftige Analysen. Data Warehousing und Mining 11

12 Operationale Datenbanken vs. Data Warehouses Tuning Entstehung Anforderungen Bedeutung Datenzugriff Datenvolumen Operationale Datenbanken jeweils für eine Applikation oder aus einer bestimmten Perspektive heraus Bekannt alltägliche Geschäftsabläufe Ein Aufruf liefert wenige Zeilen zurück. Getuned für häufige Zugriffe auf kleine Datenmengen Datenbestand wird für operationales Geschäft gebraucht. Data Warehouses mehrere Perspektiven gleichzeitig vage Entscheidungen des Managements, die sich auf Profitabilität auswirken Grosse Datenmengen werden zugegriffen, um das Ergebnis zu ermitteln. Getuned für eher seltene Zugriffe auf grosse Datenmengen Grosser Datenbestand wird für statist. Analysen, Vorhersagen, ad hoc Reports gebraucht. Data Warehousing und Mining 12

13 Operationale Datenbanken vs. Data Warehouses (2) Datenaufbewahrung Aktualität Verfügbarkeit Entwurfs ziel Operationale Datenbanken solange es das Tagesgeschäft erfordert auf die Minute Hohe Verfügbarkeit erforderlich. Hohe Performance Data Warehouses Langfristig, um Reporting über Zeiträume oder Vergleiche zu ermöglichen. Üblicherweise wird ein bestimmter Zeitpunkt in der Vergangenheit beschrieben Nicht ganz so hoch wie in Produktionsumgebungen, abhängig davon, ob weltweiter Zugriff. Flexibilität Data Warehousing und Mining 13

14 Data Mart Data Mart Data Warehouse für bestimmte Zielgruppe, Einschränkungen bezüglich Attribute, Daten, d.h. es handelt sich um eine Selektion der Warehouse-Daten, Update-Häufigkeit. Unterscheidung zwischen dependent und independent Data Marts: dependent := unternehmensweites Data Warehouse ist die Quelle. Achtung: Heterogenität unterschiedlicher Data Marts führt ursprüngliches Problem auf höherer Ebene wieder ein. Data Warehousing und Mining 14

15 Data Warehouse Architektur source data Komponente f. Datenakquisition Datenverwaltung warehouse data Data Delivery external data Middleware Directory Entwurf warehouse data Management Datenzugriff external metadata Metadaten, importiert von anderen Komponenten, z.b. Sourcen oder anderen externen Systemen, die Teil der Gesamtarch. sind. Data Warehousing und Mining 15

16 Data Warehouse Architektur Komponenten der Data Warehouse Architektur: Entwurfskomponente (zum Entwurf des Data Warehouse), Komponente für Datenakquisition: Data Pumps Abgreifen von Daten aus Files und Datenbanken, Data Cleaning, Übermitteln der Daten ans Data Warehouse und Einfügen, Datenverwaltung : Erzeugung, Verwaltung und Zugriff auf Data Warehouse Daten, Management : Data Warehouse Administration, Information Directory : Bereitstellung von Information über Inhalt und Bedeutung der Data Warehouse Daten für Administratoren und Anwender, Datenzugriff : Bereitstellung von Werkzeugen für Datenanalyse und -zugriff für Endbenutzer, Middleware - ermöglicht den Analysewerkzeugen den Zugriff auf die Data Warehouse Datenbanken, Data Delivery : Verteilen von Data Warehouse Daten an Data Marts oder externe Systeme. Data Warehousing und Mining 16

17 Datenakquisition Ist üblicherweise deklarativ, z.b. regelbasiert. Data Cleanup: Restrukturierung, Ausblenden von Daten, Einfügen fehlender Feldinhalte, Überprüfen von Integritätsbedingungen. Data Enhancement: Decodieren/Übersetzen von Feldinhalten, Hinzufügen von Timestamps, Zusammenfassungen, Berechnungen abgeleiteter Werte. Data Warehousing und Mining 17

18 Information Directory Information Directory enthält Metadaten. Technische Metadaten, d. h. Informationen der folgenden Art: Warehouse Entwurf und Management, z. B. Regeln für Datenakquisition, Vorschriften für Data Delivery an externe Systeme oder Benutzer, Information über Datenquellen, Datenmengen und Information, wann Daten abgelegt wurden, Zugriffsmuster (Benutzerzugriffe), Business Metadata: Abbildung Geschäftsbereiche technische Metadaten, Welche Abteilung liefert welche Daten, welche Abteilung benötigt welche Sicht? Information zu vordefinierten Queries, Business Terms und technische Bezeichnungen, personelle Zuständigkeiten. Data Warehousing und Mining 18

19 Literatur Data Warehouse Practical Advice from the Experts Joyce Bischoff, Ted Alexander Prentice Hall, 1997 Data Warehousing und Mining 19