Data Warehousing. DWH Projekte. Ulf Leser Wissensmanagement in der Bioinformatik

Transkript

1 Data Warehousing DWH Projekte Ulf Leser Wissensmanagement in der Bioinformatik

2 Inhalt DWH Projekte Spezifika Die kritischen Punkte Warum scheitern DWH Projekte? Ulf Leser: Data Warehousing, Vorlesung, Sommersemester

3 DWH Projekte Siehe Literatur zu IT Projekten Projektorganisation Aufhängung im Unternehmen, Unterstützung von Oben Festlegung von Zielen Die richtigen Mitarbeiter Einbindung externer Mitarbeiter Teamwork und Kontinuität... Ulf Leser: Data Warehousing, Vorlesung, Sommersemester

4 DWH Projekt Spezifika Die Datenbank wird sehr groß Design for the Large Scheduling von Downtimes, Archivierung, Updates Das Projekt endet nie Quellen kommen, gehen, ändern sich Datenentsorgung, Monitoring, Tuning Es sind viele Leute betroffen Fachabteilungen müssen Daten / Reports erklären Qualitätsprobleme werden publik Wissen ist Macht Wissen teilen ist Machtverlust Das Ergebnis ist unternehmenskritisch Ulf Leser: Data Warehousing, Vorlesung, Sommersemester

5 DWH Projekte Essentials Ziele festlegen Mindest-, Soll-, Optimalantwortzeiten Verfügbarkeitsvereinbarungen Basierend auf Datenmengenabschätzungen Frühes Prototyping Think Big, Start Small Die beste Planung ersetzt nicht das Experiment Prototypen mit realistischen Datenmengen auf Zielplattform Führt zu realistischen Annahmen bzgl. Machbarkeit Ulf Leser: Data Warehousing, Vorlesung, Sommersemester

6 DWH Projekte Essentials 2- Sorgfältige Kapazitätsplanung Datenmengen: Alle Komponenten berücksichtigen: Staging Area, Basis-DB, Data Marts, temporäre Replika von Quellen... Zugriffszeiten: Anzahl Benutzer, Verteilung über Zeit (Lastpeaks), Profil der Queries (Workload), zugesicherte Anforderungen, Prioritäten, ETL- Prozesse, Backups,... Hardware: Prozessoren, Platten, RAID, Cluster,... Reserven einplanen Trennung von Test- und Produktionssystem Ulf Leser: Data Warehousing, Vorlesung, Sommersemester

7 DWH Projekte Essentials 3- Datenqualität beachten Metriken festlegen und Zielwerte überwachen Qualitätsverbesserungen sind extrem aufwendig einplanen Datenmenge begrenzen Daten nach festgelegter Zeit archivieren (löschen) Im Design beachten (Transportable Tablespaces, Partitionierung) Schwierig durchzusetzen, aber irgendwann in jedem DWH notwendig Ulf Leser: Data Warehousing, Vorlesung, Sommersemester

8 Probleme bei DWH Projekten [AM00] Zeitüberschreitung Budgetüberschreitung Fehlende Funktionen Keine Akzeptanz bei Benutzern DWH Projekte sind teuer Viele Abteilungen / Systeme betroffen, Hardwareanforderungen, semantische Integration Viele Stakeholder müssen befragt werden Folge: Prototypen werden weggelassen Falsche Einschätzung der / fehlender Konsens über wichtigen Funktionen (man macht die einfachen zuerst, nicht die wichtigen) Typisch: Zeitüberschreitung mit Funktionsreduzierung begegnen, schließlich Funktionen ganz kippen Zu hohe Erwartungen Zu viele Versprechungen DWH weckt Ideen Mensch, da könnte man doch auch noch... Ulf Leser: Data Warehousing, Vorlesung, Sommersemester

9 Probleme bei DWH Projekten Performanzprobleme Zwei Komponenten: Anfragen und ETL ETL-Zeiten häufig unterschätzt Unrealistisch kleine Prototypen Werkzeuge f. ad-hoc Queries; point&click mit unvorhersehbaren Auswirkungen Fehlendes Performance Bewusstsein bei Anwendern Fehlendes Performance-Auditing Fehlende Vereinbarungen welche Queries werden wann laufen, bei welchen Datenmengen, wie lange darf es dauern,... Große Datenmengen verlangen eigene Methoden (Modell, Implementierung, Indexe, Prozesse,...) Design forthelarge Ohne Vorgaben ist eine Query nie ausreichend schnell! Ulf Leser: Data Warehousing, Vorlesung, Sommersemester

10 Probleme bei DWH Projekten Verfügbarkeitsprobleme Fehlende Erweiterbarkeit Schlechte Datenqualität Geplante versus ungeplante Downtimes DWH oft bei ETL Zyklen gesperrt Komplexe ad-hoc Queries erwecken Eindruck fehlender Verfügbarkeit Mehr Daten, mehr Benutzer, mehr Analysen, mehr Quellen, mehr Dimensionen, größere Zeitraum,... Gerade ein hochoptimiertes Design ist schwierig zu erweitern Falsche Reports sind schlechter als keine Reports! Datenqualitätsprobleme werden unterschätzt und lange ignoriert Die Fehler der alten Reports kennt man seit Jahren, die der neuen will man nicht verzeihen Fehlender Mut zum Daten-weglassen Oftmals Business Process Reengineering notwendig Ulf Leser: Data Warehousing, Vorlesung, Sommersemester

11 Probleme bei DWH Projekten Zu kompliziert Fehlende Kosteneffizienz Was-wäre-wenn Analysen, mehrdimensional aggregierte Reports, Data Mining, etc. sind hochkomplexe Themen Verlass auf DWH-GUIs kann User in die Irre führen Unterschiedliche Benutzer unterschiedliche Anforderungen Preis / Nutzen Verhältnis Nutzen schwierig quantifizierbar; liegt eher beim Management ROI von DWH Projekten schwierig zu berechnen Ulf Leser: Data Warehousing, Vorlesung, Sommersemester

12 Probleme bei DWH Projekten Number of Users Initial 3 Months 6 Months 12 Months 24 Months Period after Implementation Source Data Warehouse Institute Flash Report January 1996 Ulf Leser: Data Warehousing, Vorlesung, Sommersemester

13 Nicht-technische Probleme Die meisten (DWH-) Projekte scheitern nicht an der Technik DWH Readiness-Test [Kim98] Strong Management Support Sonst reicht der Atem nicht Compelling Business Motivation Competetive Advantage und ROI muss deutlich sein IS / Business Partnership DWH ist abhängig von Daten also den Datenherren Analytic Culture Man muss Fragen stellen wollen und für Antworten bereit sein Feasibility Existieren Daten? Kann man die verwenden? Ulf Leser: Data Warehousing, Vorlesung, Sommersemester

14 Literatur [Kim98] Kimball et al. The Data Warehouse Life Cycle Toolkit, John Wiley & Sons, 1998 [AM00] Adelmann, Moss: Data Warehouse Risks, in Data Warehouse Project Management, Addison- Wesley, 2000 Ulf Leser: Data Warehousing, Vorlesung, Sommersemester