Datawarehousing mit BW 7

Transkript

1 Christian Mehrwald Datawarehousing mit BW 7 Bl in SAP NetWeaver 2004s Architektur, Konzeption, Implementierung 4., vollständig überarbeitete und erweiterte Auflage i" dpunkt.verlag

2 Übersicht 1 Einleitung 1 1 Architektur 5 2 Architektur-Komponenten 7 3 BW-Basissystem 17 4 Metadaten-Repository 33 II Oatenmodell 45 5 Allgemeine Datenmodelle 47 6 Das BW-Datenmodell 59 7 Performance-Tuning Grundregeln zur Datenmodellierung Datenmodellierung in der DWWB 201 IM Analytical Engine Zugriff auf physische InfoProvider Virtuelle InfoProvider OLAP-Caching und Zugriffsfolgen Monitoring der Analytical Engine 297 IV Extraktion & Staging Extraction Layer Inflow Layer Transformation Layer Integration Layer 417

3 Data Mart Layer Definition von Transformationen Definition von Ladevorgängen Direktes Staging Echtzeit-Staging Datenqualität Performance-Tuning V BW-Design Partitionierte InfoProvider Partitioniertes Staging Large-Scale-Architekturen VI BW im Produktivbetrieb Prozessketten Zeitfenster Organisation und Abfolge Monitoring Modell-Trimming Information Lifecycle Management VI Anhang > 743 A B C D E F Währungsumrechnung Logische Dateien und Pfade Transportwesen Verwendung von Metadaten-Content Übersichten Abkürzungsverzeichnis " Stichwortverzeichnis

4 Inhalt 1 Einleitung 1 1 Architektur 5 2 Architektur-Komponenten Extraktionsschicht Data Warehouse Decision-Support-Systeme 14 3 BW-Basissystem Kommunikationsschnittstellen File und BAPI Internet Communication Framework J2EE Connector Architecture 28 4 Metadaten-Repository Objekte der Datenbank Objekte des ABAP Dictionary Domänen Datenelemente Tabellen Entwicklungsnamensräume "f BW-Objekte BW-Namensräume 43 II Datenmodell 45 5 Allgemeine Datenmodelle Grundlagen der Datenmodellierung Merkmale Attribute 48

5 5.1.3 Kennzahlen Status Tracking Transaktionale Strukturen Flache Strukturen Star-Schema Snowflake-Schema Zusammenfassung 56 6 Das BW-Datenmodell InfoObjekte Merkmale Zeiten Kennzahlen Einheiten Master Data Texte Stammdaten eines Merkmals Explizite Anzeigeattribute Referenzierende Merkmale Externe Hierarchien Zusammenfassung DataStore-Objekte Schlüsselfelder Datenfelder BasisCubes Faktentabelle SID-Einträge in Dimensionstabellen Dimensionen Line-Item-Dimensionen Realtime InfoCubes Quellsystemabhängige Daten Performance-Tuning Aggregate Initiales Füllen von Aggregaten Hierarchie- und Attributsänderungen Indizierung Indexeinsatz bei BasisCubes Indexeinsatz bei DataStore-Objekten Indexeinsatz bei InfoObjekten Optimizer-Statistiken 140

6 7.3 Partitionierung und Clustering Range-Partitionierung Clustering Modell-Partitionierung Dedizierter OLAP-Speicher (BIA) Anbindung des BIA an das SAP BW Administration des BIA im BW Struktur der Cube-Inhalte Organisation der Cube-Inhalte Anlegen und Füllen von BIA-Indizes Hierarchie- und Attributsänderungen Grundregeln zur Datenmodellierung Modellierung von BasisCubes Modellierung von InfoObjekten Modellierung von Hierarchien Modellierung von Partnerrollen Modellierung von Kennzahlen Kennzahlen mit Merkmals-Charakter Gruppierte Kennzahlen Berechnete Kennzahlen Datenmodellierung in der DWWB Modellierung von InfoObjekten Modellierung von BasisCubes Re-Modellierung von Dimensionstabellen Re-Modellierung der Faktentabelle Nachträgliche Nullwert-Eliminierung Modellierung von DataStore-Objekten Mehrdimensionales Clustering 230 III Analytical Engine Zugriff auf physische InfoProvider Zugriff auf BasisCubes Status der Staging Engine Teilabfragen Zugriff auf DataStore-Objekte Zugriff auf InfoObjekte 244

7 11 Virtuelle InfoProvider MultiProvider Zusammenführung von Daten Bilden von Sub-Queries InfoSets InfoObjekte in InfoSets DataStore-Objekte in InfoSets BasisCubes in InfoSets Service-InfoCubes Übergabe von Selektionsbedingungen Import-/Exportparameter OLAP-Caching und Zugriffsfolgen Lokaler Cache Gesamtlesen der Daten Nachlesen der Daten Nachlesen beim Expandieren der Hierarchie Globaler Cache Hauptspeicher-Cache Persistenter Cache Cache-Invalidierung BIA-Indizes Aggregate..." Monitoring der Analytical Engine Query Monitor Runtime-Statistiken der Analytical Engine 299 IV Extraktion & Staging 307 CZIZZT~7II~lZIl~~-~l^~lLlS.l.~Z-"Z-ZL--~-~-~Z~~~~.7J~.Z.\-~~-''. ".""." ". ~\~1I] 14 Extraction Layer Metadaten des Extraction Layer Datenquellen und Datenstrukturen Anwendungskomponentenhierarchie Unterstützte Delta-Verfahren Extraktion aus SAP ERP Definition generischer DataSources Erweiterung von DataSources Extraktion aus BW-Systemen Extraktion aus Datenbanksystemen Extraktion aus Dateien Dateiformat Datenstruktur 343

8 14.6 Extraktion mittels Web Services Extraktion aus JDBC-, XML/A- und ODBO-Quellen Einrichten eines Bl JDBC Connectors Einrichten eines Bl ODBO Connectors Einrichten eines Bl XML/A Connectors Einrichten eines Bl SAP Query Connectors Extraktion mit 3rd party ETL-Tools Inflow Layer Metadaten zu Quellsystemen Einrichten von SAP-ERP-Quellsystemen Einrichten von BW-Systemen Einrichten eines DB Connect Einrichten von Fiatfiles Einrichten von Web-Service-Systemen Einrichten eines Universal Data Connect Einrichten von 3rd party ETL-Tools Quellsystem-IDs Metadaten zu DataSources Extraktionsquelle Datenstruktur Input-Konvertierung Selektionsfelder Delta-Verfahren." Bestandskennzahlen Persistant Staging Area (PSA) Definition von Extraktionsvorgängen Datenselektion Extraktion Verarbeitung Fortschreibung Einplanung Transformation Layer InfoSources T Persistieren von Rohdaten Integration Layer Bewegungsdaten im Integration Layer Persistenz Delta-Bildung Datenintegration Master Data im Integration Layer 424

9 18 Data Mart Layer Bewegungsdaten im Data Mart Layer Schematransformation Aggregation Filterung ProzessintegraticHi Abstraktion..." Modelltransformation Währungsumrechnung Stammdaten im Data Mart Layer Open-Hub-Destinationen im Data Mart Layer Definition von Transformationen Globale Datendeklarationen Startroutine Regeln und Regelgruppen Zuweisung von Konstanten Direkte Zuweisung Stammdatenattribut eines InfoObjektes Routinen Formeln Konvertierungsexit Behandlung von Einheiten Aggregationsarten Aggregationsarten bei BasisCubes Aggregationsarten bei DataStore-Objekten Aggregationsarten bei InfoObjekten Aggregationsarten bei InfoSources Aggregationsarten bei Open-Hub-Destinationen Endroutine Expertenroutine Definition von Ladevorgängen Extraktionsmodus # Filter OLAP-Variable Routine Verarbeitungsmodus Direktes Staging ' Definition von Metadaten Anlegen einer 3.x-DataSource Selektionsfelder Hierarchieeigenschaften 489

10 21.2 Definition von Übertragungsregeln Startroutine Direkte Zuweisung Zuweisung von Konstanten ABAP-Routinen ' Formeln Input-Konvertierung "" Quellsystemabhängige Daten Definition von Extraktionsvorgängen Fremddaten Hierarchieauswahl Verarbeitung Echtzeit-Staging Realtime Data Acquisition RDA im Extraction Layer RDA im BW-Staging Steuerung der Realtime Data Acquisition Direktzugriff Virtual Provider mit Staging-Anschluss Virtual Provider mit BAPI Datenqualität Bewertung der Extraktion Konsistenzprüfung Stammdaten-Integrität Referenzielle Integrität.' Behandlung von Fehlern System verhalten ohne Fehlerbehandlung Fortführung der Prüfung Fortführung der Verbuchung Performance-Tuning Parallelisierung von Extraktion und Staging Parallelisierung im Extraktor Parallelisierung in der Transformation Parallelisierung beim direkten Staging Paketbildung Voraussetzungen für die Parallelisierung Parallelisierung in RDA-Szenarien Eingangsverarbeitung in der PSA Indexverwaltung Komprimierung von BasisCubes 579

11 24.5 Aktivieren neuer Daten in DataStore-Objekten Vereinfachung der Delta-Ermittlung Begrenzung des Hauptspeicherbedarfs Vermeidung von SID-Ermittlungen Verzicht auf Optimizer-Statistiken Clustering von DataStore-Objekten Verwaltung von Aggregaten Roll-Up-Hierarchie Delta-Verfahren des Change Run Blockgröße für den Neuaufbau Prä-Analyse des Füllvorgangs Roll Up auf BIA-Indizes 591 V BW-Design Partitionierte InfoProvider Partitioniertes Staging Large-Scale-Architekturen Replizierende Architektur Aggregierende Architektur Virtuelle Hub-and-Spoke-Architektur 606 VI BW im Produktivbetrieb Prozessketten Event-Steuerung des BW-Basissystems Steuerungskonzept der Prozessketten Verkettung von Prozessschritten Sammeln alternativer Ausführungsstränge Sammeln paralleler Ausführungsstränge Integration von Programmen Start von Prozessketten Start lokaler Prozessketten Start entfernter Prozessketten Zeitfenster Festgelegte Zeitfenster Initiierte Zeitfenster Quellsystemspezifische Zeitfenster 644

12 30 Organisation und Abfolge Kurse und globale Einstellungen übernehmen Master Data laden Change Run Extraktion in PSA Transformation: PSA in DataStore-Objekte Aktivieren von DataStore-Objekten Cube-Indizes löschen Transformation: DataStore-Objekte in Data Marts Cube-Indizes reparieren Datenbankstatistiken aktualisieren Hochrollen gefüllter Aggregate/BIA-Indizes Komprimieren Monitoring Anwendungs-Log Datenziel-Administration Monitoring von Prozessketten Überblick über ausgewählte Prozessketten Monitoring einer ausgewählten Prozesskette Detailinformationen eines ausgewählten Prozessschritts " Monitoring von Ladeprozessen Monitoring von Extraktionsprozessen Monitoring von Datentransferprozessen Fehlersuche in Datentransferprozessen Monitoring der Realtime Data Acquisition Modell-Trimming Trimming der Range-Partitionierung Monitoring und Fehlerbehandlung Trimming von Dimensionen « Trimming von Delta-Indizes im BIA Trimming von Faktentabellen im BIA Trimming der Index-Verteilung im BIA Information Lifecycle Management ILM bei BasisCubes und DataStore-Objekten Archivierung Löschen Restore 729

13 33.2 ILM bei Master Data ILM bei PSA und Change Log ILM bei Monitor-Informationen Archivierung Löschen Restore ILM bei Anwendungsprotokollen ILM bei BW-Statistikdaten 740 VI Anhang 743 A Währungsumrechnung 745 A.l Umrechnungskurse/Umrechnungsfaktoren 745 A.l.l Festlegung von Umrechnungskursen 746 A.1.2 Pflege von Umrechnungsfaktoren 747 A.2 Umrechnungsarten 748 A.2.1 Kurstyp 748 A.2.2 Quellwährung 749 A.2.3 Zielwährung 751 A.2.4 Zeitbezug 752 A.3 Globale Einstellungen 753 A.3.1 Währungen 753 A.3.2 Maßeinheiten. 754 A.3.3 Geschäftsjahres Varianten 754 A.3.4 "Kalender 755 A.3.5 Übernahme aus SAP ERP 755 A.4 Kurse 755 A.4.1 Übernahme aus ERP-Systemen 756 A.4.2 Übernahme aus Fiatfiles 757 B Logische Dateien und Pfade 759 C Transportwesen 763 C.l BW-Transportwesen 765 C.l.l Transportanschluss 767 C.l.2 Umsetzung von Quellsystembezügen im Staging 775 C.l.3 Transport von Prozessketten 777 C.l.4 Transporte in Large-Scale-Architekturen 778 C.l.5 Entwicklungen im Produktivsystem 780 > C.l.6 Einrichten von Quellsystemen 781 C.2 Content-Transportwesen 783 C.2.1 Content-Entwicklung 785 C.2.2 Content-Auslieferung 789 C.3 Metadaten im XMI-Format 790

14 D Verwendung von Metadaten-Content 797 D.l Bl Content der SAP-ERP-Quellsysteme 798 D.2 Bl Content des BW 800 D.2.1 Demo-Content 802 D.2.2 Technischer Content 802 E Übersichten,_ 811 E.l Sperrlogik von Prozessen 811 E.2 Platzhalter 812 E.3 Eigenschaften von Adaptern. 813 F Abkürzungsverzeichnis 815 Stichwortverzeichnis 819