Datawarehousing mit SAP BW 7. Bl in SAP NetWeaver 2004s. Architektur, Konzeption, Implementierung. Christian Mehrwald. 5., korrigierte Auflage

Transkript

1 Christian Mehrwald Datawarehousing mit SAP BW 7 Bl in SAP NetWeaver 2004s Architektur, Konzeption, Implementierung 5., korrigierte Auflage wab5l ;1B dpunkt.verlag

2 1 Einleitung 1 I Architektur 5 1 i 2 Architektur-Komponenten Extraktionsschicht Data Warehouse Decision-Support-Schicht 14 3 SAP NetWeaver Application Platform Kommunikationsschnittstellen File und BAPI Internet Communication Framework J2EE Connector Architecture 28 4 Metadaten-Repository Objekte der Datenbank Objekte des ABAP Dictionary Domänen Datenelemente Tabellen Entwicklungsnamensräume BW-Objekte BW-Namensräume 43

3 Datenmodell 45. i 5 Allgemeine Datenmodelle Grundlagen der Datenmodellierung Merkmale Attribute Kennzahlen Status Tracking Transaktionale Strukturen Flache Strukturen Star-Schema Snowflake-Schema Zusammenfassung 57 6 Das BW-Datenmodell InfoObjekte Merkmale Zeiten Kennzahlen Einheiten Master Data Texte Stammdaten eines Merkmals Explizite Anzeigeattribute Referenzierende Merkmale Externe Hierarchien ^> Zusammenfassung DataStore-Objekte Schlüsselfelder Datenfelder BasisCubes Faktentabelle SID-Einträge in Dimensionstabellen Dimensionen Line-Item-Dimensionen Realtime InfoCubes Quellsystemabhängige Daten 117

4 7 Performance-Tuning Aggregate Initiales Füllen von Aggregaten Hierarchie- und Attributsänderungen Indizierung Indexeinsatz bei BasisGubes Indexeinsatz bei DataStore-Objekten Indexeinsatz bei InfoObjekten Optimizer-Statistiken : Partitionierung und Clustering Range-Partitionierung Clustering Modell-Partitionierung Dedizierter OLAP-Speicher (BIA) Anbindung des BIA an das SAP BW Administration des BIA im BW Struktur der Cube-e Organisation der Cube-e Anlegen und Füllen von BIA-Indizes Hierarchie- und Attributsänderungen Grundregeln zur Datenmodellierung Modellierung von BasisCubes Modellierung von InfoObjekten Modellierung von Hierarchien Modellierung von Partnerrollen Modellierung von Kennzahlen 198~ Kennzahlen mit Merkmals-Charakter Gruppierte Kennzahlen Berechnete Kennzahlen Datenmodellierung in der DWWB Modellierung von InfoObjekten Modellierung von BasisCubes Re-Modellierung von Dimensionstabellen Re-Modellierung der Faktentabelle Nachträgliche Nullwert-Eliminierung Modellierung von DataStore-Objekten Mehrdimensionales Clustering 231

5 Farbtafel: Drei-Schichten-Architektur des BW III Analytical Engine 235 i - i 10 Zugriff auf physische InfoProvider Zugriff auf BasisCubes Status der Staging Engine Teilabfragen Zugriff auf DataStore-Objekte Zugriff auf InfoObjekte Virtuelle InfoProvider MultiProvider Zusammenführung von Daten Bilden von Sub-Queries InfoSets InfoObjekte in InfoSets DataStore-Objekte in InfoSets BasisCubes in InfoSets Service-InfoCubes Übergabe von Selektionsbedingungen Import-/Exportparameter OLAP-Caching und Zugriffsfolgen Lokaler Cache Gesamtlesen der Daten ^ Nachlesen der Daten Nachlesen beim Expandieren der Hierarchie Globaler Cache Hauptspeicher-Cache Persistenter Cache Cache-Invalidierung BIA-Indizes Aggregate Monitoring der Analytical Engine Query Monitor Runtime-Statistiken der Analytical Engine 303

6 IV Extraktion & Staging 311 i ' i 14 Extraction Layer Metadaten des Extraction Layer Datenquellen und Datenstrukturen Anwendungskomponentenhierarchie Unterstützte Delta-Verfahren Extraktion aus SAP ERP Definition generischer DataSources Erweiterung von DataSources Extraktion aus BW-Systemen Extraktion aus Datenbanksystemen Extraktion aus Dateien Dateiformat Datenstruktur Extraktion mittels Web Services Extraktion aus JDBC-, XML/A- und ODBO-Quellen Einrichten eines Bl JDBC Connectors Einrichten eines Bl ODBO Connectors Einrichten eines Bl XML/A Connectors Einrichten eines Bl SAP Query Connectors Extraktion mit 3rd party ETL-Tools Inflow Layer Metadaten zu Quellsystemen Einrichten von SAP-ERP-Quellsystemen Einrichten von BW-Systemen Einrichten eines DB Connect Einrichten von Fiatfiles Einrichten von Web-Service-Systemen Einrichten eines Universal Data Connect Einrichten von 3rd party ETL-Tools Quellsystem-IDs Metadaten zu DataSources Extraktionsquelle Datenstruktur Input-Konvertierung Selektionsfelder Delta-Verfähren Bestandskennzahlen 398

7 I xvi Inhält 15.3 Persistant Staging Area (PSA) Definition von Extraktionsvorgängen Datenselektion Extraktion Verarbeitung Fortschreibung Einplanung Transformation Layer InfoSources Persistieren von Rohdaten Integration Layer Bewegungsdaten im Integration Layer Persistenz Delta-Bildung Datenintegration Master Data im Integration Layer Data Mart Layer Bewegungsdaten im Data Mart Layer Schematransformation Aggregation Filterung Prozessintegration Abstraktion Modelltransformation Währungsumrechnung > Stammdaten im Data Mart Layer Open-Hub-Destinationen im Data Mart Layer Definition von Transformationen Globale Datendeklarationen Startroutine Regeln und Regelgruppen Zuweisung von Konstanten Direkte Zuweisung Stammdatenattribut eines InfoObjektes Routinen Formeln Konvertierungsexit Behandlung von Einheiten 467

8 xvii 19.4 Aggregationsarten : Aggregationsarten bei BasisCubes Aggregationsarten bei DataStore-Objekten Aggregationsarten bei InfoObjekten ' Aggregationsarten bei InfoSources Aggregationsarten bei Open-Hub- Destinationen Endroütine : Expertenroutine Definition von Ladevorgängen Extraktionsmodus Filter OLAP-Variable Routine Verarbeitungsmodus Direktes Staging Definition von Metadaten Anlegen einer 3.x-DataSource Selektionsfelder Hierarchieeigenschaften Definition von Übertragungsregeln Startroutine Direkte Zuweisung Zuweisung von Konstanten ABAP-Routinen Formeln Input-Konvertieruhg Quellsystemabhängige Daten Definition von Extraktionsvorgängen Fremddaten Hierarchieauswahl Verarbeitung Echtzeit-Staging Realtime Data Acquisition RDA im Extraction Layer RDA im BW-Staging Steuerung der Realtime Data Acquisition Direktzugriff Virtual Provider mit Staging-Anschluss Virtual Provider mit BAPI 539

9 xviii 23 Datenqualität Bewertung der Extraktion Konsistenzprüfung Stammdaten-Integrität Referenzielle Integrität Behandlung von Fehlern Systemverhalten ohne Fehlerbehandlung Fortführung der Prüfung Fortführung der Verbuchung Performance-Tuning Parallelisierung von Extraktion und Staging Parallelisierung im Extraktor Parallelisierung in der Transformation Parallelisierung beim direkten Staging Paketbildung Voraussetzungen für die Parallelisierung Parallelisierung in RDA-Szenarien Eingangsverarbeitung in der PSA Indexverwaltung Komprimierung von BasisCubes Aktivieren neuer Daten in DataStore-Objekten Vereinfachung der Delta-Ermittlung Begrenzung des Hauptspeicherbedarfs Vermeidung von SID-Ermittlungen Verzicht auf Optimizer-Statistiken.-^ Clustering von DataStore-Objekten Verwaltung von Aggregaten Roll-Up-Hierarchie Delta-Verfahren des Change Run Blockgröße für den Neuaufbau Prä-Analyse des Füllvorgangs ' Roll Up auf BIA-Indizes 599

10 V BW-Design 603 i i 25 Partitionierte InfoProvider Partitioniertes Staging Large-Scale-Architekturen Replizierende Architektur Aggregierende Architektur Virtuelle Hub-and-Spoke-Architektur 614 VI BW im Produktivbetrieb 617 i " ' ' ' 1 28 Prozessketten Event-Steuerung des BW-Basissystems Steuerungskonzept der Prozessketten Verkettung von Prozessschritten Sammeln alternativer Ausführungsstränge Sammeln paralleler Ausführungsstränge Integration von Programmen Start von Prozessketten Start lokaler Prozessketten Start entfernter Prozessketten Zeitfenster Festgelegte Zeitfenster Initiierte Zeitfenster Quellsystemspezifische Zeitfenster Organisation und Abfolge Kurse und globale Einstellungen übernehmen Master Data laden Change Run Extraktion in PSA Transformation: PSA in DataStore-Objekte Aktivieren von DataStore-Objekten Cube-Indizes löschen Transformation: DataStore-Objekte in Data Marts Cube-Indizes reparieren 671

11 30.10 Datenbankstatistiken aktualisieren Hochrollen gefüllter Aggregate/BIA-Indizes Komprimieren Monitoring Anwendungs-Log Dätenziel-Administration Monitoring von Prozessketten Überblick über ausgewählte Prozessketten Monitoring einer ausgewählten Prozesskette Detailinformationen eines ausgewählten Prozessschritts Monitoring von Ladeprozessen Monitoring von Extraktionsprozessen Monitoring von Datentransferprozessen Fehlersuche in Datentransferprozessen Monitoring der Realtime Data Acquisition Modell-Trimming Trimming der Range-Partitionierung Monitoring und Fehlerbehandlung Trimming von Dimensionen Trimming von Delta-Indizes im BIA Trimming von Faktentabellen im BIA Trimming der Index-Verteilung im BIA "V> Information Lifecycle Management ILM bei BasisCubes und DataStore-Objekten Archivierung Löschen Restore ILM bei Master Data ILM bei PSA und Change Log ILM bei Monitor-Informationen Archivierung Lö.schen Restore ILM bei Anwendungsprotokollen ILM bei BW-Statistikdaten 748

12 VI Anhang 751 i i A Währungsumrechnung 753 A.l Umrechnungskurse/Umrechnungsfaktoren 754 A.2 Währungsumrechnungsarten 757 A.2.1 Kurstyp 757 A.2.2 Quellwährung 759 A.2.3 Zielwährung 761 A.2.4 Zeitbezug 761 B Mengenumrechnung 763 B.l Umrechnungsfaktoren 764 B.2 Mengenumrechnungsarten 767 B.2.1 Quell- und Zielmengeneinheit 768 B.2.2 Ermittlung des Umrechnungsfaktors 770 C Logische Dateien und Pfade 773 D Transportwesen 777 D.l BW-Transportwesen 779 D.l.l Transportanschluss 781 D.1.2 Umsetzung von Quellsystembezügen im Staging 789 D.I.3 Transport von Prozessketten 791 D.I.4 Transporte in Large-Scale-Architekturen 792 D.I.5 Entwicklungen im Produktivsystem 794 D.I.6 Einrichten von Quellsystemen 795 D.2 Content-Transportwesen 797 D.2.1 Content-Entwicklung 799- D.2.2 Content-Auslieferung 803 D.3 Metadaten im XMI-Format 804 E Verwendung von Metadaten-Content 811 E.l Bl Content der SAP-ERP-Quellsysteme 812 E.2 Bl Content des BW 814 E.2.1 Demo-Content 816 E.2.2 Technischer Content 816 F Übersichten 825 F.l Sperrlogik von Prozessen 825 F.2 Platzhalter 826 F.3 Eigenschaften von Adaptern 827 G Abkürzungsverzeichnis, 829 Stichwortverzeichnis 833