Datawarehousing mit SAP BW 7 (BI in SAP NetWeaver 2004s)

Transkript

1 Datawarehousing mit SAP BW 7 (BI in SAP NetWeaver 2004s) Architektur, Konzeption, Implementierung von Christian Mehrwald überarbeitet Datawarehousing mit SAP BW 7 (BI in SAP NetWeaver 2004s) Mehrwald schnell und portofrei erhältlich bei beck-shop.de DIE FACHBUCHHANDLUNG Thematische Gliederung: Datenbankmodelle, Datenbanktheorien dpunkt.verlag 2007 Verlag C.H. Beck im Internet: ISBN

2 ix Übersicht 1 Einleitung 1 I Architektur 5 2 Architektur-Komponenten 7 3 BW-Basissystem 17 4 Metadaten-Repository 33 II Datenmodell 45 5 Allgemeine Datenmodelle 47 6 Das BW-Datenmodell 59 7 Performance-Tuning Grundregeln zur Datenmodellierung Datenmodellierung in der DWWB 201 III Analytical Engine Zugriff auf physische InfoProvider Virtuelle InfoProvider OLAP-Caching und Zugriffsfolgen Monitoring der Analytical Engine 297 IV Extraktion & Staging Extraction Layer Inflow Layer Transformation Layer Integration Layer 417

3 x Übersicht 18 Data Mart Layer Definition von Transformationen Definition von Ladevorgängen Direktes Staging Echtzeit-Staging Datenqualität Performance-Tuning 555 V BW-Design Partitionierte InfoProvider Partitioniertes Staging Large-Scale-Architekturen 601 VI BW im Produktivbetrieb Prozessketten Zeitfenster Organisation und Abfolge Monitoring Modell-Trimming Information Lifecycle Management 719 VI Anhang 743 A Währungsumrechnung 745 B Logische Dateien und Pfade 759 C Transportwesen 763 D Verwendung von Metadaten-Content 797 E Übersichten 811 F Abkürzungsverzeichnis 815 Stichwortverzeichnis 819

4 xi Inhalt 1 Einleitung 1 I Architektur 5 2 Architektur-Komponenten Extraktionsschicht Data Warehouse Decision-Support-Systeme BW-Basissystem Kommunikationsschnittstellen File und BAPI Internet Communication Framework J2EE Connector Architecture Metadaten-Repository Objekte der Datenbank Objekte des ABAP Dictionary Domänen Datenelemente Tabellen Entwicklungsnamensräume BW-Objekte BW-Namensräume II Datenmodell 45 5 Allgemeine Datenmodelle Grundlagen der Datenmodellierung Merkmale Attribute

5 xii Inhalt Kennzahlen Status Tracking Transaktionale Strukturen Flache Strukturen Star-Schema Snowflake-Schema Zusammenfassung Das BW-Datenmodell InfoObjekte Merkmale Zeiten Kennzahlen Einheiten Master Data Texte Stammdaten eines Merkmals Explizite Anzeigeattribute Referenzierende Merkmale Externe Hierarchien Zusammenfassung DataStore-Objekte Schlüsselfelder Datenfelder BasisCubes Faktentabelle SID-Einträge in Dimensionstabellen Dimensionen Line-Item-Dimensionen Realtime InfoCubes Quellsystemabhängige Daten Performance-Tuning Aggregate Initiales Füllen von Aggregaten Hierarchie- und Attributsänderungen Indizierung Indexeinsatz bei BasisCubes Indexeinsatz bei DataStore-Objekten Indexeinsatz bei InfoObjekten Optimizer-Statistiken

6 Inhalt xiii 7.3 Partitionierung und Clustering Range-Partitionierung Clustering Modell-Partitionierung Dedizierter OLAP-Speicher (BIA) Anbindung des BIA an das SAP BW Administration des BIA im BW Struktur der Cube-Inhalte Organisation der Cube-Inhalte Anlegen und Füllen von BIA-Indizes Hierarchie- und Attributsänderungen Grundregeln zur Datenmodellierung Modellierung von BasisCubes Modellierung von InfoObjekten Modellierung von Hierarchien Modellierung von Partnerrollen Modellierung von Kennzahlen Kennzahlen mit Merkmals-Charakter Gruppierte Kennzahlen Berechnete Kennzahlen Datenmodellierung in der DWWB Modellierung von InfoObjekten Modellierung von BasisCubes Re-Modellierung von Dimensionstabellen Re-Modellierung der Faktentabelle Nachträgliche Nullwert-Eliminierung Modellierung von DataStore-Objekten Mehrdimensionales Clustering III Analytical Engine Zugriff auf physische InfoProvider Zugriff auf BasisCubes Status der Staging Engine Teilabfragen Zugriff auf DataStore-Objekte Zugriff auf InfoObjekte

7 xiv Inhalt 11 Virtuelle InfoProvider MultiProvider Zusammenführung von Daten Bilden von Sub-Queries InfoSets InfoObjekte in InfoSets DataStore-Objekte in InfoSets BasisCubes in InfoSets Service-InfoCubes Übergabe von Selektionsbedingungen Import-/Exportparameter OLAP-Caching und Zugriffsfolgen Lokaler Cache Gesamtlesen der Daten Nachlesen der Daten Nachlesen beim Expandieren der Hierarchie Globaler Cache Hauptspeicher-Cache Persistenter Cache Cache-Invalidierung BIA-Indizes Aggregate Monitoring der Analytical Engine Query Monitor Runtime-Statistiken der Analytical Engine IV Extraktion & Staging Extraction Layer Metadaten des Extraction Layer Datenquellen und Datenstrukturen Anwendungskomponentenhierarchie Unterstützte Delta-Verfahren Extraktion aus SAP ERP Definition generischer DataSources Erweiterung von DataSources Extraktion aus BW-Systemen Extraktion aus Datenbanksystemen Extraktion aus Dateien Dateiformat Datenstruktur

8 Inhalt xv 14.6 Extraktion mittels Web Services Extraktion aus JDBC-, XML/A- und ODBO-Quellen Einrichten eines BI JDBC Connectors Einrichten eines BI ODBO Connectors Einrichten eines BI XML/A Connectors Einrichten eines BI SAP Query Connectors Extraktion mit 3rd party ETL-Tools Inflow Layer Metadaten zu Quellsystemen Einrichten von SAP-ERP-Quellsystemen Einrichten von BW-Systemen Einrichten eines DB Connect Einrichten von Flatfiles Einrichten von Web-Service-Systemen Einrichten eines Universal Data Connect Einrichten von 3rd party ETL-Tools Quellsystem-IDs Metadaten zu DataSources Extraktionsquelle Datenstruktur Input-Konvertierung Selektionsfelder Delta-Verfahren Bestandskennzahlen Persistant Staging Area (PSA) Definition von Extraktionsvorgängen Datenselektion Extraktion Verarbeitung Fortschreibung Einplanung Transformation Layer InfoSources Persistieren von Rohdaten Integration Layer Bewegungsdaten im Integration Layer Persistenz Delta-Bildung Datenintegration Master Data im Integration Layer

9 xvi Inhalt 18 Data Mart Layer Bewegungsdaten im Data Mart Layer Schematransformation Aggregation Filterung Prozessintegration Abstraktion Modelltransformation Währungsumrechnung Stammdaten im Data Mart Layer Open-Hub-Destinationen im Data Mart Layer Definition von Transformationen Globale Datendeklarationen Startroutine Regeln und Regelgruppen Zuweisung von Konstanten Direkte Zuweisung Stammdatenattribut eines InfoObjektes Routinen Formeln Konvertierungsexit Behandlung von Einheiten Aggregationsarten Aggregationsarten bei BasisCubes Aggregationsarten bei DataStore-Objekten Aggregationsarten bei InfoObjekten Aggregationsarten bei InfoSources Aggregationsarten bei Open-Hub-Destinationen Endroutine Expertenroutine Definition von Ladevorgängen Extraktionsmodus Filter OLAP-Variable Routine Verarbeitungsmodus Direktes Staging Definition von Metadaten Anlegen einer 3.x-DataSource Selektionsfelder Hierarchieeigenschaften

10 Inhalt xvii 21.2 Definition von Übertragungsregeln Startroutine Direkte Zuweisung Zuweisung von Konstanten ABAP-Routinen Formeln Input-Konvertierung Quellsystemabhängige Daten Definition von Extraktionsvorgängen Fremddaten Hierarchieauswahl Verarbeitung Echtzeit-Staging Realtime Data Acquisition RDA im Extraction Layer RDA im BW-Staging Steuerung der Realtime Data Acquisition Direktzugriff Virtual Provider mit Staging-Anschluss Virtual Provider mit BAPI Datenqualität Bewertung der Extraktion Konsistenzprüfung Stammdaten-Integrität Referenzielle Integrität Behandlung von Fehlern Systemverhalten ohne Fehlerbehandlung Fortführung der Prüfung Fortführung der Verbuchung Performance-Tuning Parallelisierung von Extraktion und Staging Parallelisierung im Extraktor Parallelisierung in der Transformation Parallelisierung beim direkten Staging Paketbildung Voraussetzungen für die Parallelisierung Parallelisierung in RDA-Szenarien Eingangsverarbeitung in der PSA Indexverwaltung Komprimierung von BasisCubes

11 xviii Inhalt 24.5 Aktivieren neuer Daten in DataStore-Objekten Vereinfachung der Delta-Ermittlung Begrenzung des Hauptspeicherbedarfs Vermeidung von SID-Ermittlungen Verzicht auf Optimizer-Statistiken Clustering von DataStore-Objekten Verwaltung von Aggregaten Roll-Up-Hierarchie Delta-Verfahren des Change Run Blockgröße für den Neuaufbau Prä-Analyse des Füllvorgangs Roll Up auf BIA-Indizes V BW-Design Partitionierte InfoProvider Partitioniertes Staging Large-Scale-Architekturen Replizierende Architektur Aggregierende Architektur Virtuelle Hub-and-Spoke-Architektur VI BW im Produktivbetrieb Prozessketten Event-Steuerung des BW-Basissystems Steuerungskonzept der Prozessketten Verkettung von Prozessschritten Sammeln alternativer Ausführungsstränge Sammeln paralleler Ausführungsstränge Integration von Programmen Start von Prozessketten Start lokaler Prozessketten Start entfernter Prozessketten Zeitfenster Festgelegte Zeitfenster Initiierte Zeitfenster Quellsystemspezifische Zeitfenster

12 Inhalt xix 30 Organisation und Abfolge Kurse und globale Einstellungen übernehmen Master Data laden Change Run Extraktion in PSA Transformation: PSA in DataStore-Objekte Aktivieren von DataStore-Objekten Cube-Indizes löschen Transformation: DataStore-Objekte in Data Marts Cube-Indizes reparieren Datenbankstatistiken aktualisieren Hochrollen gefüllter Aggregate/BIA-Indizes Komprimieren Monitoring Anwendungs-Log Datenziel-Administration Monitoring von Prozessketten Überblick über ausgewählte Prozessketten Monitoring einer ausgewählten Prozesskette Detailinformationen eines ausgewählten Prozessschritts Monitoring von Ladeprozessen Monitoring von Extraktionsprozessen Monitoring von Datentransferprozessen Fehlersuche in Datentransferprozessen Monitoring der Realtime Data Acquisition Modell-Trimming Trimming der Range-Partitionierung Monitoring und Fehlerbehandlung Trimming von Dimensionen Trimming von Delta-Indizes im BIA Trimming von Faktentabellen im BIA Trimming der Index-Verteilung im BIA Information Lifecycle Management ILM bei BasisCubes und DataStore-Objekten Archivierung Löschen Restore

13 xx Inhalt 33.2 ILM bei Master Data ILM bei PSA und Change Log ILM bei Monitor-Informationen Archivierung Löschen Restore ILM bei Anwendungsprotokollen ILM bei BW-Statistikdaten VI Anhang 743 A Währungsumrechnung 745 A.1 Umrechnungskurse/Umrechnungsfaktoren A.1.1 Festlegung von Umrechnungskursen A.1.2 Pflege von Umrechnungsfaktoren A.2 Umrechnungsarten A.2.1 Kurstyp A.2.2 Quellwährung A.2.3 Zielwährung A.2.4 Zeitbezug A.3 Globale Einstellungen A.3.1 Währungen A.3.2 Maßeinheiten A.3.3 Geschäftsjahresvarianten A.3.4 Kalender A.3.5 Übernahme aus SAP ERP A.4 Kurse A.4.1 Übernahme aus ERP-Systemen A.4.2 Übernahme aus Flatfiles B Logische Dateien und Pfade 759 C Transportwesen 763 C.1 BW-Transportwesen C.1.1 Transportanschluss C.1.2 Umsetzung von Quellsystembezügen im Staging 775 C.1.3 Transport von Prozessketten C.1.4 Transporte in Large-Scale-Architekturen C.1.5 Entwicklungen im Produktivsystem C.1.6 Einrichten von Quellsystemen C.2 Content-Transportwesen C.2.1 Content-Entwicklung C.2.2 Content-Auslieferung C.3 Metadaten im XMI-Format

14 Inhalt xxi D Verwendung von Metadaten-Content 797 D.1 BI Content der SAP-ERP-Quellsysteme D.2 BI Content des BW D.2.1 Demo-Content D.2.2 Technischer Content E Übersichten 811 E.1 Sperrlogik von Prozessen E.2 Platzhalter E.3 Eigenschaften von Adaptern F Abkürzungsverzeichnis 815 Stichwortverzeichnis 819