PBS CBW NLS ADK / IQ. Überblick und Neuigkeiten zu den PBS Nearline-Storage-Lösungen. Dr. Jörg Löw, Dr. Christoph Bedau, PBS Software GmbH

Transkript

1 PBS CBW NLS ADK / IQ Überblick und Neuigkeiten zu den PBS Nearline-Storage-Lösungen Dr. Jörg Löw, Dr. Christoph Bedau, PBS Software GmbH

2 Agenda PBS-Konzept für Nearline Storage und ILM (Information Lifecycle Management) PBS CBW NLS ADK-basiert PBS CBW NLS IQ-basiert Zusammenfassung 2 PBS Software GmbH, 24. Juni 2011

3 Integriertes Nearline/Archiv-Konzept Query, Ad-hoc Analyse DB + Archiv/IQ Nearline Datenbank (Sybase IQ) Nearline Interface PBS NLS-Services für ADK und Sybase IQ SAP NetWeaver BW SAP NetWeaver BW Datenbank Ablage-System SAP-Archivdateien PBS-Aggregate/Indizes 3 PBS Software GmbH, 24. Juni 2011

4 PBS CBW-Lösungen für SAP NetWeaver BW Archivierungs- und Zugriffsverfahren SAP BW Release PBS-Lösung ADK (pur) ADK IQ NLS ADK NLS IQ 3.x PBS add-on CBW X 3.5 PBS add-on CBW für IQ X X 7.x PBS CBW NLS X X 7.x PBS CBW NLS IQ X X X X 4 PBS Software GmbH, 24. Juni 2011

5 PBS CBW Nearline-Storage-Lösungen Nearline-Storage-Lösungen PBS CBW NLS ADK/ IQ PSA-Archivierung InfoCubes und DSO Datenextrakte (GDPdU) ADK oder Sybase IQ Schreiben und Löschen Lesen und Rückladen Fortschreiben Request-basiert Zugriff über NLS Interface (N) Zugriff über V, M Provider ADK: ADK-Aggregate, ADK-Indizes, Zugriffsmonitor IQ: Laden in Sybase IQ, Lesen, Snapshots, Hierarchien, Navigationsattribute, Verifikation, Monitoring CBW Data Export Interface Datenquellen: Datenbank, Archiv, Nearline Datentypen: InfoCubes, DSO Stammdaten und Texte Transparente Tabellen Extraktformat: SAP-AIS (DART) 5 PBS Software GmbH, 24. Juni 2011

6 CBW NLS ADK: ADK-Archivierung und NLS-Services Cubes DSO PSA BW-Datenbank DAP ADK SAP-Archivdatei (sequentiell) CBW Cockpit PBS Aggregate ADK + Nearline-Service Transfer in seq. Dateien Kompression typ. 1:10 Rückladen aus ADK Fortschreiben über NLS CBW-NLS- Service ADK Verwaltungsdaten High-Level-Statistiken PBS Index extern, ADK-Format 6 PBS Software GmbH, 24. Juni 2011

7 SAP ArchiveLink CBW NLS ADK Integration in Infrastruktur BW-Datenbank Archivdaten - Dateisystem - Archivdaten - Archivsystem - BW Query DB + Archiv SAP-Dateisystem Externes Archivsystem ContentLink SAP NetWeaver BW -online- Archiv- Daten Archiv- Daten SAP NetWeaver BW Database PBS Index PBS Aggregate PBS Index PBS Aggregate 7 PBS Software GmbH, 24. Juni 2011

8 CBW NLS ADK: Query-Reporting DB und Archiv lesen (in Query-Attributen aktivieren) SAP BW Query InfoCube DataStore Objekt SAP Nearline Provider PBS Nearline Service für ADK PBS Aggregate ADK SAP BW Datenbank PBS Index SAP Archiv ADK ADK ADK-Dateien Kompression 1: 10 8 PBS Software GmbH, 24. Juni 2011

9 Query-Zugriff mit NLS Query Monitor (RSRT): Einstellen der SAP BW Queries für NLS-Zugriff Zugriff auf Daten aus der SAP BW-Datenbank + Nearline Storage 9 PBS Software GmbH, 24. Juni 2011

10 MultiProvider-Integration unter BW 7.0 DB lesen BW Query Archiv lesen DB + Archiv InfoCube DataStore-Objekt Multi Provider Virtual Provider PBS NLS Interface SAP BW Datenbank PBS Aggregate PBS Index SAP Archiv 10 PBS Software GmbH, 24. Juni 2011

11 CBW Administration Cockpit Auswahl des InfoProviders Modellieren der CBW-Infrastruktur (Archiv-Aggregate und -Indizes) Generieren von VirtualProvider (mit Einbinden in MultiProvider) Erzeugen und Verwalten der Aggregat- und Indexdaten Zusätzliche Utilities 11 PBS Software GmbH, 24. Juni 2011

12 Aggregat-Modellierung für CBW NLS ADK PBS-Archivaggregate werden über gewohnte Masken administriert. Zur Definition der Aggregate können BW-Aggregate, Queries oder Archiv- Aggregate von anderen InfoProvidern verwendet werden. 13 PBS Software GmbH, 24. Juni 2011

13 Performance bei Archiv-Aggregaten Sorgfältige Query-Analyse ist entscheidend für gute Aggregate: Aggregation 10 gegenüber Archivdaten Abstimmung auf die am häufigsten verwendeten Queries Passend für viele Queries regelmäßige Verwendung Erreichen akzeptabler Antwortzeiten Beispiel: InfoCube mit 100 Millionen Einträgen Ziel: Antwortzeit kleiner als eine Minute Bedarf: Aggregat mit Verdichtung 100 (weniger als 1 Mio. Einträge) Für Queries ohne größere Selektionseinschränkung 14 PBS Software GmbH, 24. Juni 2011

14 Index-Modellierung für CBW NLS ADK Flexible Index- und Indexattribut-Selektion Voreingestellte Werte zur einfachen Auswahl Indizes können jederzeit beliebig hinzugefügt oder geändert werden Zusätzliche Diagnoseund Hilfsfunktionen Index-Auswahl 15 PBS Software GmbH, 24. Juni 2011

15 Neuerungen CBW NLS ADK Archive Access Monitor: Übersicht über Archivzugriff (insgesamt, per Zugriffsmethode), detaillierte Protokollierung/Auswertung von einzelnen Zugriffen, geeignet zur Performance-Optimierung Automatische Aktualisierung des VirtualProviders und MultiProviders bei strukturellen Änderungen des InfoProviders Default-Einstellungen Index/Aggregate Klonen/Übernehmen von Aggregaten Unterstützung des Löschens von NLS-Daten (ab 7.3 SP5) Unterstützung von FOR ALL ENTRIES für erweiterten Look-up auf NLS Automatisches Setzen des NLS Flags bei neuen Queries (nur 7.0) 16 PBS Software GmbH, 24. Juni 2011

16 Archivierungsoptionen CBW NLS IQ Nearline Storage: Sybase IQ Schreiben ADK-Dateien optional Cubes DSO PSA BW-Datenbank DAP ADK SAP-Archivdatei Sybase IQ 18 PBS Software GmbH, 24. Juni 2011

17 Systemlandschaft - Software-Komponenten im Simplex-Betrieb SAP BW DB PBS Server Sybase IQ SAP BW SAP ERP DB DB 19 PBS Software GmbH, 24. Juni 2011

18 Systemlandschaft - Administration und Überwachung Administrationsaufwand im Normalbetrieb Backup der Sybase IQ-Datenbank und des PBS-Servers (automatisierbar unter Unix). Keine Indexmodellierung und keine Aggregatmodellierung Überwachung mittels PBS Watchdog Alert-Monitor mit Mail-Funktion. Verfügbarkeit der Sybase IQ-Datenbank. Verfügbarkeit des PBS-Servers. Füllgrad der Sybase IQ-Datenbank. Aktualität von Snapshots: - Stammdaten und Hierarchien - InfoCubes und DSO 20 PBS Software GmbH, 24. Juni 2011

19 Optimale Query-Performance Möglichkeiten der Query-Auswertung von Nearline-Daten Setzen des Flags Nearline Storage in Query-Eigenschaften (ab 7.30 auch bei MultiProvider) Einbinden eines zusätzlichen virtuellen Providers in einen MultiProvider Möglichkeit 2 aufwendiger, ist aber variabler in Bezug auf Performance- Optimierung, da der virtuelle Provider konfigurierbar ist. Navigationsattribute Hierarchieunterstützung exakte Datenlieferung 21 PBS Software GmbH, 24. Juni 2011

20 Query-Auswertung mit Multiprovider BW Query DB + Archiv InfoCube DataStore-Objekt Multi Provider Virtual Provider PBS NLS-Interface SAP BW Datenbank Sybase IQ Spaltenbasierte Data Warehouse DB, Kompression bis 1:10 22 PBS Software GmbH, 24. Juni 2011

21 Navigationsattribute und Hierarchien Herunter brechen auf Basismerkmale vervielfacht die angeforderten Daten (z.b. VKORG mit durchschnittlich Kunden => Untersumme über VKORG, fache Anzahl Datensätze). Stammdaten und Hierarchien müssen im SAP-System nachgelesen werden. Verdichtung muss mit ABAP-Mitteln erfolgen. Query-Verarbeitung mit virtuellem Provider kann das Ergebnis passgenau zusammenstellen. Voraussetzung: Stammdaten und Hierachien müssen als Snapshot in der Sybase IQ kopiert werden. 23 PBS Software GmbH, 24. Juni 2011

22 Situation mit Stammdaten-Snapshot In Query benötigte Daten Daten aus Nearline Storage Sybase IQ Merkmale Kennzahlen Stammdatenattribute Hierarchieknoten Merkmale Kennzahlen Stammdatenattribute Hierarchieknoten SQL Kommando join InfoProvider Stammdaten Hierarchiestruktur 24 PBS Software GmbH, 24. Juni 2011

23 Exakte Datenlieferung Existiert bei einer Query eine Einschränkung auf ein Feld, das selbst im Ergebnis nicht auftaucht, muss es trotzdem gefüllt werden. Grund : OLAP-Filter benötigt Untersummen Beispiel: Abgrenzung auf Belegnummernintervall, Summation auf Ebene VKORG => Untersumme auf Ebene Belegnummer wird verlangt => riesige Rückgabeliste Durch Aktivieren des Flags exakte Datenlieferung kann der OLAP-Filter deaktiviert und die selektierte Datenmenge reduziert werden. 25 PBS Software GmbH, 24. Juni 2011

24 Snapshot InfoProvider Direkter Vergleich von Ergebnissen und Laufzeiten zwischen Nearline und SAP Original Snapshot des InfoProviders in Sybase IQ Querys können per virtuellem Provider auf Snapshot zugreifen. Deltabeladung bei InfoCubes möglich, daher Snapshot immer aktuell. Aktualisierungsprogramm in Prozesskette planbar. Verifikation der kopierten Daten möglich (analog Archivierung). 26 PBS Software GmbH, 24. Juni 2011

25 Verwendung zu Testzwecken Original Query kopierte Test-Query MultiProvider MultiProvider InfoCube InfoCube InfoCube Virtual Provider Virtual Provider Virtual Provider PBS NLS-Interface SAP BW Datenbank Sybase IQ Snapshots der InfoCubes 27 PBS Software GmbH, 24. Juni 2011

26 Produktivnutzung der InfoCube Snapshots 1. SAP Standard Nearline Verfahren: InfoProvider bleibt für künftige Requests mit Daten aus der archivierte Zeitscheibe gesperrt => Bei InfoCubes kann durch Schreiben der Snapshots, Verifikation und Löschen der Daten eine Archivierung durchgeführt werden. 2. Zur Verbesserung der Laufzeit kann ein Snapshot des nicht archivierten Teils des Cubes durchgeführt werden. MultiProvider VP Archiv VP Snapshot 28 PBS Software GmbH, 24. Juni 2011

27 Fremdsystemzugriff Lesezugriff auf Produktionsdaten im Testsystem möglich Test von neuen Programmversion bzw. neu erstellter Querys außerhalb der Produktion möglich. Plattenplatzersparnis, da Daten nur einmal vorgehalten werden müssen. Sicherheit durch Verbindung, in der ein Verändern der Daten unmöglich ist. 29 PBS Software GmbH, 24. Juni 2011

28 Customizing Interface-Instanz mit Leseverbindung wird auf Server gestartet. RFC-Verbindung wird eingerichtet. Fremdsystem wird im Monitor erfasst und Lesepräferenzen ausgewählt. 30 PBS Software GmbH, 24. Juni 2011

29 Zugriffsschema SAP-System Testsystem T01 Stammdaten-Snapshot Testsystem Produktivsystem P01 read only Archivierte Daten o. Bewegungsdaten-Snapshot Produktivsystem Stammdaten-Snapshot Produktivsystem 31 PBS Software GmbH, 24. Juni 2011

30 Vorteile/Stärken der PBS Nearline-Lösungen CBW NLS ADK ADK Bewährte Archivierungstechnik (SAP R/3, ERP) Hohe Datenkompression, typ. 1:10 Reine Softwarelösung keine zusätzliche HW notwendig Optionale Aggregation und Indizierung Revisionssichere Datenablage via SAP ArchiveLink CBW NLS IQ Effizienter NLS-Datentransfer sehr schnelles Laden in die IQ Spaltenbasierte Datenablage (Vektor-DB) benötigt keine Aggregation und keine Indizierung Hohe Datenkompression, typ. 1:10 Geeignet für Ad-hoc Queries mit Archiv- /Nearline-Datenzugriff Sehr geringer Administrationsaufwand Für sehr große Datenmengen optimal geeignet Sehr schnell auch bei hoher System- und Datenlast Geeignet für sehr große InfoCubes und Systeme mit sehr vielen Queries 32 PBS Software GmbH, 24. Juni 2011

31 Vielen Dank für Ihre Aufmerksamkeit! PBS Software GmbH Schwanheimer Strasse 144a Bensheim Telefon: Fax: info@pbs-software.com Internet:

32 Copyright Copyright 2011 PBS Software GmbH. Alle Rechte vorbehalten. Weitergabe und Vervielfältigung dieser Präsentation oder von Teilen daraus sind, zu welchem Zweck und in welcher Form auch immer, ohne die ausdrückliche schriftliche Genehmigung durch PBS Software GmbH nicht gestattet. In dieser Publikation enthaltene Informationen können ohne vorherige Ankündigung geändert werden. Microsoft, Windows sind eingetragene Marken der Microsoft Corporation. IBM, IBM DR550, IBM TSM und SSAM sind Marken oder eingetragene Marken der IBM Corporation. Linux ist eine eingetragene Marke von Linus Torvalds in den USA und anderen Ländern. UNIX ist in den USA und anderen Ländern ein eingetragenes Warenzeichen, das ausschließlich durch X/Open Company Limited lizenziert ist. HP, HP-UX11 Apache sind Marken oder eingetragene Marken der Hewlett-Packard Company. EMC, EMC Centera, EMC Celerra sind Marken oder eingetragene Marken der EMC Corporation Hitachi, Hitachi HCAP, Hitachi HCP sind Marken oder eingetragene Marken von Hitachi Ltd. NetApp, NetApp Filer sind Marken oder eingetragene Marken von NetApp Corporation. Sybase IQ ist eingetragenes Warenzeichen von Sybase an SAP Company. PBS archive add ons ist eine eingetragene Marke der PBS Software GmbH. SAP, R/3, SAP NetWeaver, SAP NetWeaver Business Warehouse, SAP Industry Solutions und weitere im Text erwähnte SAP-Produkte und -Dienstleistungen sowie die entsprechenden Logos sind Marken oder eingetragene Marken der SAP AG in Deutschland und anderen Ländern weltweit. Alle anderen Namen von Produkten und Dienstleistungen sind Marken der jeweiligen Firmen. Die Angaben im Text sind unverbindlich und dienen lediglich zu Informationszwecken. PBS Software GmbH übernimmt keinerlei Haftung oder Garantie für Fehler oder Unvollständigkeiten in dieser Publikation und steht lediglich für Produkte und Dienstleistungen nach der Maßgabe ein, die in der Vereinbarung über die jeweiligen Produkte und Dienstleistungen ausdrücklich geregelt ist. Aus den in dieser Publikation enthaltenen Informationen ergibt sich keine weiterführende Haftung. 34 PBS Software GmbH, 24. Juni 2011