Gegen den MainStream Datenarchivierung mit paradoxen Effekten im SAP BW

Transkript

1 Gegen den MainStream Datenarchivierung mit paradoxen Effekten im SAP BW - PBS CBW NLS IQ - PBS-Infotage bis Ort: Mannheim, Dorint Hotel Sebastian Jan Smolkiewicz Radeberger Gruppe Gruppe KG KG 1

2 Agenda Was geht ab? Vorstellung Radeberger Gruppe Ausgangssituation Infrastruktur & Datenmodell TestScenario Ist-Zustand Soll-Zustand Weiteres Fazit Exkurs: PBS BI Analyser Fragen? 2

3 Die Radeberger Gruppe 16 Standorte Präsenz in vielen Ballungsräumen in Deutschland Portfolio bietet hohe Verbraucherrelevanz und Akzeptanz Marktführer in wichtigen Ballungszentren Regional ausgerichtete Marketingund Vertriebsmannschaft sichert Kundennähe 3

4 RG Markenportfolio Nationale Marken Nationale Spezialitäten Regionale Premiummarken Regionale Traditionsmarken Preiseinstieg

5 Die Radeberger Gruppe Kennzahlen 2009 Getränkeabsatz: 13,4 Mio. hl Marktanteil Deutschland: 15 % Umsatz: 1,6 Mrd. Beschäftigte: ~ Biersteueraufkommen: ~ 100 Mio. Standorte Bier / Alkoholfreie Getränke: 14 / 2 5

6 Die Radeberger Gruppe Positionierung DE Radeberger-Gruppe KG Mio hl Anheuser-Bush InBev Mio hl Bitburger Holding Mio hl Oettinger Brauerei GmbH Mio hl Krombacher-Gruppe Mio hl Quelle: Lebensmittelzeitung (Dr. Kai Kelch) - 03/10 6

7 Agenda: Ausgangssituation Vorstellung Radeberger Gruppe Ausgangssituation Infrastruktur & Datenmodell TestScenario Ist-Zustand Soll-Zustand Weiteres Fazit Exkurs: PBS BI Analyser Fragen? 7

8 Das Radeberger B(ier) (ier)warehouse SAP BW SAP NetWeaver 2004s 7.00 (SP 20) Datenbankgröße ca. 1,1 TB (Oracle ) Ca. 800 aktive Benutzer, parallel max. 70 (Stoßzeiten) Grundbetreuung Betrieb HW/SW durch ext. Dienstleister BI Team 3 Mitarbeiter RG (Kernteam) Ullrich Ratmann (Frankfurt am Main / Binding) Dirk Reichel (Radeberg / Radeberger) Sebastian Smolkiewicz (Dortmund / Dortmunder Actien) 1 bis 2 Mitarbeiter Extern (Projektspezifisch) 8

9 Ausgangssituation (Stand: ) Es gibt derzeit kein Archivierungskonzept der RG BW Systeme Das Datenvolumen entwickelt sich nach oben Laufendes Tagesgeschäft Integration Tochtergesellschaften Weitere Projekte Wachstum ca. 20 GB/Monat somit steigen die Kosten für Datenhaltung und Sicherung Die Performance ist recht träge Dem wollen wir entgegenwirken Problem: Kosten vs. Performance vs. Alt-Daten 9

10 Zielsetzung / LösungL Ziele & Erfolgsfaktoren Reduzierung Platzbedarf (Online & Sicherung) Test- und Produktivsystem Datenkompression Performance >50% im Archiv Schnellere DB Antwortzeiten Archivierte Daten im Zugriff Anbieterauswahl betrachtete Lösungen SAP Standard (ADK) PBS (ADK & IQ) PoC Iteratives Vorgehen in Zusammenarbeit mit Anbieter 10

11 Ergebnis der Evaluation / PoC Die IT der Radeberger Gruppe hat sich nach einem PoC dazu entschieden die Softwarelösung PBS IQ an zu schaffen Mit Hilfe dieser Lösung ist es möglich Daten aus dem SAP BW in eine Sybase IQ Datenbank zu archivieren Das Datenvolumen wird im Schnitt um ca. 70% reduziert Dies spart Platz und somit Kosten im Rechenzentrum Die Daten sind trotz Archivierung noch im Reporting verfügbar NearLineStorage / Virtual Provider Performance steigt Weniger Daten im BW Archivierte Daten aus IQ recht schnell zugreifbar 11

12 Unterschied SAP Arch. vs. PBS SnapShot SAP Standard Archivierung (ADK) Nur möglich über Zeitmerkmale Archivierter Zeitraum ist gesperrt Keine Daten mehr für diesen Zeitraum ladbar SnapShot basierte Archivierung Ermöglicht Requestweises Archivieren von Cubes Hebelt Zeitscheibenrestriktion aus Keine Sperren Vorteil: Keine vorherige Analyse über wirklich abgeschlossene Zeiträume 12

13 Warum PBS? Konzept klassischer Ansatz Alt-Daten archivieren Nur noch 3 Jahre im BW vorhalten Cube Konzept (JahresCubes) Restliche Daten ins Archiv Bei Bedarf Alt-Daten wieder einspielen oder über NLS hinzu lesen (ADK) Restriktion Zeitscheiben (ADK) Konzept PBS CBW NLS IQ So viel Daten wie möglich archivieren Requestweise Archivierung von Cubes (SnapShot) Stammdaten- und Hierarchie-SnapShots Performante Antwortzeiten (durch JOINS) Nahezu Wartungsfrei (Aggregate, Partitionierung) 13

14 Agenda: Infrastruktur & Datenmodell Vorstellung Radeberger Gruppe Ausgangssituation Infrastruktur & Datenmodell TestScenario Ist-Zustand Soll-Zustand Weiteres Fazit Exkurs: PBS BI Analyser Fragen? 14

15 BW IQ - Infrastruktur RWT ORA RWP ORA PBS Interface (BW <-> IQ) Datenteil Testsystem (RWT) Datenteil Produktivsystem (RWP) Sybase IQ DB PIQ 15

16 BW Datenmodell - Alt Quellsystem MP Delta Delta JC n Jahres Cubes (Partitioniert, Aggregate, etc.) 16

17 BW Datenmodell IQ (Neu) Quellsystem MP JC Delta 1 InfoProvider (BW - Dateneingang) 2 InfoProvider (BW Datenarchivierung) 3 Virtueller Provider (IQ) Sybase IQ DB PIQ 17

18 Agenda: TestScenario Vorstellung Radeberger Gruppe Ausgangssituation Infrastruktur & Datenmodell TestScenario Ist-Zustand Soll-Zustand Weiteres Fazit Exkurs: PBS BI Analyser Fragen? 18

19 Testnutzer Scenario (Wer/Wie/Was) Ca. 50 Key-User aus versch. Fachbereichen Abstimmung per Mail / Tel. (Informationen / Fehlermeldungen) Auswahl nur via Bex-Web >80% WebReporting Bex-Analyser nicht berücksichtigt 19

20 Testnutzer Scenario MP1 MP2 20

21 Testnutzer Scenario - BW Datenmodell 1 InfoProvider (BW - Dateneingang) MP1 SnapShot Datenbestand 1:1 2 InfoProvider (BW Datenarchivierung) MP2 IQ Daten aus Archiv lesen 3 Virtueller Provider (IQ) 21

22 Agenda: Ist-Zustand Vorstellung Radeberger Gruppe Ausgangssituation Infrastruktur & Datenmodell TestScenario Ist-Zustand Soll-Zustand Weiteres Fazit Exkurs: PBS BI Analyser Fragen? 22

23 Ist-Zustand (Stand: ) Test- und Produktivsystem sind an die IQ angeschlossen 11 Datencubes mit knapp 230 Mio. Datensätze archiviert (P) Archivierung über NLS funktioniert einwandfrei Durch SAP Archivierungskonzept (Sperrung Zeitscheiben) nur bedingt verwendbar Wir verwenden die Requestbasierte SnapShot-Funktionalität unserer InfoCubes Diese Möglichkeit wurde von der PBS entwickelt und im Februar 2010 bei uns installiert und erfolgreich eingeführt DB Laufzeiten bzw. Antwortzeiten der IQ sind schneller als in der verwendeten Oracle DB des BW-Systems (Vergleich ohne Cache) Schnelle Antwortzeiten der IQ resultieren überwiegend auch aus Vorselektionen und JOINS über replizierte Stammdaten und Hierarchien Archivierte Daten sind im Schnitt um 60 % komprimiert (ohne Berücksichtigung von Aggregaten) 80 % komprimiert (mit Berücksichtigung von Aggregaten) 23

24 Ist-Zustand - Größ ößenvergleich (ORA vs. IQ) Im Schnitt 60% kleiner bzw. 80% ( mit Aggr) 24

25 Ist-Zustand Performance (ORA vs. IQ) Im Schnitt 37,5% schneller bzw. 87,6% o. Aggr 25

26 Ist-Zustand Performance (ORA vs. IQ) Im Schnitt 37,5% schneller bzw. 87,6% o. Aggr 26

27 IQ Zugriffe in MB ( ) 06:00 08:00 08:00 10:00 10:00 12:00 12:00 14:00 14:00 16:00 16:00 18: Selektion [Stück], Selektion [MB] Replikation [MB] ~~ ~~

28 Agenda: Soll-Zustand Vorstellung Radeberger Gruppe Ausgangssituation Infrastruktur & Datenmodell TestScenario Ist-Zustand Soll-Zustand Weiteres Fazit Exkurs: PBS BI Analyser Fragen? 28

29 Soll-Zustand Die BW Systeme Test & Produktiv sind an einer SybaseIQ Maschine angeschlossen Das P darf nicht auf archivierte Daten des T zugreifen Das T kann auch auf archivierte Daten des P zugreifen Vorteile Testsystem hat aktuelle Daten Testsystem hält weniger Daten Bessere Performance im Testsystem Ggf. keine BW Systemkopien mehr Offene Punkte sind abgehakt 29

30 BW IQ Infrastruktur (Soll) RWT ORA RWP ORA PBS Interface (BW <-> IQ) Datenteil Testsystem (RWT) Datenteil Produktivsystem (RWP) Sybase IQ DB PIQ 30

31 Offene Punkte (Stand: ) Unkritisch Zugriff vom Testsystem auf Daten des Produktivsystems Optimierung der Administration (Benutzerfreundlichkeit/Logik) Weitere Performanceoptimierungen Exakte Datenübergabe an Virtuellen InfoProvider Handling des Caching der in OLAP verarbeiteten Daten (Ergebnismenge) Bislang nur zeitliche Gültigkeitsbeschränkung Stammdaten SnapShots (Delta) Diverse Kleinigkeiten Kritisch Stand heute keine bekannt 31

32 Exakte Datenlieferung 1. Gewünschte Abfrage: SELECT 0MATERIAL, 0VOLUME_DL WHERE 0CUSTOMER EQ 4711 => Generiertes OLAP SQL-Statemant: SELECT 0MATERIAL, 0VOLUME_DL WHERE 0CUSTOMER = Gewünschte Abfrage: SELECT 0MATERIAL, 0VOLUME_DL WHERE 0CUSTOMER NE 4711 => Generiertes OLAP SQL-Statemant: SELECT 0CUSTOMER, 0MATERIAL, 0VOLUME_DL WHERE 0CUSTOMER <>

33 Agenda: Weiteres Vorstellung Radeberger Gruppe Ausgangssituation Infrastruktur & Datenmodell TestScenario Ist-Zustand Soll-Zustand Weiteres Fazit Exkurs: PBS BI Analyser Fragen? 33

34 Gedankengang: Archivierung DSO / PSA DSO Archivierung noch nicht fokussiert Einschränkung Zeitscheiben Nur zeitlich abgeschlossene Datenbestände Keine SnapShot s!!! PBS sucht nach brauchbaren Lösungsansätzen Oder aber die SAP erlaubt künftig auch Before- & After-Images aus dem NLS nach zu lesen??? PSA Archivierung nicht notwendig 34

35 MileStones des Projektes Meilensteine des Projekts im Überblick : erster Kontakt mit PBS : Evaluierung : Entscheidung : Invest : Projekt Start : Installation & Customizing BW TestSystem : Installation & Customizing BW ProduktivSystem : Key User Testphase : GoingLive : Finale: DB-ReOrg Ab hier werden Kosten effektiv gespart!!! 35

36 Anbieter PBS Der Anbieter PBS Software GmbH ist sehr engagiert Guter Support Gute Zusammenarbeit Sehr gute und fähige Entwickler Offen für Ideen/Vorschläge 36

37 Fazit PBS CBW NLS IQ Großes Einsparpotential an Plattenplatz und Sicherung (Kosten) Trotz Archivierung schneller als Oracle DB Entlastung CPU/Memory in der Nachtverarbeitung ChangeRun, OLAP-Datenexporte Entlastung CPU/Memory im Tagesbetrieb bzw. Reporting Lastverteilung BW / IQ Weniger admin. Aufwand JahresCubes, Remodelling, NaviAttribute, Aggregate Keine Einschränkung bei Zeitscheiben (ADK) Durch Requestbasierte SnapShots 37

38 Agenda: PBS BI Analyser Ausgangssituation Infrastruktur & Datenmodell TestScenario Ist-Zustand Soll-Zustand Weiteres Fazit Exkurs: PBS BI Analyser Fragen? 38

39 Analyse Plattenplatz - Testsystem 39

40 Analyse Plattenplatz - Produktivsystem 40

41 Analyse Plattenplatz - Gesamt 41

42 Analyse Plattenplatzbelegung - Fazit Die automatisierte PSA-Datenlöschung war noch nicht optimal Permanente Analyseläufe helfen beim Auffinden von noch nicht berücksichtigten PSA-Tabellen Das Laden über PSA Tabellen, wenn möglich vermeiden Regelmäßige Überwachung Der PBS BI Analyser Verschafft Übersicht und Bewusstsein über anteilige Verteilung von Datenvolumen Ermittlung Alt-Daten Ermittlung überflüssiger Daten 42

43 Fragen 43

44 Vielen Dank Vielen Dank für f r Ihre Aufmerksamkeit!!! Ich hoffe der Vortrag hat Ihnen gefallen und Sie denken bei dem einen oder anderen Glas Radeberger daran zurück. 44

45 Appendix A P P E N D I X 45

46 Eckdaten HW/SW Verwendete Hardware (Sybase IQ + PBS Interface) Hardware BW 2x QuadCore 2,93 GHz / 64 GB RAM 3x 70 GB U/sec Suse Enterprise 10.x 4x DualCore? GHz / 64 GB RAM IBM-pSeries 5 AIX Versionsstände Software Links BW 7.00 Unicode (SP20) Oracle Sybase IQ 14 Suse Enterprise 10 PBS CBW C03_700 (SP04) Herrsteller: Produkt: Radeberger Gruppe: 46

47 Beispiel: Amortisationsrechnung (o. AfA u. Zinsen) 47