B>O?BFQBO&K 0CEGLCÁ1RMNI? +?PISQÁJGE *?AGÁ&MFLCP Î0601,/Á$3BOPFLKÁ

Transkript

1 "?R?5?PCFMSQGLEKGR#2* 2MMJQ.MQGRGMLGCPSLE PAFGRCIRSPIMLXCNRC B>O?BFQBO&K 0CEGLCÁ1RMNI? +?PISQÁJGE *?AGÁ&MFLCP >PBIÉÁÁ!BWBJ?BOÁ Î0601,/Á$3BOPFLKÁ

2 'LF?JRQTCPXCGAFLGQ "?R?5?PCFMSQGLEKGR#2*2MMJQ "CP,SRXCL?L?JWRGQAFCP1WQRCKC.MQGRGMLGCPSLEBCP#2*2MMJQGLBCP%CQ?KR?PAFGRCIRSP IB>KFKD!>QBKQO>KPCLOJ>QFLKBK FIARKDSLK0ROOLD>QB(BVP %FPQLOFPFBORKD )L>A7FBIQ>?BIIB *BQ>A>QBK/BMLPFQLOV PAFGRCIRSPIMLXCNRC 3LOWÇDB "FDKRKD 3LOWÇDB "FDKRKD.P?IRGQAFCP#GLQ?RXBCQ#2*2MMJQ RPQLJFW>?FIFQVABP1LLIP 3BOPFLKFBORKD CSPRCGJSLE *GRCP?RSP bi003_etl-tool_v01.doc

3 !>Q>4>OBELRPFKDJFQ"1)1LLIP SRMPCL

4 !>Q>4>OBELRPFKDJFQ"1)1LLIP "?R?5?PCFMSQGLEKGR#2*2MMJQ Für de Dateaquisitiosprozess zur Erstellug eies Data Warehouses werde mittlerweile vielerorts Tools eigesetzt. Die Abieter dieser Tools verspreche, dass das gewüschte Warehouse ierhalb kürzester Zeit ud mit miimalem Aufwad erstellt werde ka. Doch spiegelt dieses Verspreche auch tatsächlich die Realität wieder? Iwieweit ka tatsächlich die Etwicklugszeit für ei Data Warehouse verkürzt werde, ud i welchem Masse wird tatsächlich Aufwad reduziert? Frage wie diese stellt sich macher, der vor dem Aufbau eies Data Warehouses ud dem Eisatz eies ETL Tools steht. Zu Begi dieses Papieres wird zuächst kurz beschriebe, welche Überleguge überhaupt dazu führte, die Idee eies Data Warehouses is Lebe zu rufe. Daach folgt eie Positioierug der ETL Tools ierhalb eier Data Warehouse Architektur. Im Aschluss dara werde die Fuktiosbereiche dieser Tools skizziert. Diese Bereiche stelle die Grudlage für das Folgede dar: Exemplarisch werde zwei Data Warehouse Architekture beschriebe, wie sie i der Praxis erfolgreich implemetiert ud betriebe werde. Abschliessed wird auf eiige weige Pukte eigegage, die bei eier ETL Tool Evaluatio zu beachte sid. A dieser Stelle sei ausdrücklich darauf higewiese, dass die vorliegede Dokumetatio keieswegs ei Leitfade zur Erstellug eies Data Warehouses darstellt. Zwar werde viele relevate Aspekte zum Thema Data Warehousig gestreift, da sie Implikatioe auf de Eisatz eies ETL Tools habe. Keiesfalls jedoch werde sie erschöpfed behadelt. Isofer wird für dieses Dokumet lediglich ei eizeler Aspekt des Themekomplexes Data Warehousig herausgegriffe ud äher beleuchtet. Eie itesive Diskussio aller Datemaagemetaspekte fidet sich z.b. i [Dippold/Meier/Riggeberg/Schider/Schwi 2001]. bi003_etl-tool_v01.doc

5 "CP,SRXCL?L?JWRGQAFCP1WQRCKC Nicht selte scheiter grosse Data Warehouse Projekte oder führe zu sehr hohe Koste, die da i keiem Verhältis zum gewoe Nutze stehe. I diese Fälle liegt die wichtigste Ursache oft dari, dass der Aufbau eies Data Warehouses i erster Liie als techisches Projekt betrachtet wird, das icht die otwedige Uterstützug im Busiess geiesst. Selbst we bei solche Projekte i aller Regel umfagreiche Ivestitioe i Hardware ud Software getätigt werde müsse, muss ma sich stets bewusst sei, dass ei Data Warehouse Projekt mittel- oder lagfristig ur erfolgreich sei wird, we damit auch ei Nutze erzielt werde ka. I eiem aalytische System etsteht der etscheidede Nutze dadurch, dass aus Date, die i operative Systeme icht i geeigeter Form für Auswertuge verfügbar sid, Iformatioe gewoe werde köe. Iformatioe aus de verschiedeste Datequelle etlag der gaze Wertschöpfugskette im Uterehme werde also i eier Weise zur Verfügug gestellt, die es ermöglicht, Etscheiduge auf de uterschiedlichste Ebee eies Uterehmes schell ud zielgerichtet zu treffe. Dabei werde Iformatioe über Kude, Parter, Lieferate, Lagerbestäde, Produkte, Verkäufe, Trasaktioe usw. i eiem aalytische System i eier itegrierte Sicht abgebildet ud dies uabhägig vo der techische Plattform, vo der die Date stamme. Die Itegratio vo Iformatioe erlaubt es z.b., die folgede Frage zu stelle ud auch zu beatworte: Welche Kude werfe die grösste Erträge ab? Welche Kude habe Potetial zu Ertragssteigeruge? Welche Produkte werde zuküftig vo eier bestimmte Kudegruppe mit hoher Wahrscheilichkeit i Aspruch geomme? Wo liegt das Potetial für Kostereduktioe? Zusammefassed ka festgestellt werde, dass mit Hilfe aalytischer Systeme eie möglichst breite Iformatiosbasis zur Verfügug gestellt werde soll, um die Gewiug vo Wettbewerbsvorteile zu ermögliche.

6 Wie gerade ebe ausgeführt, ist es für jedes Uterehme vo strategischer Bedeutug, über eie breite Datebasis mit aalytische Iformatioe verfüge zu köe. Nach dere Erstellug muss diese i der Folge laufed aktualisiert werde, wobei der Datequalität ei besoderes Augemerk geschekt werde sollte. Isbesodere i grössere Uterehme ist dies ei Uterfage, das mit hohe Koste verbude ist. Ei Grudsatz, der sich i diesem Zusammehag bewährt hat, ist der folgede: Thik big, start small. Zuächst werde die Date aus eiem betriebswirtschaftliche Teilbereiche wie bspw. dem Marketig i der gewüschte Form zur Verfügug gestellt. Erst we dieser Prozess abgeschlosse ist, wird der ächste Teilbereich i Agriff geomme. Die Bereitstellug der Date erfolgt also im Zuge eies iterative Prozesses. Nur auf diese Weise ka gewährleistet werde, dass ierhalb eies überschaubare Zeitrahmes das gewüschte Ergebis erreicht wird. Darüber hiaus ist diese Vorgehesweise ei Garat für die Flexibilität ud Dyamik, die otwedig ist, um auch auf kurzfristige Bedürfisse reagiere zu köe. Nebe all de wichtige Kompoete, die es bei der Realisierug des Gesamtprojektes zu beachte gilt, ist die Wahl ud der Eisatz eies professioelle ETL Tools astelle vo kovetioeller Programmierug vo besoderer Bedeutug. Nachfolgede Graphik zeigt auf, wo das ETL Tool im Rahme des techische Umfeldes zu positioiere ist. ETL Tool OLTP Systeme Basis Data Warehouse Flat Files Datebake ODBC, XML Iformatiosfluss zurück is OLTP System - Date Qualitätsverbesseruge, Marketig ODS Reportig&OLAP Tool Data Visualisatio DWH Data Mart ETL Tool Cube Report Job Schedulig ud Prozess Moitorig - Metadate Maagemet ud Exchage - Datequalität Aalyse ud -sicherstellug Abbildug 1: Postitioierug ETL Tool ierhalb der Gesamtarchitektur

7 Die sogeate OLTP Systeme diee als Datebasis für das Data Warehouse. Der Begriff OLTP ist die Abkürzug für Olie Trasactio Processig ud bezeichet die operative Systeme der Uterehmug. Mit Uterstützug eies ETL Tools werde die relevate Date aus diese Quellsysteme extrahiert ud i ei Data Warehouse oder i eie Operatioal Data Store (ODS) gelade. Letzterer beihaltet quasi eie Kopie der Quelldate ud diet i erster Liie dazu, die operative Systeme vo achgelagerte Verarbeitugsprozesse zu etlaste. Aschliessed wird wiederum ei ETL Tool eigesetzt, um ei oder mehrere Data Marts mit Date zu fülle. Bei Data Marts stehe im Gegesatz zum Data Warehouse die Auswertebedürfisse der Beutzer im Vordergrud. Mit adere Worte, die Date sid i eier Art ud Weise strukturiert, die es erlaubt, Auswertuge effiziet ud schell erstelle zu köe. Diese Data Marts diee also als Datequelle für die sogeate Visualisierugstools. Mit diese Auswertewerkzeuge köe sowohl statische Reports als auch Datewürfel erstellt werde. Die Datewürfel oder Cubes, wie sie auch geat werde ethalte vorausberechete Kezahle zu bestimmte, im voraus festgelegte Kriterie ud erlaube dem Edbeutzer das eigestädige Slice ad Dice i de Date.

8 Utestehede Graphik verdeutlicht die Fuktiosbereiche eies ETL Tools: Quellsysteme OLTP Aalytische Systemplattform Extract Selectio Stagig Area Load Trasform Mergig Cleasig Data Stadards D ata Q uality Busiess Rules Aggregatio F ilte ri g Itegratio Load Uique Key Load DW H or Data Mart DWH Data Stage Area Schedulig, Recovery, Backup, Security, History Repository Abbildug 2 : Fuktiosbereiche eies ETL Tools Gaz liks sid die sogeate OLTP olie trasactio processig Systeme schematisch dargestellt, rechts ist das Zielsystem das Data Warehouse abgebildet. Die Prozesse, die im Zuge der Erstellug eies Warehouses durchlaufe werde, sid im mittlere Teil des Schaubildes aufgeführt. Zusammefassed werde diese eizele Prozesschritte als ETL Prozess bezeichet, wobei sich die Abkürzug ETL aus de drei Begriffe Extract, Trasform ud Load ergibt. Im achfolgede Kapitel werde eizele Teilaspekte des ETL Prozesses herausgegriffe ud kurz erläutert. "?RCLCVRP?IRGML Das ETL Tool uterstützt die uterschiedliche Quellstrukture, Plattforme ud Datebaksysteme des Uterehmes. Bei der Dateselektio ud extraktio werde die Date zuächst eimal aus de Quellsysteme auf die Zielplattform übertrage. Das ka zuächst eimal eie Data Stagig Area sei also ei ear real time data mart oder aber ei Data Mart resp. das Data Warehouse. Quelldate werde i Form vo relatioale Datestrukture ud Flatfiles uterstützt. Aber auch Iformatioe aus firmefremde Iformatiossysteme. wie bspw. vo Marketigdate, Fiaziformatioe oder geographische Iformatiosdate köe itegriert werde.

9 "?R?!JC?LGLE Im Zuge der Überführug vo Date aus de operative Systeme i ei Warehouse werde oftmals Datequalitätsprobleme sichtbar dazu zähle ihaltliche Fehler, Dateikosisteze oder ugültige Dateformate. Des weitere liefert die Quelle u.u. Werte, die ausserhalb des zulässige Wertebereiches liege. Im Rahme des ETL Prozesses wird defiiert, welche Dateihalte ud kostellatioe eie Fehlerfall darstelle ud wie i eiem derartige Fall zu verfahre ist. So werde astelle der teilweise uterschiedliche Source-spezifische Datewerte ud -formate diese i Stadard-Default Werte überführt ud besitze damit ei eiheitliches Format. Zudem besteht die Möglichkeit, spezielle Tools zur Verbesserug der Datequalität i die ETL Tools zu itegriere. Diese Tools erkee Muster ud sid i der Lage, die Umwadlug i Zielmuster zu veralasse. Damit ist bspw. eie Überprüfug vo Adressdate oder die Bereiigug vo Dublette möglich. Alterativ dazu köe auch eigee Routie oder Scripte für die Datebereiigug itegriert werde. "?RCLRP?LQDMPK?RGMLCL Eiem Data Mart resp. Data Warehouse liegt ei Datemodell zugrude, das auf die Iformatiosbedürfisse seier Beutzer zugeschitte ist. Im Rahme des Datetrasformatiosprozesses werde die Quelldate i das Zieldatemodell überführt. Nebe eier eifache Zuordug vo Dateelemete der Quellsysteme i das etsprechede Feld des Zielmodells werde auch Berechuge oder Aggregatioe durchgeführt. Des weitere köe Filter appliziert werde, damit ur Date mit bestimmte Werte weiterverarbeitet werde. GJBSLETML1SPPME?RC)CWQ I eiem Data Warehouse werde i aller Regel icht die Schlüsselfelder der Quellsysteme verwedet, soder sogeate küstliche Schlüssel Surrogate Keys gebildet. Mit dieser Vorgehesweise soll vermiede werde, dass Date zusammegeführt werde, die logisch icht zusammegehöre. Die Surrogate Keys köe Timestamps sei, oder eifach eie fortlaufede Zahl. Die Geerierug dieser Surrogate Keys wird gleichfalls vo de ETL Tools uterstützt. &GQRMPGQGCPSLE Ei wesetliches Kezeiche eies Data Warehouses ist der Aufbau vo Zeitreihe. Damit ist es möglich, Dateaalyse über mehrere Zeitperiode hiweg durchzuführe. Diese sogeate Historisierug der Date wird gleichfalls im Rahme des ETL Prozesses durchgeführt ud damit auch mehr oder weiger vo de ETL Toolabieter uterstützt. Welche Fuktioalitäte hier im Eizele eigesetzt werde köe,

10 hägt zum eie atürlich vo der Art ud dem Umfag der zu historisierede Date ab ud zum adere atürlich auch vom gewählte ETL Tool. Abschliessed werde die Date i die Zieltabelle gelade. Die heutige ETL Tools uterstütze die meistverbreitetste Datebakesysteme wie beispielsweise DB2, Oracle sowie auch XML. Darüber hiaus biete die ETL Tools die Itegratio vo Loadutilities a, die vo dem DBMS uterstützt werde eie Fuktioalität, die isbesodere bei grosse Datemege vo Vorteil sei ka. +CR?B?RCL0CNMQGRMPW I der Regel verfüge alle euere ETL Tools über ei Repository, i dem Metadate abgelegt werde. Hierbei hadelt es sich allerdigs lediglich um die techische Metadate, d.h. um jee Iformatioe, die zur Verwaltug ud Steuerug der ETL Prozesse otwedig sid sowie um Busiess Rules, die i Form vo Trasformatiosregel umgesetzt werde. Die Busiess Metadate die beutzerrelevate Date also werde icht gespeichert. Die User- ud Gruppe Verwaltug sowie die der Berechtigugsklasse ist jedoch im Repository abgebildet. Ebefalls wird die Versioierug bei der Etwicklug uterstützt. Die Dokumetatio für die aalytische Systemumgebug ist meistes i de Tools itegriert, sowie als Schittstelle für adere DWH-Tools vorhade. Diese Dokumetatio ist für die Verwaltug des Iformatiossystem otwedig.

11 PAFGRCIRSPIMLXCNRC Der Fuktiosumfag heutiger ETL Tools ist im allgemeie sehr breit. Darüber hiaus sid ebe eier Vielzahl vo uterstütze Datebaksysteme auch Schittstelle zu ERP-Systeme verfügbar. Dak dieses grosse Spektrums gibt es zahlreiche Möglichkeite ud Variate, wie ei ETL Tool eigesetzt resp. wie es i eie Architektur eigebude werde ka. Zu ee ist i diesem Zusammehag atürlich die eifachste Variate, ach dem Motto 'Plug ad Play': das ETL Tool wird auf eiem Server istalliert ud ohe weitere Ergäzuge geutzt. I eiem derartige Szeario wird ebe dem Server für die aalytische Plattform lediglich ei geeigetes Datebaksystem beötigt. So ka sich i kleie bis mittlere Projekte ETL basiertes Data Sourcig bereits ach eier kurze Alaufphase effizieter gestalte als es mit dem Eisatz vo herkömmliche Techike möglich wäre. I de achfolgede Abschitte soll a Had vo zwei grudleged uterschiedliche Architekturbeispiele gezeigt werde, wie ETL Tools ierhalb eier Gesamtarchitektur eies komplexe Umfeldes sivoll eigesetzt werde köe. PAFGRCIRSP@CGQNGCJ!F?P?IRCPGQRGICL Im achfolgede Beispiel gehe wir vo folgede Aahme aus: Der Grossteil der fuktioale Aforderuge ierhalb des Data Warehouse Prozesses wird durch das ETL Tool abgedeckt. Es wird ei Miimum a zusätzliche Kompoete wie spezialisierte Tools, selbstetwickelte Geeratore, usw. verwedet. Die Dateextraktio ka durch quellspezifische Extrakte erfolge beispielsweise durch Export- Utilities oder durch die Verarbeitug besteheder Files, welche bereits für adere Zwecke aufbereitet wurde. Die Steuerug der Verarbeitugsprozesse erfolgt im wesetliche über das im ETL Tool ethaltee Job- Schedulig. Die Prozesssteuerug erfolgt kotrolliert über Systemgreze hiweg. Für die Datelieferug wird dabei vo eier Push-Strategie ausgegage.

12 @CPQGAFR Operatives System (z.b. Maiframe) 1 Job Schedulig Maiframe 2 8 System of Record Dateextraktio Extrakt Filetrasfer Filetrasfer Jobstart 2 Basis Data Warehouse ETL Batch-Prozess 3 Sessio A Dummy Sessio B ETL-Tool Sessio C Dummy Sessio D Dummy Sessio E Dummy Sessio F Dummy Extrakt Archivierug (z.b.) 4 Datetrasformatio File A File B Load Utility Load Utility 7 Basis Data Warehouse Data Mart Extrakt Filetrasfer Exter 8 Filetrasfer Jobstart Archiv Status DB 5 6 File X Prozesssteuerug Datefluss Exterer Data Mart (auf aderer Plattform) 9 Data Mart Load File X Abbildug 3: Graphische Übersicht Architektur 1 Erläuteruge: 1 Die Extraktio der Date aus de operative Systeme ist eigebettet i de fixe Produktiospla ud erfolgt mittels kovetioelle Programme oder Datebak Utilities. Aschliessed werde die Date auf de Basis Data Warehouse Server übermittelt. 2 Nach erfolgter Dateübermittlug werde die Parameter zum Start der ETL-Verarbeitug auf de Basis Data Warehouse Server übermittelt. Dadurch wird ei Batch-Prozess agestosse, welcher sich uter der Kotrolle des ETL Tools befidet. Dieser Prozess steuert de Aufruf verschiedeer Teilprozesse.

13 3 Im Rahme eies Pseudeprozesses werde tool-fremde Verarbeitugsschritte ausgeführt, d.h. Teilprozesse, die icht mit jeer Verarbeitugslogik umgesetzt werde, die durch das ETL Tool erstellt wurde. Dazu gehöre der Aufruf vo Utilities, Betriebssystembefehle, Shell Scripts, File- Trasfers usw. Im vorliegede Beispiel wird zuerst die Archivierug der akommede Files i die Wege geleitet. 4 Die eigetliche Datetrasformatioe, welche die agekommee Date i das Zielmodell überführe, werde mit Hilfe des ETL Tools vorgeomme. I egie-basierte Tools werde dabei die i Form vo Metadate erfasste Busiess Rules zum Ausführugszeitpukt iterpretiert. Nebe Datebereiiguge (Korrekture), der Vergabe vo Default-Werte, köe auch Dateaggregate ud spezielle Sichte erstellt werde. Neuere ETL Tools erlaube es auch, die für die Bildug der History otwedige Zusatziformatioe zu geeriere. 5 Statusiformatioe zur Verarbeitug, z.b. die Azahl der gelesee Sätze, werde i spezielle Tabelle direkt achgeführt. 6 Die bei Warehouse Aweduge typischerweise grosse Datemege werde aus Performace Grüde i der Regel mit spezielle Ladewerkzeuge i die Zieldatebak eigefügt. 7 Das Basis Data Warehouse umfasst das gaze Zielmodell i weitgehed ormalisierter Form. Die Datebestäde werde i der Regel mehrere Moate historisiert (6 36 Moate). 8 Nach Abschluss des ETL-Batches wird die Kotrolle wieder a das die Verarbeitug astossede operative System übergebe. Ausserdem köe weitere, Data Mart spezifische Verarbeituge agestosse werde, sei es auf der selbe Plattform oder auf extere Mart Server. 9 Ei Data Mart, das sich im vorliegede Architekturbeispiel auf eier adere Plattform befidet, ka seie Date etweder direkt aus spezifische Extrakte beziehe, oder aber der Datezugriff erfolgt direkt über das ETL Tool. Geügede Übertragugskapazitäte vorausgesetzt, darf mit eiem zufriedestellede Durchsatz gerechet werde. 4MPXÇEC Marktübliche ETL Tools biete sowohl bezoge auf Quell- wie auch auf Zielsysteme eie grosse Azahl vo Schittstelle zu de verschiedeste Systemplattforme ud Datebaksysteme a. Mit eiem eizige Tool stehe dem Etwickler so eie Vielzahl vo uterschiedliche Werkzeuge zur Verfügug. Job- Steuerug ud Verarbeitugslogik werde mit eiem eizige Tool realisiert. Diese Aspekte führe dazu, dass die für die Etwicklug der Sourcig Prozesse erforderliche Softwarekompoete bereits ach eier kurzer Proof of Cocept-Phase mit vergleichsweise bescheideem Aufwad implemetiert werde köe. Ei weiterer Vorteil besteht dari, dass sämtliche Toolkompoete das gleiche Look&Feel habe, d.h. über eie itegrierte Bedieugs- ud Etwicklugsoberfläche verfüge.

14 Werde i eier Etwicklugsumgebug ur weige Tools eigesetzt, wird die Eiarbeitug vo eue Projektmitarbeiter deutlich erleichtert. Der Etwickler ka so als Geeralist seie Ketisse i der Awedug der Sourcig-Tools vertiefe ud sich effizieter der Lösug der Busiess-Aforderuge widme. Zusätzlich verrigert sich der Bedarf a techischem Supportpersoal zur Uterstützug der Etwicklugsabteiluge.,?AFRCGJC Obwohl die ETL Tools i de letzte Jahre im Fuktiosumfag wesetlich erweitert wurde, köe verschiedee Spezialsituatioe icht i alle Fälle effiziet umgesetzt werde. Dies ka zu umstädliche ud komplizierte Lösuge führe, welche die Wartbarkeit erschwere. We der Sourcig Prozess weiger modular aufgebaut ist, köe komplizierte Mappigs etstehe. Dies führt zur Etstehug vo viele Freiräume für die Etwickler ud erschwert die Durchsetzug vo Warehouse weite Stadards. Die Steuerug der Batch-Prozesse erfolgt durch das ETL Tool selbst ud icht durch gägige auf dem Markt erhältliche Tools. Dies ka bei de Betriebsequipe i Rechezetre zu eier schlechte Akzeptaz führe, mit der Folge, dass Verarbeitugsprobleme vermehrt durch die Softwareetwickler gelöst werde müsse. I dieser Hisicht stellt besoders das Moitorig der laufede Batchprozesse ei Fremdkörper dar ud erfordert i der Regel de Eibau zusätzlicher Fuktioe zur Iformatio des Operatigs. #GELSLE Besoders beim Aufbau vo mittelgrosse aalytische Systeme ermöglicht dieser Asatz vergliche mit herkömmlicher Programmierug bereits ach kurzer Zeit eie Effiziesteigerug. Dabei ka i jee Teilbereiche, i dee der Eisatz eies ETL Tools als ugeeiget erscheit, durchaus auf ergäzede Kompoete zurückgegriffe werde. Da selbst i komplexe ud grosse Warehouse-Projekte bereits im Rahme der Evaluatios- ud Pilotphase qualitativ hochwertige Ergebisse erzielt werde müsse, werde idealerweise zuächst eifache Architekturkozepte umgesetzt. Damit ist ei guter Grudstei für eie spätere Ausbau des Systems gelegt ud somit auch die Voraussetzug für die Geerierug vo Busiess Nutze.

15 Im achfolgede Beispiel gehe wir vo folgede Aahme aus: Das ETL Tool ist Bestadteil eies umfassede Frameworks, welches aus gekaufte oder selbstetwickelte Kompoete besteht. Es wird isbesodere dort eigesetzt, wo Date auf Grud vo Busiess Rules umgeformt werde müsse. Für verschiedee Fuktioe mit hohem Stadardisierugspotetial, wie z.b. Ladevorgäge, Dateformatprüfuge, Date Cleaig ud die Ermittlug vo Delta-Records werde Geeratore verwedet. Diese erzeuge aufgrud der erfasste Metadate Jobs Scripts oder SQL Statemets. Alterativ dazu werde Datebak Utilities oder adere Werkzeuge eigesetzt, mit dere Hilfe Sort, Merge oder Split Fuktioe über Parameter gesteuert werde köe. Es wird davo ausgegage, dass eie grosse Azahl vo Files aus operative Systeme ageliefert werde. Der Astoss der Verarbeitug wird durch die Akuft der Files auf der Warehouse Plattform ausgelöst. Ergäzed zu dieser Fileverarbeitug köe jedoch auch Zugriffe auf operative Datebake erfolge. Für die Jobsteuerug werde Kompoete ausserhalb des ETL Tools verwedet. Mittels Stadard- Prozedure werde umfagreiche Date über die Verarbeitug gewoe, welche für das Moitorig der Verarbeitug, das Problem Trackig ud für die Darstellug des Load-Status des aalytische Systems verwedet werde köe.

16 @CPQGAFR Operatives System (z.b. Maiframe) Job Schedulig Maiframe Prozesssteuerug 1 Datefluss System of Record Dateextraktio Extrakt Filetrasfer Aalytische Systemplattform 2 Prozesssteuerug ETL-Verarbeituge Extrakt Split Merge 4 Stagig Area 3 Job Kotrolle File A File B Load Utility Load Utility Jobs Status 5 6 Table A Table B 7 Data Cleasig Data Cleasig 8 Table X-CL Table A-CL Table B-CL View 9 View Basis Data Warehouse oder Bereichs-Data Warehouse File X File Y Load Utility Load Utility Mart Datebak 11 View Data Mart oder Bereichs-Data Warehouse Table X Table Y Datetrasformatio Kaleder Datetrasformatio Kaleder Datetrasformatio Abbildug 4: Graphische Übersicht Architektur 2 Erläuteruge: 1 Die Extraktio der Date aus de operative Systeme ist i eie fixe Produktiospla eigebettet ud erfolgt mittels kovetioelle Programme oder Datebak Utilities. Aschliessed werde die Date auf die aalytische Plattform übermittelt.

17 2 Der Load Prozess wird über Trigger agestosse. Im vorliegede Beispiel wird für die Steuerug der Verarbeitug das bereits existierede Schedulig System eigesetzt, d.h. die etsprechede Fuktioalität des ETL Tools wird icht geutzt. Alterativ zu dieser Vorgehesweise köte separate Schedulig-Kompoete eigesetzt werde, die stärker auf die Sourcig-Bedürfisse i komplexere Data Warehouse Umgebuge ausgerichtet sid. Vo Eigeetwickluge sollte im Bereich der Job-Steuerug auf Grud der hohe Komplexität Abstad geomme werde. 3 Zu Begi der Verarbeitug köe uterschiedliche Prüfuge auf File-Ebee vorgeomme werde. Dazu gehöre beispielsweise Vollstädigkeits- ud Sequezprüfuge vo Files. Alle Jobschritte geeriere Status- ud Statistikiformatioe, welche i de Statustabelle olie achgeführt werde ud somit jederzeit Auskuft über de Ladezustad des Warehouses gebe köe. Die Jobsteuerug erfolgt über stadardisierte Scripts, die im Idealfall geeriert werde köe ud auch defaultmässig Restarts ermögliche. 4 I komplexe Systeme müsse Files oftmals zuächst für die Verarbeitug vorbereitet werde, isbesodere da, we auf bestehede Stadard-Feeds zugegriffe wird, welche ursprüglich für aalytische Zwecke i Legacy Systeme erstellt wurde. Zu solche Vorbereitugsarbeite gehört die Aufteilug vo Files ach de uterschiedliche Record-Type. Adererseits köe auch Files mit idetischem Layout kosolidiert werde, die vo uterschiedliche Systeme (z.b. Niederlassuge) stamme. Dies ka durch geerische Prozesse uter Verwedug vo Stadard-Utilities erfolge ud führt zu eier wesetliche Vereifachug der achfolgede Schritte. 5 Die bei Warehouse Aweduge typischerweise grosse Datemege werde aus Performace Grüde i der Regel mit DBMS uterstützte Ladewerkzeuge gelade. 6 Die Iput-Files werde vollstädig i eie Tabelle gelade. Diese ethalte ebe de ausschliesslich alphaumerische Date och zusätzliche Statusfelder. 7 Data Cleaig ist ei Eckpfeiler für de Erfolg eies aalytische Systems. Die Itegratio vo Date uterschiedlichster Quelle ka Dateprobleme i operative Systeme akzetuiere. Für Dateformatsprüfuge werde beispielsweise SQL-Scripts eigesetzt, welche auf Metadate mit Cleaig Regel basiere. Alterativ dazu bietet sich der Eisatz vo Stadard-Tools a. Gerade im Bereich der Dubletteerkeug oder der Stadardisierug vo Adresse empfiehlt sich der Eisatz dieser Stadard-Tools. Sie biete Fuktioe, die etweder über ei herkömmliches ETL Tool aufgerufe werde köe oder die der parametergesteuerte Bearbeitug der Files diee, welche vo dem ETL Tools erstellt wurde.

18 8 Nach Abschluss des Data Cleaig werde die bereiigte Date i Stagig-Tabelle gelade. Diese stehe für die Weiterverarbeitug i das Warehouse spezifische Zielmodell zur Verfügug. Je ach Orgaisatio eies Uterehmes köe uterschiedliche Bereichs-Warehouses oder Data Marts beliefert werde. 9 Uterschiedliche Datebezieher köe u über Views, die über Kaledertabelle gesteuert werde, auf die Date zugreife. Nachdem die Date vo alle Applikatioe überomme worde sid, köe diese wieder vo de Stagig Tabelle gelöscht werde. 10 Der Aufbau eies Basis Data Warehouse bzw. eies bereichsspezifische Data Warehouses erfolgt basiered auf de Stagig Tabelle. Es hadelt sich hier um eie komplette ETL Prozess, bei dem der Schwerpukt der Aktivitäte bei der Itegratio der Date i das Warehouse Modell liegt. Nebe der Bildug vo Warehouse weite Keys wird i de weitgehed ormalisierte Zieltabelle auch die Historisierug der Date vorgeomme. Aus Performace Grüde müsse gezielte Deormalisatioe teilweise bereits im Basis Data Warehouse vorgeomme werde. I achgelagerte Prozesse köe zudem bereits erste Aggregate erstellt werde, falls diese vo mehrere Data Marts bezoge werde. 11 Der Aufbau eies Data Marts besteht wiederum aus eiem komplette ETL Prozess. Die Date werde aus eiem Basis- oder bereichsspezifische Data Warehouse bezoge. Das Zielmodell des Data Marts ist dabei auf die Auswertug der Date optimiert. De Datebakmodelle liegt dabei eie Star- oder Sowflake-Struktur zugrude. Diese diee da als Basis für das Reportig mit de etsprechede Query- ud OLAP Tools. 12 Alterativ köe die Date für de Aufbau vo Marts direkt aus de Stagig Tabelle bezoge werde. Gegeüber dem direkte Bezug aus operative Systeme bietet sich hier der etscheidede Vorteil, dass die Date bereits das Data Cleaig durchlaufe habe. 4MPXÇEC Der Hauptvorteil dieses Asatzes besteht dari, dass spezialisierte Kompoete die etsprechede Aufgabe sehr effiziet ud meist auch sehr performat erfülle köe. Der Eisatz eies solche Architekturkozeptes gibt de Verarbeitugsweg i eiem hohe Mass vor. Die Verwedug vo eiheitliche Prozesse ud Geeratore, welche für wiederkehrede Schritte mit weig Busiess Logik eigesetzt werde köe, ermöglicht eie leichtere Stadardisierug der Verarbeitug ud führt zu eier modulare Verarbeitug. Uter der Voraussetzug, dass die eigesetzte Kompoete die erforderliche Stabilität ud Robustheit habe, köe Aufwad ud Etwicklugszeit reduziert werde.

19 Es versteht sich vo selbst, dass dieser Asatz grosse Ressource für Etwicklug ud Uterhalt bidet, isbesodere da, we viele Kompoete selbst etwickelt werde. Der dargestellte Asatz mit eier doch recht grosse Azahl vo eizele Prozesse ka zu eier Zersplitterug der Verarbeitug führe, was die Gewiug bzw. die Nutzug vo Metadate über die Datetrasformatioe erschwert. Eie tedeziell grössere Azahl vo Job-Steps ka zudem die Wartug erschwere ud bedigt auch eie erhöhte Supportbedarf. Es besteht die Gefahr, dass ei recht komplexes Gebilde etsteht, desse Steuerug ud Beherrschug besoders i Ausahmesituatioe viel Erfahrug ud Sachverstad beötigt (Black-Boxes). Diese Gefahr ist umso grösser, je mehr Ifrastruktur Kompoete selbst etwickelt wurde. Dadurch erhöht sich die Abhägigkeit vo Schlüsselpersoe mit dem etsprechede Kow-How i de techische Abteiluge. Ferer besteht die immaete Gefahr, dass der Aufbau eier derartige Ifrastruktur uterschätzt wird, da die Etwicklug meist aufgrud vo 'Normal-Situatioe' geplat wird. I der Praxis wirke jedoch Spezialfälle erschwered beim Aufbau eier Ifrastruktur. I der Kosequez bedeutet dies, dass Spezialsituatioe meist parallel oder ur mit gerigem Vorlauf zur eigetliche Applikatiosetwicklug im Framework itegriert werde, mit dem Ergebis, dass sich etweder die Etwicklug verzögert, oder Work Arouds erstellt werde müsse. #GELSLE Das Architekturbeispiel 2 zeigt i vereifachter Form, dass der Aufbau aalytischer Systeme i komplexe Umgebuge sehr aspruchsvoll sei ka. Wie scho früher erwäht wurde, sid komplexe, vor allem techologisch orietiere Warehouse Projekte oft zum Scheiter verurteilt. Der Aufbau eies solche Systems soll daher behutsam ud iterativ erfolge. Dabei werde die bei diese Schritte gewoe Erfahruge im Etwicklugsprozess geutzt. Es ist dabei zu beachte, dass die Etwicklug vo modulare Bausteie ud Geeratore zeitaufwädig ist. Der Aufbau ud Betrieb eier komplexe Ifrastruktur erfordert das otwedige Persoal ud Kow How. Da die Koste i der Regel auf die eizele Busiess- Applikatioe umgelegt werde müsse, köe solche Vorhabe ur realisiert werde, we der Kreis der Aweder geüged gross ist.

20 A dieser Stelle werde eiige weige Aspekte herausgegriffe, die zwar wichtig sid, jedoch im Rahme eier Produkte-Evaluatio leicht vergesse werde.!sqrmkgx?@gjgrwbcq2mmjq Mit dem Begriff customizability ist die Apassugsmöglichkeite des Tools auf die bestehede Umgebug gemeit. Letztlich gehört auch dieser Pukt i de Bereich der vom Kude gewüschte Tool- Fuktioalität ud muss im Rahme eier Produkte-Evaluatio beatwortet werde. So ist auch hier wie überhaupt bei dem Evaluatiosprozess die zetrale Frage, was beötigt wird. Es gibt ETL Tools, die i hohe Masse apassbar sid ud diesbezüglich kaum Wüsche offe lasse. Diese Freiheitsgrade bedige jedoch auch eie vergleichsweise hohe Iitialaufwad, der geleistet werde muss, bevor das Tool erstmalig eigesetzt werde ka. Der zeitliche Rahme bewegt sich hier durchaus im Bereich vo mehrere Woche. Dieser Aufwad ist ur da gerechtfertigt, we dieser hohe Grad a Eibidug i die bestehede Ifrastruktur zwiged otwedig sid. Ist dies jedoch icht der Fall, so ist ma mit eiem derartige Tool sehr schlecht bediet. Adere ETL Tools köe ierhalb eies halbe Tages istalliert werde ud sid da fuktiosbereit. Logischerweise biete diese Tools icht so viele Apassugsmöglichkeite, wie die obe geate. Dieser Aspekt ist deswege so wichtig ud wird herausgegriffe, weil er eie grosse Implikatio auf de Zeitpla hat. Es ist icht eifach ur eie Fuktio, die icht zur Verfügug steht ud für die irgedei Workaroud gefude werde muss. Wird hier die falsche Etscheidug getroffe, so ka dies dazu führe, dass zu eiem spätere Zeitpukt der Zeitpla, das Projekt ud die Akzeptaz massiv i Frage gestellt werde wird. #LRUGAIJSLEQXWIJSQKGRCGLCK#2*2MMJ Überleguge hisichtlich des beabsichtigte Etwicklugszyklus sid auch beim Eisatz eies ETL Tools sehr wichtig. I der Regel ist es ratsam, zumidest die Etwicklugs- ud Testumgebug vo der Produktiosumgebug zu tree. De ur so ka eie stabile Produktiosumgebug garatiert sowie das Risiko miimiert werde, ufertige ETL Prozesse versehetlich i die produktive Umgebug zu schreibe. Besteht Klarheit darüber, i welcher Weise die Etwicklug, Tests ud Produktio voeiader getret werde solle, so muss geprüft werde, wie dies mit dem ETL Tool umgesetzt werde ka. Dabei ist icht ur die zur Verfügug stehede Fuktioalität a sich zu prüfe, soder gleichfalls die Azahl der erforderlich ETL Kompoete. So ka die Treug vo Etwicklugs- ud Testumgebug beispielsweise bedige, dass zwei ETL-Egies parallel eigesetzt werde müsse. Agesichts der Lizezkoste der ETL Tools stellt diese Positio u.u. eie icht uerheblicher Kostefaktor dar.

21 4CPQGMLGCPSLE Eg verküpft mit der Vorgehesweise bei der Etwicklug des ETL Prozesses ist die Frage ach der Versioierug, resp. der etsprechede Fuktioalität, die vo dem ETL Tool agebote wird. Im eifachste Fall ist das lediglich ei Check-i/Check-out Mechaismus, der eigetlich kaum als Versioierug bezeichet werde ka. I der Regel hat dieser primär die Aufgabe, die Kosistez der Objekte sicherzustelle, idem verhidert wird, dass mehrere Beutzer das gleiche Objekt editiere. Das eigetliche Versioehadlig muss ausserhalb des Tools durchgeführt werde. Adere ETL Tools verfüge über eie recht komfortable Mechaismus zur Versioekotrolle. Zu berücksichtige ist hierbei, auf welchem Level die Versioierug zur Verfügug steht. Das heisst kokret, ob ei eizeles Objekt, wie bspw. ei Mappig versioiert werde ka, oder ob die Versioierug lediglich auf eiem höhere Level z.b. auf Ebee Folder möglich ist. Idealerweise werde die verschiedee Objekte Source- ud Targetdefiitioe sowie Mappigs i eier Weise i der Folderstruktur gruppiert, wie sie auch später versioiert werde solle. I diesem Zusammehag sollte auch überprüft werde, ob eie Fallback-Fuktio zur Verfügug steht, d.h. ob die Möglichkeit besteht, frühere Versioe der Objekte wieder zu aktiviere. Das ka otwedig werde, we sich herausstellt, dass Äderuge der aktuellste Versio fehlerhaft sid ud deshalb schell die vorhergehede Versio aktiviert werde muss. SD@?SSLB?@J?SDMPE?LGQ?RMPGQAFCQNCIRC Hat ma sich für de Eisatz eies ETL Tools etschlosse, so sid auch orgaisatorische Aspekte zu bedeke ud zu etscheide. So gibt es bei de meiste Toolhersteller ei gewisses Rolleverstädis. Exemplarisch seie hier die folgede Rolle geat: Admiistrator Mappig Desiger/Coversio Specialist ETL Prozesse Veratwortlicher (Operator) Master Ifrastructure. I eiem erste Schritt müsse die verschiedee Rolle bestimmt ud dere Ihalte defiiert werde. Darauf basiered ka etschiede werde, wie diese Rolle zusammespiele. Im Aschluss dara wird schliesslich bestimmt, wer diese Rolle wahrimmt. Ei wesetlicher Faktor zur Beatwortug dieser Frage ist die Projektgrösse.

22 Gewisse Etscheiduge dürfte relativ eifach zu treffe sei da der Mappig Desiger letztlich die Aufgabe wahrimmt, die bis ahi vo eiem Programmierer abgedeckt wurde, liegt es ahe, dass diese Persoe diese Aufgabebereich überehme. Adere Bereiche köe sich etwas schwieriger gestalte, wie beispielsweise das Operatig. Folgede Möglichkeite sid hier dekbar: Der Mappig Desiger, der bereits die ihaltliche Veratwortug für die Loadprozesse überimmt? Das Operatig, das de Betrieb aller adere Prozesse im Rechezetrum steuert? Evtl. auch der Edaweder beispielsweise we er für die Bereitstellug vo Iputfiles sorgt ud u auch die achfolgede Verarbeitug astosse möchte. Nebst dieser rei orgaisatorische Etscheidug sid damit atürlich auch techische Implikatioe verbude, die gelöst werde müsse. Exemplarisch auch hier eiige Fragestelluge: Wie wird die Schedulig Kompoete des ETL Tools itegriert mit dem bereits eigesetzte Tool, das alle übrige Nicht-ETL-Prozesse steuert? Wie werde fehlerhafte Loads bereiigt? Gibt es eie Möglichkeit eiem Edbeutzer eie Fuktio zur Verfügug zu stelle, die es ihm ermöglicht, Prozesse zu trigger, ohe sich um techische Belage kümmer zu müsse? Wie ka eie ausgewogee Auslastug des Systems erreicht werde?

23 BROQBFIRKD CSPRCGJSLE Wie vorliegedes Dokumet verdeutlicht, ist der Eisatz eies ETL Tools i eier Data Warehouse Umgebug keieswegs trivial. Alle Aspekte der mögliche alterative Architekturasätze müsse bedacht ud etspreched umgesetzt werde. A dieser Stelle sei ochmals kurz auf die Versprechuge der ETL Toolabieter eigegage: Durch de Eisatz eies ETL Tools köe Zeit ud Aufwad gespart werde. Diese Feststellug muss sicherlich differeziert betrachtet werde. Zum eie ist die Alterative zu eiem ETL Tooleisatz i Betracht zu ziehe: Die kovetioelle Programmierug. Zum adere ist darüber hiaus zu uterscheide zwische der Phase, i der eie Data Warehouse Architektur aufgebaut wird ud der Zeit daach wo die gesamte Umgebug fuktiosfähig für die Etwicklug zur Verfügug steht. Beim Aufbau eier komplette Data Warehouse Ifrastruktur ist das ETL Tool eie Ifrastrukturkompoete uter viele, die es de Bedürfisse etspreched zu itegriere gilt. Abhägig vom Komplexitätsgrad der gesamte Umgebug, verursacht das ETL Tool a dieser Stelle eie mehr oder mider grosse zusätzliche Aufwad. Aschliessed ka das ETL Tool jedoch im Rahme eier fuktiosfähige Ifrastruktur sicher zeitspared eigesetzt werde, isbesodere auch im Vergleich zu kovetioelle Programmierug. I diesem Bereich liege wohl auch die grösste Vorteile eies ETL Tools. Zu ee sid i diesem Zusammehag die folgede Pukte: Sicherstelle der otwedige Flexibilität Gute System Dokumetatio ud Metadate Uterstützug Gerigerer Wartugsaufwad Persoeuabhägigkeit Last but ot least ka das ETL Tool auch als sigle poit of truth für Sematik, Regel ud Methode agesehe werde.

24 )FQBO>QRO *GRCP?RSP Dippold/Meier/Riggeberg/ Schider/Schwi 2001 Dippold, R.; Meier, A.; Riggeberg, A.; Schider, W.; Schwi, K.: Uterehmesweites Datemaagemet Vo der Datebakadmiistratio bis zum modere Iformatiosmaagemet. 3. Auflage. Wiesbade 2001

25 RQLOBK SRMPCL Die Autore sid erfahree Spezialiste aus dem Bereich Busiess Itelligece & Data Warehousig der Systor AG mit de Arbeitsschwerpukte Projektmaagemet, Beratug, ETL, OLAP ud Warehousig. Kotakt: