Die Vision des Enterprise Data Hub: Fortentwicklung der Architektur für BI und Data Warehouse

Transkript

1 Die Visio des Eterprise Data Hub: Fortetwicklug der Architektur für BI ud Data Warehouse Die Visio des Eterprise Data Hub: Fortetwicklug der Architektur für BI ud Data Warehouse Der klassische Data-Warehouse-Asatz ka die heutige Aforderuge a Zeitähe, Datevielfalt ud -volume i keiem akzeptable Koste-Nutze-Verhältis erfülle. Dieser Artikel beschreibt, wie diese Aforderuge mit de eue Asätze Hadoop ud I-Memory-Datebake erfolgreich umgesetzt werde köe. Kozepte wie das Eterprise Data Warehouse (EDW) ud der Operatioal Data Store wurde vo de meiste Uterehme icht i allerletzter Kosequez umgesetzt. Der eue ud gazheitliche Asatz des Eterprise Data Hub (EDH) (Syoym auch: Busiess Data Lake) greift diese Kozepte teilweise wieder auf, setzt mit Hadoop (siehe Kaste 1) jedoch auf ei Framework für hoch-skalierbare, massiv-verteilte Dateverarbeitug als eue techologische Basis. Das eröffet völlig eue Möglichkeite hisichtlich Performace, Graularität ud der Eibidug ustrukturierter Date. Die Visio greift deutlich weiter als bisherige Data- Hadoop ist ei Framework für hochskalierbare, massiv verteilte Dateverarbeitug. Es ist als Ope-Source-Software seit 2008 ei Projekt der Apache Foudatio. Zetrale Elemete sid der vo Google Ic. etwickelte MapReduce- Algorithmus, der die Dateverarbeitug parallelisiert ud auf die beteiligte Kote des Recherclusters verteilt, sowie das Hadoop Filesystem (HDFS), das sich aus dem Google-Filesystem etwickelt hat. Im HDFS lasse sich extrem große Datemege (Petabyte) sehr kostegüstig speicher ud parallel zugreife. Dass sich Hadoop auf Commodity Hardware istalliere lässt, bietet weiteres Eisparpotezial gegeüber herkömmliche große Datebake. Zur erste Geeratio vo Hadoop-Nutzer gehörte uter aderem die große Iteret-Uterehme Google, Facebook, Yahoo ud AOL. I de vergagee Jahre hat sich Hadoop deutlich weiteretwickelt ud wird u auch vo Uterehme aller Brache eigesetzt. Kaste 1: Was ist Hadoop? Warehouse-Kozepte (DWH), da hier Date bereits gespeichert werde, ehe der Busiess- Case für ihre Verwedug gefude ist. Mit eiem EDH köe Uterehme ihre IT-Architektur achhaltig ud zukuftsfähig umbaue, ihre IT-Koste grudleged eu strukturiere ud de ötige Freiraum für fachliche Fortetwicklug zurückgewie. Eiige Bake ud Fiazdiestleister i de USA, Großbritaie ud Deutschlad köe hier scho Erfolge mit Kosteeisparuge bis i de zweistellige Millioebereich vorweise. Hadoop hat sich im Bereich Big Data Aalytics bewährt ud ist mittlerweile für Eterprise-Architekte eie erst zu ehmede Größe geworde. Hadoop wird für fachliche Aforderuge wie Aalytics, Data-Discovery ud Archivierug zuküftig eie zetrale Rolle spiele. Die wesetliche Argumete für Hadoop sid das sehr güstige Verhältis vo Koste pro Datevolume ud die Skalierbarkeit bei wachsedem Datevolume. Allerdigs ka auch Hadoop keie orgaisatorische Probleme aus der Welt schaffe. Die Architektur ud Goverace der Date beziehugsweise Iformatioe ist ebefalls ei wichtiger Bestadteil des EDH-Kozepts. Klassische BI ud DWHs Die i de 90er Jahre etwickelte Idee hiter Busiess Itelligece (BI) ud Data Warehouses (DWHs) hat sich bis heute grudsätzlich bewährt. Folgede wesetliche Leitliie liege ihr zu Grude: Separatio vo operative ud aalytische Aweduge ud Datehaltuge, damit operative Systeme icht durch aalytische Lesezugriffe überlastet werde. Itegratio verschiede strukturierter Date aus uterschiedliche Quelle, um übergreifede Sichte auf Date i eier Form bereitzustelle, die vo Auswertugswerkzeuge eifach verarbeitet werde ka. Typische Aalysemethode ist die Aggregatio vo Date mit puktuellem Drill Dow (i SQL SELECT SUM(kezahl), dimesioe GROUP BY dimesioe). Für EDWs gelte verschärfed och folgede Leitliie: Das EDW hält Date des gesamte Uterehmes i itegrierter, geormter Form. Es bediet alle Fachbereiche ud Geschäftsprozesse des Uterehmes mit uterehmesweite, itegrierte Sichtweise auf die Geschäftsiformatioe. Im Wesetliche fide ach wie vor folgede Prozesse ud Services i eiem DWH statt: Dateaggregatio, Dateitegratio / Extract, Trasform, Load (ETL), Data-Miig ud Sicherug der Datequalität sowie Reportig ud Aalyse (Ad-hoc-Abfrage, Olie Aalytical Processig OLAP). Zusätzlich laufe och querschittliche Prozesse ab, wie Systemmaagemet, Prozess-Maagemet ud -Schedulig sowie Metadate-Maagemet. Offee Probleme des klassische DWH Das DWH/EDW brigt i dieser Form grudlegede ud ugelöste Probleme mit sich. De wachsede Aforderuge a Flexibilität, Geschwidigkeit sowie das Koste-Nutze-Verhältis wird es mittelfristig kaum och gerecht werde köe. Fachaweder gerate mit aktuelle Systeme schell a Greze. Um mit ihre Ab- 03/

2 Die Visio des Eterprise Data Hub: Fortetwicklug der Architektur für BI ud Data Warehouse frage flexibel ud agil auf eue geschäftliche Situatioe reagiere zu köe, beötige sie graulare Date. Diese stehe bei klassische DWHs häufig icht im Vordergrud, werde mituter gar icht gehalte oder bald ach dem Lade i Offlie- Archive ausgelagert. Zudem fide oft ur diejeige Date Eigag is DWH, für die bereits spezifizierte aalytische Aforderuge des Fachbereichs vorliege. Damit ist es aber für Fachaweder umöglich zu ermittel, welche sivolle Busiess-Use- Cases sich mit eue Date umsetze lasse würde. Ustrukturierte Date sid kaum präset ud mit de klassische Produkte für BI ud DWH icht hadhabbar. Big Data Aalytics ist somit icht im volle Umfag umsetzbar. Historische Date wiederum werde aus Kosteaspekte ur begrezt im DWH gehalte. Das macht viele Asätze für Predictive Aalytics umöglich. Die Treug vo operatioale ud aalytische Datehaltuge erschwert Operatioal BI. Isbesodere lässt sich die erforderliche Zeitähe icht umsetze. Die Datebake für EDW skaliere zwar grudsätzlich hisichtlich steigeder Datevolumia ud Aweder. Die dabei etstehede Koste für Hardware, Software ud Betrieb steige jedoch beiahe liear ud stehe damit icht mehr im Verhältis zum Nutze. Um eie hireichede Performace vo Lesezugriffe zu erbrige, erforder viele DWH-Datebake zudem ei komplexes Maagemet vo Aggregate, Partitioierug ud Idizes. Dieser Asatz ist für Reportig ud begrezt für Drill-Dow- Aalyse adäquat. Für ad hoc formulierte Afrage, wie etwa Data Exploratio, greift er jedoch zu kurz ud ka icht die erforderliche Atwortzeit brige. Gerade bei EDWs größerer Uterehme komme och orgaisatorische Probleme hizu. Beispielsweise gestaltet sich die uterehmesweite Eiigug auf geormte Kezahle ud Dimesioe oft als schwierig. Mituter ist Trasparez zwische eizele Uterehmesteile (Tochtergesellschafte, Geschäftsfelder) vom Maagemet her sogar uerwüscht. State-of-the-Art für Big Data ud Aalytics Zur Fortetwicklug der Architektur für BI ud DWH ud damit auch zur Lösug der ageführte Probleme wurde i de vergagee Jahre eie Vielfalt a Idee etwickelt. Die meiste Uterehme Problem Koste-Nutze-Verhältis Ustrukturierte Date Graulare Date Historische Date Date ohe fachliche Aforderug habe seitdem erste Proof-of-Cocepts (PoCs) mit de eue Big-Data-Aalytics- Techologie durchgeführt, sei es mit Hadoop, Predictive Aalytics, I-Memory- Datebake (IMDB), Not oly SQL (NoSQL) oder eier Kombiatioe aus diese Asätze. Bei diese PoCs komme immer ur Architekture zum Eisatz, die gaz spezifisch auf de jeweilige Awedugsfall (Busiess-Use-Case) zugeschitte sid. Aber wie wird eie Architektur für alle Awedugsfälle eies Uterehmes aussehe? Wie wird eie gazheitliche Architektur für klassische BI ud Big Data Aalytics i ei paar Jahre aufgebaut sei? Zur zuküftige Architektur trage vor allem die beide Techologie Hadoop ud I- Memory-Computig bei. Hadoop Vor füf Jahre war Hadoop och sehr stark am Bedarf seier Erfider ud Early Adopter ausgerichtet. Izwische ist es deutlich gereift ud allgemei eisatzfähig für Uterehme aller Brache. Wesetliche Fortetwickluge im Hadoop-Umfeld sid: Ware die Datezugriffe bei Hadoop früher sehr stark batchorietiert, so Lösug im Eterprise Data Hub (EDH) Tabelle 1: Lösugsasätze des Eterprise Data Hub (EDH). Die zu Grude liegede Software für Hadoop ist größteteils ope-source. Der Eisatz vo Commodity- Hardware ist i großem Stil möglich. Damit ist Hadoop heute für große Datevolumia die kostegüstigste Form der Datehaltug ud bis zum Faktor güstiger als klassische DWH-RDBMS. Der EDH diet sowohl für strukturierte als auch für ustrukturierte Date (z. B. Streams aus soziale Medie oder Sesore, Logfiles) als Datehaltug. Die Date werde im EDH graular gehalte, um keie mögliche Form der Aalyse durch eie vorzeitige Verdichtug der Date auszuschließe. Das ist isbesodere für Predictive Aalytics relevat. Der EDH ist die präferierte Datehaltug für das Archiv, also für Date, auf die selte zugegriffe wird, wie z. B. historische Date i DWHs ud Date, die aus Grüde der Compliace gehalte werde müsse. Der EDH fugiert als Ablage aller iter ud exter eu etstehede Date. Sie werde für eie iitiale Dateexploratio der Fachaweder bereitgestellt. Aus de dabei gewoee Erketisse köe erste Busiess-Use-Cases aufgestellt werde, dere Umsetzug die Datehaltug da kokret rechtfertigt. lässt sich u über iteraktive SQL- Schittstelle (zum Beispiel Impala) auch ad hoc auf Date zugreife. Führede Abieter für Predictive Aalytics habe mittlerweile eie sehr ege Itegratio mit Hadoop erreicht. Hadoop ist i der Java-Welt gewachse ud somit eie dakbare Spielwiese für Java-Etwickler, die auf MapReduce aufsetzede Programme schreibe. Lägst gibt es aber auch höherwertige Schittstelle wie SQL. Auf SQL basierede Werkzeuge ermögliche izwische auch Fachaweder de Zugriff auf das Hadoop-File-System (HDFS). Dateschutz war bisher eie Schwachstelle vo Hadoop. I de letzte Jahre habe eiige Hadoop-Distributore hier aber erheblich achgebessert. So gibt es Hadoop-Maagemet-Werkzeuge, die Zugriffe auditiere sowie Zugriffsrechte auf der Ebee vo Hadoop-Dateie, Schemas, Tabelle ud Views ermögliche. Die EDH-Idee Das Lager der Hadoop-Architekte hat die Visio des EDH auf Basis vo Hadoop hervorgebracht. Folgede Idee bilde dafür die Grudlage (vgl. auch [Awa13]). Sie 26

3 Abb. 1: Services des Eterprise Data Hub (EDH). adressiere die meiste offee Probleme des klassische DWH (siehe Tabelle 1). Die EDH-Architektur Der EDH bietet folgede Services (siehe auch Abbildug 1): Abidug der Datequelle Ählich wie bei DWHs lasse sich auch beim EDH Date aus Geschäftsaweduge, beispielsweise aus dem Eterprise Ressource Plaig (ERP), abide. Auch die direkte Extraktio aus Datebake ist möglich. Hierfür biete viele Abieter hoch-performate Koektore a. Im Gegesatz zum DWH lasse sich ustrukturierte Date (Cotet) im EDH deutlich besser abide. Dazu gehöre beispielsweise Dokumete, s, XML- Dateie, Bilder ud Filme. Aus dem Iteret werde Web Logs oder Date aus soziale Netze ud Iteretfore agebude. Weitere wichtige Date komme aus dem Iteret der Dige. Dazu gehöre uter aderem Sesor- ud RFID-Date (Radio- Frequecy-Idetificatio) sowie Date vo mobile Edgeräte ud dem veretzte Fahrzeug. Nebe de aus dem DWH bekate Batch Load Services gewit im EDH auch das Streamig a Bedeutug. Dabei hadelt es sich um die fortlaufede Aufahme ud i der Folge aalytische Verarbeitug vo Dateströme (Feeds). Datehaltug Elemetares Merkmal eies EDH ist, dass gemäß dem Big-Data-Prizip Variety of Data (Datevielfalt) Date quasi jede Typs gehalte werde köe. Um eie massiv parallele Verarbeitug zu ermögliche, ist es ebefalls wichtig, dass die Date verteilt gehalte werde. Weiterhi muss die Datehaltug horizotal hochskalierbar (scale-out) sei, um das Wachstum des Datevolumes mit vertretbare Koste durch eifaches Hizufüge weiterer Kote im verteilte System bewältige zu köe. Prädestiiert für die Haltug ustrukturierter Date ist das HDFS. Im EDH köe strukturierte Date bei große Volumia deutlich kostegüstiger gehalte werde als im DWH. Dabei hadelt es sich typischerweise um graulare Date, häufig auch Rohdate. Weiterhi werde historische Date beziehugsweise Date mit Archivcharakter (Active Archive) gehalte. Datezugriff Für de Zugriff auf die im EDH gehaltee Date werde vielfältige Fuktioe agebote. Das Batch Processig ist vor allem geeiget, um komplexe Dateverarbeitug auf große Datemege auszuführe. Hier kommt häufig der MapReduce-Asatz zum Trage. Awedugsbeispiele liege i der Dateitegratio ud komplexe Aalytik, beispielsweise zur Risikoberechug. Für Ad-hoc-Datezugriffe ist higege eie iteraktive SQL-Egie erforderlich, die die Date aus dem EDH mit geriger Latez bereitstelle ka. Für iteraktives SQL habe mehrere Hadoop-Distributore ud adere Abieter Produkte im Agebot (vgl. [Tur13]). Ei wichtiger Aweder für iteraktives SQL ist Dateexploratio (auch Iformatio Discovery). Ursprüglich wurde komplexere Statistik ud Aalytik (Advaced Aalytics) i spezielle Aalytics-Egies durchgeführt, für die Date i spezielle flache Dateiformate bereitgestellt werde musste. I de letzte Jahre bega der Tred, die Aalytics-Algorithme äher zu de Date zu brige (I-Database-Miig). Dieser Asatz wurde i Hadoop fortgeführt. Hadoop ud adere Abieter habe izwische viele aalytische Algorithme, beispielsweise Machie Learig, implemetiert, die direkt i Hadoop auf die Date zugreife ud sie dort verarbeite. So ka die Schelligkeit der kostegüstige Plattform voll ausgeschöpft werde. Der EDH hält zudem die für Aalytics erforderliche Date vor, also isbesodere graulare Date mit kompletter Historie häufig ei Mako im DWH. Aalytik wird i zuehmedem Maße auch auf ustrukturierte Date agewadt, beispielsweise für Setimet-Aalyse oder de Vergleich vo Bilder. Im Gegesatz zum DWH bietet der EDH auch eie Search-Egie für die Suche auf ustrukturierte ud strukturierte Date a. Die Aalyse fortlaufeder Dateströme für Operatioal Aalytics erfordert eie Verarbeitug mit miimaler Latez. Die Stream Processig Services sid daher sehr eg itegriert mit de Stream Load Services ud eier evetuelle Datehaltug im HDFS. Allgemeie Services Die meiste querschittliche Services im EDH sid grudsätzlich aus dem DWH bekat: Systemmaagemet ud Moitorig der eizele Kompoete. Ressourcemaagemet. Workflow-Maagemet. Metadate-Maagemet iklusive Dateabhägigkeitsdarstellug (Data Lieage). Security (Datezugriffsrechte auf Dateie, Tabelle, Views für Aweder ud Gruppe) ud Auditierug der Datezugriffe. Service-Deploymet ud Kofiguratio sid aufgrud der auf Hadoop basierede Umsetzug des EDH ud der große Azahl a Kompoete explizit erforderlich. Dies wird vo de Hadoop-Distributore abgedeckt. I de letzte Jahre, meist getriebe durch Big-Data-Aalytics-Iitiative, hat Aalytik auf der Ebee vo Eizelpersoe deutlich zugeomme. Daraus ist 03/

4 Die Visio des Eterprise Data Hub: Fortetwicklug der Architektur für BI ud Data Warehouse Layer Service Hadoop Load Batch Loader Sqoop Streamig die Aforderug zum Maagemet vo Dateschutz-Richtliie gewachse. Ziel ist es sicherzustelle, dass persoebezogee Date etspreched der idividuell geltede Regelug verwedet werde. Beispielsweise müsse hier die Vereibaruge eies Diestleisters mit seie private Edkude zur Verwedug ihrer Date reflektiert werde. Die Aforderug zum Dateschutzmaagemet muss bislag idividuell umgesetzt werde, da es keie leistugsfähige Produkte dafür gibt. Hadoop-Fuktioalitäte für de EDH Viele der Services des EDH werde vo Hadoop-Kompoete abgedeckt (siehe Tabelle 2). Weitergehede Services werde teilweise vo führede Hadoop-Distributore wie Cloudera, Pivotal, MapR oder Hortoworks abgedeckt. Flume Storage Structured Data Hbase Ustructured Data Hadoop File System Access Batch Processig MapReduce, Hive, Pig, Cascadig Iteractive SQL Advaced Aalytics Search Stream Processig Vo Hadoop icht abgedeckt, aber vo eiige Hadoop-Distributioe uterstützt Mahout, Datafu Lucee Solr Geeral System Maagemet, Ambari Moitorig Resource Maagemet Workflow Deploymet, Cofiguratio Metadata Privacy Rules Security, Auditig Tabelle 2: Tools für die Services des EDH. Storm, Spark Streamig Zookeeper, Yar Yar, Oozie Vo Hadoop icht abgedeckt, aber vo eiige Hadoop-Distributioe uterstützt Datefluss im EDH Die folgede wesetliche Dateflüsse fide im EDH statt (siehe auch Abbildug 2): Die Date werde aus de Quelle i die Ladig Zoe gelade. Die Date liege hier als Rohdate (raw data) vor. Sie sid ei Agebot a die Fachaweder, die die Werthaltigkeit der Date bewerte solle. Diese erschließe sich die Date zu Begi vor allem mittels Data Exploratio. Hierfür betrachte sie die Werteverteilug ud Qualität eizeler Dateattribute ud verküpfe die Date verschiedeer Iformatiosobjekte miteiader. Sie bide weitere Date aus eigee Liste, Spreadsheets oder Referezdate ei, baue ihre eigee Sadboxes auf ud arbeite sehr agil ud iteraktiv mit de Date. Am Ede der Dateexploratio stehe bewertete Awedugsfälle (Busiess-Use- Cases). Nicht tragfähige Idee für Awedugsfälle köe auf diese Weise sehr effiziet aussortiert werde. Die IT-Koste hierfür sid sehr gerig. Tragfähige Idee higege köe u gezielt umgesetzt werde. Date ud Awedugsfall sid dem Fachbereich aus der Dateexploratio bekat, sodass die Umsetzug valide zu spezifiziere ist. Awedugsfälle, die eie fortgeschrittee Aalytik erforder, werde i der Regel direkt auf dem EDH aufgesetzt, weil die erforderliche Date i Graularität ud Historie hier vorliege. Dateahe Aalytik-Algorithme ermögliche eie hochperformate Ausführug. Awedugsfälle, die eher auf klassisches Reportig ud Dashboardig hiauslaufe ud die durch regelmäßige Ausführug ud Verwedug aggregierter Kezahle gekezeichet sid, werde ormalerweise im DWH umgesetzt. Dazu werde die Rohdate zuächst aus dem EDH etspreched itegriert, trasformiert ud qualitätsgesichert ud da dem DWH bereitgestellt. Was sich am DWH ädert Das DWH mit eigeer Datehaltug wird auch i de ächste Jahre Bestad habe. Es diet vor allem der regelmäßige Abb. 2: Datefluss im Eterprise Data Hub (EDH). 28

5 etfalle köe. Dadurch wird das Systemmaagemet vereifacht ud beschleuigt. Ei Tred ist die Aufhebug der bislag geltede Leitliie Treug vo operative ud aalytische Systeme. Dieser Schritt wird durch I-Memory-Computig möglich. So werde operative Aweduge i Zukuft sehr häufig basiered auf eier IMDB (oder auch hybride Datebak) laufe, wobei die fachlich dazugehörige operative Berichte ud Dashboards direkt auf diesem Datehaushalt aufsetze. Der Eisatz vo I-Memory bleibt jedoch begrezt auf de fachliche Scope der Awedug, ist also kei Ersatz für übergreifede beziehugsweise uterehmesweite DWHs ud de EDH. Abb. 3: Alterative Datespeichermedie kostebewusst utze. Wege zu eier eue Architektur Es gibt keie allgemei gültige Roadmap zu eier eue Architektur, aber alle Roadmaps ethalte typischerweise folgede Teilvorhabe, wobei jedes Uterehme seie eigee Prioritäte setze muss: Ausführug fest defiierter Reports ud Dashboards sowie der Drill-Dow-Aalyse. Es wird sich darüber rechtfertige, dass die agebotee strukturierte Date itegriert ud qualitätsgesichert sid ud wichtige Kezahle ud Dimesioe fertig berechet bereitgestellt werde. Das DWH wird regelmäßig über etablierte Dateitegratiosprozesse gelade, die auf itere operative Systeme oder dem EDH aufsetze, wodurch sich auch eie gewisse Dateredudaz zum EDH ergibt. Ei wichtiges Bideglied zwische EDH ud DWH sid daher die Stamm- ud Referezdate. Diese werde zetral verwaltet ud mit EDH ud DWH sowie Geschäftsaweduge ud Parter sychroisiert. Die Goverace über die Stamm- ud Referezdate ist erfolgskritisch. I-Memory-Computig I-Memory-Computig wird die techische Ifrastruktur mittelfristig erheblich veräder. DWHs basiere i der Regel auf klassische, relatioale Datebake (RDBMS). Zuküftig werde hier IMDB beziehugsweise hybride Forme vo RDBMS ud IMDB zum Eisatz komme (siehe Abbildug 3). Dabei sorgt der I-Memory-Asatz dafür, dass Lesezugriffe bis zum Faktor 100 scheller ablaufe. Weiterhi werde das heutige komplexe Aggregatmaagemet ud die Idizierug zum Zwecke der Performace vo Lesezugriffe großeteils BI B2B B2C DWH EDH EDW ERP ETL RFID HDFS IMDB NoSQL RDBMS PoC SQL Busiess Itelligece Busiess to Busiess Busiess to Customer Data Warehouse Eterprise Data Hub Eterprise Data Warehouse Eterprise Resource Plaig Extract, Trasform, Load Radio Frequecy Idetificatio Hadoop Filesystem I-Memory-Datebak Not oly SQL Relatioal Database Maagemet System Proof of Cocept Structured Query Laguage Tabelle 3: Im Artikel verwedete Abkürzuge. EDW-/DWH-Optimierug Viele DWHs agiere heute a ihrer Leistugsgreze. Es liege folgede Probleme, teilweise auch i Kombiatio, vor: Der Ladeprozess dauert zu lag. Die Datehaltugskoste, isbesodere für Betrieb ud Backup/Recovery, laufe auf Grud des Datewachstums aus dem Ruder. Die Atwortzeite für Lesezugriffe bei Reportig oder och viel häufiger bei Ad-hoc-Aalyse ud Dateexploratio sid für die Arbeitsweise der Fachaweder icht akzeptabel. Für die erste beide Probleme bietet der Eisatz vo Hadoop mit Zielrichtug EDH Lösugsasätze. So wird der Ladeprozess gaz oder i Teile aus dem DWH ausgelagert ach Hadoop, wo durch die massiv parallele Verarbeitug ei Geschwidigkeitsvorteil erzielt werde ka. Großvolumige graulare Date oder Datehistorie, auf die im DWH relativ selte zugegriffe wird, werde i ei HDFS ausgelagert, wo sie kostegüstiger gehalte werde köe. Für schellere Atwortzeite bietet sich der Eisatz vo IMDBs oder I-Memory- BI-Plattforme a. Durch eie Verlagerug der betreffede Date vo der Festplatte i de Arbeitsspeicher ka hier ei Geschwidigkeitsvorteil erzielt werde. 03/

6 Die Visio des Eterprise Data Hub: Fortetwicklug der Architektur für BI ud Data Warehouse Big Data Aalytics Use-Cases Die Umsetzug kokreter Awedugsfälle auf Basis vo Big-Data-Aalytics-Asätze erfordert häufig die Verwedug der beide Kerelemete Hadoop oder I-Memory-Computig. Im Folgede sid zwei gaz allgemeie, typische Awedugsfälle beschriebe. Dateexploratio Viele Uterehme arbeite dara, die Agilität ihrer BI- ud Big-Data-Aalytics-Iitiative durch die Eiführug vo Dateexploratio zu verbesser. Ist der fachliche Rahme begrezt, sollte hierbei I-Memory-Computig zum Eisatz komme, um eie hireichede Performace bei de ad hoc formulierte Lesezugriffe zu erziele. Ist dieser eher breiter oder hadelt es sich ohehi um eu azubidede Date aus dem Iteret oder dem Iteret der Dige, da bietet sich der Eisatz vo Hadoop a. Predictive Aalytics Die meiste Uterehme habe Iitiative gestartet, um sich durch Predictive Aalytics euartige Erketisse über geschäftliche Risike ud Chace zu erarbeite. Sie wolle im Zuge desse auch eie Plattform für Predictive Aalytics etabliere. Literatur [Awa13] A. Awadallah, The Platform for Big Data, Cloudera White Paper, 2013 [Tur13] J. Turia, SQL-o-Hadoop platforms i 2013, Gigaom Research 2013 Ist der Rahme fachlich begrezt, sollte hierbei I-Memory-Aalytics zum Eisatz komme, um ausreiched Performace ud letztlich präzise Modelle zu erziele. Hadoop sollte verwedet werde, sobald die Aforderuge umfagreicher sid oder Date eu eigebude werde solle. Der Eisatz vo Hadoop bietet sich auch a für graulare Date, große Datehistorie oder eue Datequelle, wie Iteret oder das Iteret der Dige. Fazit Hadoop ud I-Memory-basierte DWHs sid die Kerelemete eier eue Architektur für BI ud Big Data Aalytics. Das Kozept des Hadoop-basierte EDH greift Idee des EDW auf, ist ihm techisch gesehe jedoch überlege ud de heutige Aforderuge gewachse. Für de EDH spreche das sehr güstige Verhältis vo Koste zu Datevolume, die Skalierbar- keit bei wachsedem Datevolume ud die Vielfalt a Datetype. I Kombiatio mit dem I-Memory-Data-Warehouse bietet der EDH eie zukuftsfähige Plattform für BI ud Big Data Aalytics. der Autor Rüdiger Eberlei (ruediger.eberlei@capgemii.com) ist Chefarchitekt für Busiess Iformatio Maagemet bei Capgemii Deutschlad. Seie Schwerpukte sid Big Data Aalytics, Busiess Itelligece ud Datequalitätsmaagemet. 30