immer keine wichtige Basis analytischer Funktionen. Grund für die

Transkript

1 Inhalt Reifegrad Apache Google... Analytics... Access von Framework auf MapReduce Logs verteiltem in MySQL mit Filesystem einer verteilten (Beispiel Datenspeicherung? Hadoop) 4315 vor Reifegrad Das MapReduce Datenmanagement 15 Datenvolumen Jahren in >2GB von (MPP) und DataWarehouses MapReduce Datenbanken die Analysetiefe zu mit großen der einer Datenbestände Installationen, verteilten nimmt sind Datenspeicherung? in heute allen 1 Branchen TB große zu. Zählten 87 Vorratsdatenspeicherung nach sämtliche DataWarehouses produktiven Provider Lösungen durchaus dem oder unterschiedlich; eher Daten Urteil Einsatz. Telekommunikationsunternehmen, klein. des zur üblich Vorratsspeicherung Bundesverfassungsgerichtes Heute Der Wachstum zu sind erste Branchen Größen Systeme mit zwischen Datenaufkommens löschen mit großen einem vom 100 auch Wachstumsraten sind. Datenvolumen bis wenn Zudem 300GB ist eine verfassungswidrig liefern von den Datenvorratsspeicherung zählen DataWarehhouse von einzelnen PB Internet sind der Branchen im ist Service und immer keine wichtige Basis analytischer Funktionen. Grund für die aus, Zunahme Trend, Ereignisse Die Rechenkapazität technische die Daten noch gestiegenen des oder gültige immer Datenvolumens Reaktion Veränderungen und Mooresches zeitnaher Kapazitätsanforderungen Datenspeicherkapazitäten. auf diese sind nach zu Gesetz) Anforderungen reduzieren. zunehmende Ihrer und Entstehung Speichermedien zu Die kompensieren. ist Leistungssteuerung zunehmend auszuwerten, Aktivitäten. reichen Seit der um Einsatz dem nicht Reaktionszeiten von Ferner von in verteilter Rechnern allen Google besteht Bereichen in (z.b. auf ein 2004 gegenüber Serverclustern Datenspeicherung Datenbanken Massendaten dem vorgestellten MapReduce Ansatz zur Parallelisierung von Analysen und Ergebnisspeicherung auf und Ansatz haben Google und Internetdienste vergleichbare Lösungen mit diesem DataWarehouse im produktiven Einsatz. Hierbei werden mitunter hunderte von Servern zur Analyse und möglich (shared-nothing-architecture) vornehmen verbunden. zu können, In anderen die derzeit Bereichen eingesetzt, mehr werden funktionale um ähnliche Massiv Rechenleistung Auswertung Parallel Prozessing auf gegenüber (MPP) Heise Apache von Google vorgestellten Ansatz aufweisen. Welchen Reifegrad haben MapReduce Ansätze MySQL MPP Datenbanken; welche Alternativen bestehen, wenn mit commodity Hadware Gemeinde vergleichsweise einfachen Datenbanken wie beispielsweise MySQL als Massenmarkt Kunden Lösung das Wachstum auch solcher kleiner DataWarehouse Lösungen liefern. Installationen Auch sein soll? Consulting Auswertungen eine Access die wichtige Soziale-Netzwerke, Services Logs spielen über Rolle. GmbH das in Ein als MySQL Nutzerverhalten Serviceangebot Open 2010 Web-Shops/Auftritte Source Produkt der von von Internet - Ihnen bei oder Unternehmen Portale Dienstleistern gehosteten etc. nutzen Webseites der ist Internet es, Log-Dateien Seite ihren etc. 1 von zu 8

2 ihrer jedoch Mit analysieren Log Kunden gegenwärtige WebServer Analysezwecken. Die Ansätze der Auswertung und Datenerhebung können Tabelle voneinander abweichen. Es sind hierzu Daten mit mehreren Datenzeilen zu MySQL und zumindest kurzfristig zu speichern. sind variierende MySQL DBMS ist eine Herausforderung, detail log records von Access- Betrieb Dateien auszuwerten. Service Anbieter hosten nicht selten tausende Web-Sites ihrer Maßnahmen Domains Limitierungen entsprechenden von MySQL analytischen 5.1 Installationen Serviceangeboten. für Millionen In der Literatur Zeilen pro werden Analytische und für mehr als 50 Abfragen/Sec. angegeben, wobei die jeweils zugrunde liegenden Konfiguration. Storage Engine und Abfragekomplexität nicht immer benannt wird. Eigene Erfahrungen MySQL eher konservativ insbesondere dann, wenn wie im DataWarehouse Umfeld komplexe und Verbindung SQL Statements auf MySQL mit gemischten Workload ausgeführt werden. Der Partitionierung von DBMS und die Ausführung von SQL Statements kommt nicht ohne geeignete Tuning den Auswertungen aus. von vielen Millionen Datenzeilen übersteigen MySQL Limits üblicher Lesevorgänge/Abfragen. Eine Skalierung (Datenmenge + Workload) durch den Einsatz einer Vielzahl von möglich, RDBMS zur jeweiligen Speicherung weniger Domain Log-Dateien (Shading) in Auswertung mit der Replikationsmechanismen Daten auf unterschiedliche ist ein MySQL Lösungsansatz. Installation Das Shading ein übliches oder Vorgehen bei können. vorliegenden Mengengerüsten. Der Einsatz zusätzlicher Replikationsmechanismen dient der erhöht Verteilung Master Knoten von Schreib- dient im und wesentlichen Lesezugriffen für Schreibvorgänge auf unterschiedliche und der Slave Installationen. Knoten dient Der für Jeder relative Dieses Shading (Partionierung) Daten ist prinzipiell nur dann und wenn keine Joins mit Datenbanken anderer verteilter MySQL Server für jeweilige 7 für Datenbewirtschaftung, diesen dieser den unabhängige Eine Aufwand Anwendungsfall benötigt MySQL solche Server Konfiguration für werden. DBAs, bedarf auf Die der Datenmanagement, den einer fachlichen möglich ist Einsatz jeweiligen eine eigenen eines Herausforderung ist: Voraussetzungen MySQL MySQL wenn Anwendungslogik Installationen auch Clusters logisch für müssen die mit gesamte einheitlichen der ausgewertet und hier MySQL Betriebsteam. geprüft Architektur Storage Verwaltung werden, Engine und ob Dies Bewirtschaftung 1. MySQL benötigt für ein Cluster die NDB clustered engine Jobsteuerung bedeutet, lesende Die diese NDB gesamte Databasengine Das eine Zugriffe einer ist Workload für Cluster-Option NDB MySQL lesende optimiert, Datenbank Management nicht Installation Zugriffe optimiert. ist unterstützt muss in optimiert. Millionen ist ist Aufgabe InnoDB eine Arbeitsspeicher jedoch Für Zeilen stetige ist der gegenwärtig für Umgebungen Anwendungslogik Aufgabe konkurrierende gehalten sowie keine schreibende nicht werden Cluster die schreibende und anwendbar. Durchführung können. der Zugriffe und Die ist Heise stehen Kapazitätsanforderungen Ebenso notwendiger Changes und wird durch die Datenbank nur in geringem Umfang unterstützt. Netzwerksegmente MySQL Apache und zu sind bietet laden. die Möglichkeit Umweg Access-Logs Log-Dateien direkt über MySQL einen Datenmanagement Datenbanken zu scheiben Prozess in eine Consulting die Sicherheitsaspekte Analytischen Hierdurch können Batch Ladevorgänge von Log-Dateien reduziert werden, Services befinden. zur GmbH DBMS Anreicherung zu beachten, 2010 idr. sich und innerhalb da Analyse Web-Server von dieser Firewalls idr. außerhalb und sind anderer damit einer nicht Firewall Seite gelöst. 2 von 8 (mod_log_sql), ohne

3 Soll so beispielsweise Datenbanken bedarf eine Farm (es einer) eingerichtet von mit anderen MySQL weiteren Installationen werden, DBMS Software, oder um Daten da Middleware MySQL einer logisch logischen Verlinkungen zusammen Funktionalität Instanz zu verteilter zusammengeführt führen. nicht Einfache MySQL enthält. Abfragen So werden, können ausgeführt mit Alternative geringen Shading Datenrückgabemengen zusammenzufügen können auf ist diese der Einsatz Weise von ausgeführt Sphinx (Open-Source) werden. Eine weitere als eine Anmerkung: Full-Text verknüpften unbefriedigende variierende Index Engine mit MySQL Schnittstellen. Auch hier gilt, die Operationen auf diese Daten dürfen nicht komplex sein. Der Einsatz dieser federated databases Aufwand ist mindestens für (Architektur, DataWarehouses werden Abfragen Der aus Einsatz Maßnahme. Performancegesichtspunkten sollen. möglicherweise Design heutiger mittlerer Auch und MySQL Ressourcen) caching bis mit großer Umgebungen abweichenden Maßnahmen realisierbar. Historie im DataWarehouse ist nur sind Datenzugriffsbeschränkungen für Goolge, mit nur einem begrenzet Einsatz YouToube, Umfeld deutlich granularer einsetzbar, eine Facebook, erhöhtem Log-Access wenn Flickr, werden, Metacafe oder Netlog nutzen MySQL Installation in Millionen Zeilen Konfiguration. MySQL Datenmigration installationen bieten sich eher für eine Hybrid-Strategie an, indem Analysen und Datenspeicher Hardware für granulare Daten außerhalb einer MySQL vorgenommen werden: MySQL Installationen spaltenorientierten enthalten Aggregate externer granularer mittlerer Historie. Zahlreiche Anbieter von MySQL DataWarehouse Frontends Schnittstellen zu MySQL bereit, so dass mitunter die einen Speicherung dieser externen granularen proprietären Lösungen erfolgen kann. können Steigen Kapazitätsanforderungen da Anpassungen vermieden an werden Schnittstellen, und soll, soll so MySQL kann der Einsatz der nicht Einsatz neuer durch einer DBA anders für Werkzeuge MySQL DBMS optimierten oder ausgetauscht eine (Kickfire) oder Einsatz von Datenbanken eine Option sein, die MySQL zu MapReduce Treiber oder (Infobright, Schnittstellen Calpont) können bis weiterhin zu MPP verwendet Datenbanken werden, erweitern sie besitzen (Calpont). jedoch Paare Verarbeitung geänderten Optimizer und Indexstrategie. Diese kapazitiven Beschränkungen von MySQL auch auf DBMS anderer Single-Server Installationen übertragen werden. Funktionen Berechnungen sind Framework werden parallelisierbar einer können. integriert können Eingabeliste ist großer gespeichert ein MapReduce funktionaler diese aufgrund Datenmengen. Sequenzen verarbeiten Zwischenergebnisse werden umfasst der Programmieransatz Key/Value angewendet können. Anwender und zwei wiederum Technologiebereiche: Programme, Paare mit werden, definieren gleichen die Key/Value und so wird Clustern die eine dass Key/Value mit in Paare Map Zwischenergebnisse Verbindung diesem von Funktion erzeugen. Paaren. Servern Ansatz gebracht Map-/Reduce die ausgeführt Eine erstellt Key/Value für mit wurden weitere der Timestemp 1. Parallele Programmierung Funktionen eine Access-Log MapReduce 2. Verteiltes Datenmanagement Heise 1. Anreicherung Funktionen Textzerlegungen, muss nicht können immer Zähler, für eine Summen Reduktion oder andere Datensätze Aggregationen sorgen, implementieren. sondern kann auch Consulting Files und lassen einem formatierte sich dieser Services mindestens neuem sein. Indizierung, GmbH Key/Value Beispielsweise liefern drei Suchfunktionen Listen Classen In Verbindung möglicherweise wird von die Anwendungen mit der mit Funktionalität anhängendem von formulieren: MapReduce der SessionID Map- Seite auf Apache 3 von und 8

4 Invertierte MapReduce eine problematisch 2. Erstellung von Datenstrukturen (z.b. Graphen) URLs 3. Data Mining und maschinelles Lernen Die überlegen Text-Listen erzeugt Listen, sind jedoch diese Key/Value nicht unbedingt Paare können wieder sinnvoll Tabellen in Tabellen dargestellt darstellbar werden. z.b. auch mit invertierter Repräsentation hoher bestimmte ohne aller sparsity verfügbaren sein. den abzubilden Einsatz Klickstream Die Seite). bleibt von Problematik von Graphen URLs Klickstreams jedoch (sparse SQL in Graph einer aus erhalten. von der tables); diesen statistischen (welche Klickstreams Kette in um Analytische Listen von Seiten zu kann einer bereit Auswertung sind zeigen durch daher Funktionalitäten URL gestellt in -mit relationalen zu die einer gelangen hochdimensionaler Webanwender ein werden. relationalen oder Strukturen können oder mehreren Beispielsweise Berichte genutzt idr. Speicherung Informationen Links- nur werden. können wenige auf Berichte als Ergebnis Ausgabe-Listen der Reduce Funktion enthalten. Visualisierungswerkzeuge aus Datenstrukturen nicht Es ( gibt dem klassischen oder DataWarehouse relationale Datenbanken Umfeld, die darstellen, Ergebnisse sind von für Abfragen die Darstellung multidimensionaler dieser Listen 1. geeignet, zahlreiche Die Implementierung es unterschiedliche sei denn, diese des Listen Datenmanagements Implementierungen werden Exemplarisch zuvor in kann von sind geeignete MapReduce auf dies: Anforderungen Datenstrukturen verteilter exportiert. eigene Google Viele 2. gemeinsamer Filesysteme (Cluster) Speicher (Google, (Stanford Hadoop) Phoenix) oder paralleler Datenbanken (Greenplum) zugeschnitten sein Projekte Infrastruktur Analytics ( Google MapReduce: BigTabe: ( von File A Google Distributed System geschaffen Simplified speichern (GFS) Storage Data zu 10/2003 haben: Daten Processing System großen for on Structured Large Tabellen. Clusters Data Google 12/ /2006 gibt an, hierfür eine wesentlichen Zu dieser zählt auch das Google File System (GFS) zum speichern von Log-Files und Daten-Files. Funktionen Goolges Engineers entwickelten eine BigTable als eigenständigen indizierten Datenspeicher datenintensiven basierend auf dem GFS, um große und verteilte Datenmengen, die wie Apache-Log auf Finance. über Ressourceneinsatz Anforderungen Wiederherstellung hunderte Maschinen paralleler zu oder analysieren. Datenverteilung Programmierung, verteilt sind Das Framework in kapseln, einer Fehlertoleranz, vertretbaren so soll dass gleichzeitig Anwender Skalierbarkeit, Zeit und die (Engineers) mit gesonderte einem Lastverteilung, wirtschaftlichen im besitzt Mit Engine Heise seiner typed Anwender erstellen. Algorithmen Google für nutzt die Transformationen den verteilten Datenspeicher von Key/Value Paaren für zahlreiche Map- und Reduce Consulting Für Datastore diese properties, Produkte können Anwendungsfälle Services API ermöglicht Abfragen wie wie GmbH Google StringProperty 2010 auf Google ist Search, die Entitäten BigTable den Gmail, oder Zugriff im BooleanProperty. eine Google Datenspeicher auf Alternative den Maps, BigTable Google zu ausführen. Es RDBMS. gibt Datenspeicher. Earth zwei oder Eine Schnittstellen Seite Entität Google App 4 von 8

5 Weiterhin Anwendungsfälle Logfiles Datastore um Abfragen auszuführen: Query Class (Prozedurale Abfrage) und GqlQuery Class (SQL ähnliche Umfeld deklarative Abfrage Sprache). Performance Anmerkung: Google im hat Petabyte gezeigt, (PB) mit Umfeld der BigTable eine Alternative und MapReduce zu (MPP) für Datenbanken analytische zu besitzen. MapReduce dient Google der MapReduce Ansatz dem Datenmanagement semi-strukturierte Hadoop in strukturierte zu transformieren, die einer BigTable gespeichert werden. Die verteilten API und der MapReduce Ansatz bieten Engineers die bislang weniger im RDBMS Implementierung gearbeitet große haben Datenmengen die Möglichkeit, zu analysieren. in für sie bislang nicht bekanntem Umfang und Hadop distributed Master/Slave ein bedeutender auf verteiltem Vertreter des Filesystem Implementierungsansatzes (Beispiel Hadoop) von MapReduce in unterschiedlichen Filesystemen. entworfen. Hadoop Hadoop wurde enthält in Anlehnung zwei Hauptkomponenten: die Google MapReduce Speicherung gepuffert) file system (HDFS): DataNode(s). die Architekture: Der Master NameNode enthält Informationen über den Ort sukzessive von Datenblöcken (Typischerweise 64MB). Datenblock kann auf einem Replikationsslave Knoten (Server) liegen. Jeder Slave DataNode verwaltet seine von Datenblöcke auf dem lokalen Filesystem, ohne Kenntnis der HDFS Dateien. nicht Slave Schecksummen bekannt, DataNodes. sendet in von das Der so Dateien lokale dass der Master zu zur schreibende Die durch am Filesystem Prüfung NamedNode im Slave Ende den HDFS: DataNodes einer Master der Dateien und Jeder Datenintegrität Übertragung koordiniert senden NamedNode Client empfangen kleinen die (zuvor die Datenblöcke von ist Datenpaketen benannt Verteilung im und Dateien für Temp-files diese schreiben wurde. in weiter kleinen der das (4K) auf Datenblöcke die Die HDFS an dem Datenpakete Datenpakte Verwendung den die festgestellt Client Slave nächsten auf neueste synchronisieren Übertragung Die Der wird, ob Integritätsbedingungen erfüllt sind (Schecksummen Prüfung erfolgen nach der Ein von Dateien das Schreiben von großen Tabellen ist kein Prozess von beschriebener wenigen Cluster. Absturz Replikation Master FsImage Minuten). des NameNode und Master (FsImage, verwendet. Re-Replikation Files NameNode kann (open EditLog). mehrere Files). von führt Beim Kopien Datenblöcken zum Start Verlust seiner des Master Medatadaten aller erfolgt zu NameNode über diesem unterschiedliche verwalten Zeitpunkt wird jeweils und das Heise Hadoop Auslastung Die Snapshots Batch Master/Slave Verteilung der der Cluster Daten auf balancieren. einzelne Cluster erfolgt automatisch, um die Built-in Consulting MapReduce Verarbeitung binding des Architektur HDFS zum Rollback im Fehlerfall sind nicht möglich. Services für Java bei der ist der nicht Master für Realtime Node die Abfragen Jobsteuerung ausgelegt; übernimmt. sondern für eine GmbH und ermöglicht 2010 C gewöhnlich kein Random Accesss auf das HDFS. Seite 5 von 8

6 Die die Map HDFS auf Ausgabe Funktionen ist dem in der gleichen dieser Lage, sollten Map Datenblöcke Slave auf Funktionen DataNode den verfügbaren von sollte ablaufen, einer mit Replikation Datenblöcken um Netzwerk-Bandbreiten zu lesen, des Slave so bearbeitet dass DataNode auch zu schonen. werden, laufen. Replikationen auf dem SlaveNode durch die Map/Reducer-Funktionen genutzt können. Es gibt bereits zahlreiche Implementierungen von HDFS (Yahoo, Last.fm, Google, Facebook, HBase enthalten weiterführende in Amazon s Elastic Compute Cloud (EC2) computing infrastructure). Yahoo ist BigTable der Hauptsponsor ist Artikel von Hadoop. zur Architektur, Es gibt viele Performance Foren- Blog- Stabilität Beitrage sind zu Hadoop. finden unter Ein paar kann. entwickelt: eine Java-basierte Erweiterung für Hadoop und wurde in Anlehnung an Googles koordiniert Tabellen HBase keine Query Engine Spezialtabellen bietet Googles BigTable ähnliche Funktionalitäten auf Hadoop (HDFS). Regionserver ist spaltenbasiert Datenspeicher aber kein Ersatz für RDBMS TableInput/Table bestehen aus Regionen wobei jede Region auf unterschiedlichen Servern liegen Native Tabellen besteht Java die Client/API aus werden Regionserver. ROOT- Output zwei (get(byte[] im und Typen Format HDFS.META. von Filesystem für row, Knoten: speichern Hadoop byte[] Master gespeichert. MapReduce column, Schemainformationen und long Regionserver. ts, int versions) und Der den Masterserver Ort der Content Beispiele Es Scalierung: Reliability: Version für HBase Externsions: Hive, Pig, Cascading, Pigi, Hbase-Writer Einfaches Anwendungsebene; besteht die Radom Gefahr access eines (Ab Datenverlustes, Release 0.20). im Skalierung Fehlerfall durch des Master Verwendung Server von mehr HDFS. Gegenwärtig Regionservern. verändert Schreibvorgänge werden ohne Indizes über das HDFS verteilt. Der performante, zu Datenbank werden Verwendung , schreiben. ist das reliable ist von Datenstrukturen Schema: Hierdurch möglich der den und HDFS Entwicklern Datenkonsistenz fehlertolerante HDFS wird Replikation; können der Files Redo erneut HBase dafür Lese/Schreibzugriff Backups Logfile zwischen zu durch gesteckte öffnen von sind Tabellen den HBase möglich. und Entwickler Ziel am reliable. auf noch erfolgt Endes Mit Tabellen nicht der einfach auf des HDFS erreicht: mit Files Heise Anmerkung: >>Millionen von Zeilen >>tausenden von Spalten mit commodity Servern. Unternehmen Gegenüber der BigTable von Google wird über konzeptionelle Performancenachteile von (u.a. wegen Java Code-Basis) berichtet. Gegenwärtig werden Gesichtspunkte von deutlich Robustheit, Skalierung und Korrektheit in der Entwicklung von HBase Algorithmen Lizenzkosten Jobs fokussiert. Consulting reduziert. im HDFS Hadoop für wie kommerzielle Dateisystem Yahoo, Das Services und HBase HBase Facebook GmbH Projekt (MPP) wurde sind 2010 oder weiterhin RDBMS ist mit für Amazon der die Produkte Version im Unternehmungen produktiv Status 0.20 scheuen, der gegenüber genutzt. Entwicklung affin interessant, Die für Vorgängerversionen berichtete Open-Source aber die werden hohe Seite Fehlerrate Produkte bereits 6 von in 8

7 sind oder vergleichbarem Hadoop/HBase PostgresSQL-Datenbanken und Single-Server Aufgrund umfassen Datenvolumen DMS von Millionen Installationen weitaus über und das von mehr Analysebedarf. HDFS Zeilen Probleme Server Cluster in Tabellen als bereiten. zu beispielsweise Gegenwärtig verteilen. die Konfigurationen bestehenden Mit wird MPP PostgresSQL von Installationen MySQL Aktivitäten auf der steht Installationen Basis mit dann berichtet, verteilen. RDBMS auf einem HDFS Cluster zur Verfügung. Greenplum hat ebenfalls PostgresSQL für seine durch. MPP erweitert und gute Erfolge erzielt. auf DBMS vorgenommen Eigenschaften MapReduce Zur in (MPP) Datenbanken (Teradata, Bewältigung hoher Kapazitätsanforderungen zeichnet sich ein Trend ab, die Software des MicroSoft/DataAllegro, und Hardware aufeinander abzustimmen und die Daten über mehrerer Rechnerknoten zu Analytische Für Installationen hoher Kapazitäten setzt sich diese shared-nothing-architecture RDBMS SMP Auch Architekturen Sybase, Anbieter, hatten, ihren HP Neoview, die Top-Produkten. vollziehen gesetzt ParAcell, hatten Oracle Vergangenheit Greenplum, einen und Gegenwärtig Exadata, Schwenk für Vertica, den in IBM zu ihren Einsatz DataWarehouse ist InfosphereBalancedWarehouse, Dataupia, eine transaktionsorientierten komplexer Vielzahl Aster MPP Abfragen Data Applicances DBMS oder Optimierungen Calpont...) verfügbar Datenbanken mit Netezza, MPP Funktionalitäten datengetriebener auszuführen integriert Funktionalitäten und Anwendungen. und bieten schaffen werden die Möglichkeit, die Diese technischen von Lösungen einer externe Vielzahl Voraussetzungen sind analytische individuell kommerzieller und Funktionen für können DBMS zukünftige Anbieter innerhalb nicht von in einem des ihre (Bsp. Anbieter Greenplum mit RDBMS des auf den anderen übertragen werden. ggf. MapReduce Teradata zu verknüpfen. und Sessionalization Aster Funktionen Ansatzes. in ihre Data Netezza Produkte So Systems zur löst von verarbeiten und integriert Teradata Access-Logs, waren die MapReduce haben. und ersten (Zwischen-) die Die in beispielsweise Datenbank dem Anbieter Funktionen RDBMS Ergebnisse bietet Anbieter, auch eigene strukturiert die mit Möglichkeit, die Implementierungen Daten SQL MapReduce gespeichert Statements aus dem Flatfiles sind besteht Anmerkung: Architektur fehlertolerant unter nicht. Anwendung um MPP Insbesondere und Prozesse Datenbank reliabel von z.b. zu externen Teradata SQL Anbieter speichern. Statements user besitzt wie defined Teradata Gefahr durch zu parallelisieren funtions seine von oder Datenverlusten über Greenplum (UDF) Jahre und gereifte nutzen wie perfomant, bei Architektur, ihre Hadoop/HBase MPP Query- Umgebungen Engine und Administrationswerkzeugen technologische Eigenschaften die Hadoop/HBase oder Heise Darstellung auch Googles BigTable nicht aufweisen. Die großen MPP Datenbankanbieter werden in Bezug Datenbanken. für auf DataWarehouse Skalierbarkeit oder Applicances Wirtschaftlichkeit (vergl. durch Gartner) Googles wie Teradata, BigTable Oracle, herausgefordert. IBM, Netezza Marktführer oder MapReplace MicroSoft/DataAllegro Skalierbarkeit Petabyte sind stand-alone MPP DBMS für DataWarehousing. Sie haben ihre DataWarehouse. produktiven Umgebungen mit hunderten von Terabytes und intern mit und der Datenvolumina demonstriert. Sie sind gleichsam gemischten Workload Consulting Analysefunktionalität von bewährt. Verbindung Abfragen Es Visualisierungswerkzeuge aus dem klassischen DWH Umfeld zur Services handelt und mit GmbH sich von Reporting, Googles um DBMS eine BigTable Ergänzung haben Funktionalitäten stabile ist aus im Schnittstellen Bereich Datenbanksicht von MapReduce Datenmanagement zu kein diesen werden Ersatz MPP bzw. für Seite zum ein ETL 7 von 8

8 offensichtlich, Portfolio Kollegen Datenmanagement Mit kann: von zukünftigen DBMS gehören. DBAs, DataWarehouse Anhänger und ihre Engieering Datenanalyse. werden die für ihr Fachgebiet nutzbringenden Einsatzgebiete auswählen. Funktionen Transformationen/Mappings Funktionalitäten der Einführung von durch Google im Whitepaper von 2004, wurde Einfachheit beispielsweise dass auch große Teile eines Datenmanagement Prozesses abdecken Datenbewirtschaftungsprozesse von der verleiht Extraktion, Die in gehen einfachen Möglichkeit MapReduce weit der Hadoop über sogar Transformation, des eine Filter/Grep/RegExpression Einsatzes Beispielen hohe externe Flexibilität von Libraries dem auf externen Web-Sites Laden, und auszulagern. Programmen bietet der Techniken dargestellt Datenbereinigung die MapReduce Möglichkeit, hinaus, werden. Map- wie und bis komplexe Die sie hin Reduce zur Wird werden Anmerkung: eingesetzt, aufgrund der Parallelisierung durch Key/Value Paare ist überzeugend aber File-Servern enthalten sehr häufig Datenabhängigkeiten, die berücksichtigt Tabellen müssen. mit Wird anstelle von MySQL oder BigTable/HBase Datenspeicher MPP Datenbank Option Datenmanagement so sollte das Datenmanagement vermehrt in Datenbank verlegt werden, die Source ihrer MPP Architektur zur Parallelisierung von Bewirtschaftungsprozessen beiträgt. Ansätzen eine Hadoop/HBase die das HDFS Umgebung Cluster aufspannen gewählt, bestünde und den die Datenspeicher Architektur in aus Form einer von Farm HBase von bereitstellen und ebenso die Rechenkapazität für MapReduce Prozesse. Mischformen Parallelisierung Hadoop/HBase Umgebungen für die Speicherung großer Tabellen und dem Datenmanagement und MySQL Installationen zum speichern von Aggregationen sind eine Version für Unternehmungen, die beispielsweise Softwarelizenzen scheuen und lieber auf Openhinsichtlich Lösungen setzen. Neben den Ansätzen, das Datenmanagement mit MapReduce werden ihrem 3.1 oder kann. Produktportfolio zu möglich der lösen auch Parallelisierung weist stehen als Prozessen und unterschiedliche Opens-Source weist Tools enthalten bei Limitierungen von zur dem Datenintegration Datenbewirtschaftungen sind verfügbar Reifegrade Open oder im Source von sind. Prozessdesign auf. spezialisierten Die Produkt bereit, Eignung ist die eine PDI als auf. bei dieser sehr (ehemals parallele Softwarefirmen Hingegen einigen ausgereift Produkte Ausführung Kettle) Anbietern kann bezeichnet zur angeboten erst AbInitio von ab von DBMS Heise Consulting Services GmbH 2010 Seite 8 von 8