SEMT. Prof. G. Bengel. Searching as a Service (Programming Model: MapReduce)

Transkript

1 Hochschule Mannheim Fakultät für Informatik SEMT Prof. G. Bengel Sommersemester 2009 Semester 8I Searching as a Service (Programming Model: MapReduce) Michel Schmitt (520361)

2 Inhalt 1. Einführung MapReduce Key/Value Codebeispiel Map-Phase Reduce-Phase Arbeitsweise Anwendungsbeispiele Ausfallsicherheit/Problembehebung Worker Fehler Lokale Daten Backup Tasks Weitere Implementierungen Amazon OpenSource Hadoop Quellverweis Abbildungsverweis... 11

3 1. Einführung Da sich immer größere Datenmengen anhäufen, wird es fortwährend schwerer diese auch in vertretbarer Zeit zu verarbeiten und zu analysieren. Anbieter wie Google, ein großer Internetdienstleister, haben deshalb an einer Möglichkeit gearbeitet, Prozesse die über riesige Datenmengen ausgeführt werden, hinsichtlich Geschwindigkeit und Verteilung zu optimieren. Das Resultat ist das von Google entwickelte MapReduce, ein System, das die zu verarbeitenden Daten in kleine Stücke aufteilt und diese dann parallel von vielen Rechnern abarbeiten lässt. Einsatz findet dieses System bevorzugt in großen Cluster Systemen, aber auch in Mehrkernarchitekturen mit einem gemeinsamen Speicher und erzielt eine sehr gute Performanz. Auch skaliert das System sehr gut indem man einfach weitere Rechner zum Cluster hinzufügt oder aber zusätzliche Kerne verwendet. Die Implementierung von MapReduce wird in verschiedenen Programmiersprachen wie Java, Perl, Ruby, Python, PHP, R, oder C++ angeboten. 2. MapReduce MapReduce ist ein von Google inc. eingeführtes Framework um sehr große Datenmengen effektiv auf Computercluster zu verarbeiten. Die Idee dahinter basiert auf den map und reduce Funktionen von funktionalen Programmiersprachen wie in Lisp. In der Mapping-Phase werden Key/Value Paare kreiert welche dann in der Reduce-Phase zusammengeführt und kombiniert als Ergebnis zurückgeliefert werden. Hierzu wird in einem vom Benutzer geschriebenen Programm die Eingabe festgelegt und die gewünschten Werte die daraus entnommen werden sollen bestimmt. Die Eingabe kann zum Beispiel mehrere gecrawlte Webseiten, bestehend aus all den dazugehörigen Dokumenten sein und als Suchwert alle vorhandenen Begriffe.

4 2.1. Key/Value Codebeispiel Anhand des folgenden Pseudo-Codes werden die Aufgaben von Mapper und Reducer und den Key/Values veranschaulicht. Hier wird die Anzahl eines vorkommenden Wortes berechnet. map(string key, String value): // key: document name // value: document contents for each word w in value: EmitIntermediate(w, "1"); reduce(string key, Iterator values): // key: a word // values: a list of counts int result = 0; for each v in values: result += ParseInt(v); Emit(AsString(result)); Map-Phase Map bekommt jeweils einen Dokumentnamen key und ein Dokument value als Zeichenkette übergeben. Map durchläuft das Dokument Wort für Wort. Jedes Mal, wenn ein Wort w angetroffen wird, wandert eine 1 in die w- Zwischenergebnisliste (falls diese noch nicht existiert, wird sie angelegt). Ist man mit allen Wörtern durch und hat der Text insgesamt n verschiedene Wörter, so endet die Map-Phase mit n Zwischenergebnislisten, jede für ein anderes Wort sammelnd, welche so viele 1-Einträge enthält, wie das entsprechende Wort im Dokument gefunden wurde. Eventuell liefen viele Map-Instanzen gleichzeitig, falls dem Framework mehrere Worte und Dokumente übergeben wurde.[6] Reduce-Phase Reduce wird für das Wort key und die Zwischenergebnisliste values aufgerufen. Reduce durchläuft die Zwischenergebnisliste und addiert alle gefundenen Zahlen auf. Die Summe result wird an das Framework zurück gegeben, sie enthält, wie oft das Wort key im Dokument gefunden wurde. Die Zwischenergebnisse konnten parallel, durch gleichzeitige Reduce-Aufrufe, berechnet werden[6]

5 2.2. Arbeitsweise Das Analysieren der Daten wird auf mehrere Rechner im Cluster aufgeteilt. Die Mapper-Prozesse generieren die Key/Value Paare und speichern ihre Zwischenergebnisse lokal ab. Reducer-Prozesse greifen auf die gespeicherten Daten kombinieren die zugehörigen Key/Value Paare. der Maper zu und Abbildung 1 Arbeitsweise 1: Die in dem Benutzerprogramm eingebundene MapReduce Bibliothek teilt zuerst die Eingabedaten, je nach Parametrierung in MB große Blöcke. Danach werden Kopien des Programms erzeugt und an die einzelnen Rechner im Cluster verteilt (Worker). 2: Der Master-Prozess entscheidet welcher Rechner Mapper- oder Reducer- Aufgaben erledigt. 3: Ein Worker welcher als Mapper fungiert liest den Inhalt einer oder mehrerer gesplitteten Eingabedaten. Die Map-Funktion im Programm ermittelt die Key/Value Paare. Die geparsten Key/Value Paare werden zunächst im Speicher des jeweiligen Rechners behalten.

6 4:Periodisch werden die Zwischendaten der Mapper auf ihre lokale Festplatte geschrieben. Die in MapReduce integrierte Partitionierungsfunktion speichert die Daten in verschiedene Regionen. Die Speicheradressen der Zwischendaten werden an den Masterprozess weitergegeben. 5: Wenn der Master einem Reducer die Speicheradressen eines Zwischenergebnisses mitgeteilt hat, greift dieser auf die Daten zu. Nachdem der Reducer alle Informationen eingelesen hat gruppiert er alle Zwischendaten anhand der gleich vorkommenden Keys. 6: Der Reducer sammelt so für jeden einzigartigen Key alle vorkommenden Values und gibt diese an die Reduce-Funktion weiter. Das Ergebnis wird anschließend an eine Ausgabedatei angehängt. Wenn alle Mapper- und Reducer-Prozesse fertig sind wird in das Programm des Benutzers zurückgekehrt und der MapReduce aufruf endet Anwendungsbeispiele Bildung verschiedener Statistiken für Web-Seiten Invertierter Web-Link Graph (welche Seiten zeigen auf eine bestimmte Seite?) Bildung von invertierten Indizes (in welchen Dokumenten kommt ein best. Wort vor?) Verteiltes Sortieren Maschinelles Lernen Cluster-Algorithmen Verarbeitung von Satelliten-Bildern Sprachverarbeitung für automatische Übersetzung Graphentheorie

7 2.4. Ausfallsicherheit/Problembehebung Da das MapReduce Framework dazu entworfen wurde eine große Datenmenge zu verarbeiten die hunderte bis tausende Rechner in einem Cluster mit einbeziehen, muss auf Fehler entsprechend reagiert werden Worker Fehler Der Master sendet periodisch einen Ping an seine Worker. Kommt in einer gewissen Zeitspanne keine Antwort, wird dieser Worker als nicht erreichbar markiert. Alle von diesem Worker bearbeiteten Prozesse werden in den Idle Status versetzt und werden somit vom Scheduler an andere Worker verteilt. Schon fertige Mapper-Tasks werden bei einem Fehler erneut ausgeführt, da jeder Worker die Zwischenergebnisse lokal speichert. Fällt dieser Rechner aus, sind diese Daten nicht mehr abrufbar. Abgeschlossene Reduce-Task hingegen müssen nicht erneut ausgeführt werden da die Ausgabe global gespeichert wird Lokale Daten Um den Netzwerk Traffic in einem großen Computercluster gering wie möglich zu halten arbeitet MapReduce viel mit temporären lokal gespeicherten Dateien. Um Datenverlust zu vermeiden benutzt MapReduce von Google ein intern Entwickeltes Dateisystem GFS. Gespeicherte Daten werden in 64 MB große Blöcke geteilt und Kopien (Typischerweise 3) jedes Blocks werden auf verschiedene Rechner im Cluster abgelegt. Der Master Prozess kennt alle Speicheradressen der abgelegten Daten. Kann auf einen Block nicht zugegriffen werden, werden die Daten von einem Backup Block gelesen Backup Tasks Der häufigste Problem bei großen MapReduce Berechnungen sind defekte Hardware oder sehr ausgelastete Worker. Eine Fehlerhafte Festplatte eines Workers könnte den ganzen MapReduce Vorgang erheblich verlangsamen. Um so einen Flaschenhals zu umgehen gibt es für jeden Task einen Backup Task. Der Master kann so bereits laufende Prozesse an andere Worker übergeben. Ein Prozess ist erfolgreich ausgeführt wenn entweder der Backup Task oder der normale Prozess durchgelaufen ist. Um das doppelte Ausführen von Prozessen zu vermeiden merkt der Master sich die Speicheradresse für jeden erfolgreichen Prozess. Erhält er also eine neue Speicheradresse für den gleichen Prozess ignoriert er diese.

8 3. Weitere Implementierungen Amazon Amazon bietet mit seinem neuen Dienst Amazon Elastic MapReduce einen Hadoop- Cluster zum Mieten an. Damit lassen sich große Datenmengen auf verteilten Systemen verarbeiten. Die Implementierung basiert auf Amazons Storage Service S3 und aus Instanzen von Amazons EC2 (Elastic Compute Clouds). Der S3 Service dient als File-Server über den die Mapper-Prozesse mit Daten gefüttert werden und die Reducer-Prozesse die Ergebnisse speichern. Einzelne EC2 Instanzen dienen als Worker bzw. Master. EC2 Instanzen sind in folgenden Konfigurationen erhältlich: Standardinstanzen Instanz RAM EC2 Compute Units Instanzspeicher Plattform Small 1,7 GB 1 (1 virtuelle Kerne mit 1 EC2 Compute Unit) Large 7,5 GB 4 (2 virtuelle Kerne mit 2 EC2 Compute Units each) Extra Large 15 GB 8 (4 virtuelle Kerne mit 2 EC2 Compute Units each) 160 GB 32 Bit 850 GB 64 Bit 1690 GB 64 Bit Hochleistungs-CPU-Instanzen Instanz RAM EC2 Compute Units Instanzspeicher Plattform High-CPU Medium 1,7 GB 5 (2 virtuelle Kerne mit jeweils 2.5 EC2 Compute Units) 350 GB 32 Bit High-CPU Extra Large 7 GB 20 (8 virtuelle Kerne mit jeweils 2.5 EC2 Compute Units) 1690 GB 64 Bit Die Maßeinheit für Rechenleistung ist bei Amazon die EC2 Compute Unit. Eine Einheit entspricht dabei in etwa einem 1,0 bis 1,2 GHz 2007 Opteron oder 2007 Xeon-Prozessor.

9 OpenSource Hadoop Hadoop setzt die Ideen Googles nahezu eins zu eins um. Die Zielsetzungen sind ebenfalls identisch, und Hadoop ist auch für großen Rechner-Cluster ausgelegt. Yahoo, ein Konkurrent Googles, setzt Hadoop für Aufgaben ein, für die Google MapReduce entwickelt hat. Etwa die Erstellung des Reverse Index und die Darstellung der Graphenstruktur von Webseiten. Hadoop ist Open-Source-Software, und Yahoo größtenteils für die Entwicklung verantwortlich. Zu Hadoop gehört auch ein verteiltes Dateisystem, dass auf dem Google File System beruht. Zwar ist Hadoop in Java geschrieben, und wohl langsamer als Googles Implementation, allerdings ist es die einzige zur Verfügung stehende Implementation für die von den Google Entwicklern vorgesehene Größenordnung, da die von Google selbst nicht für die Außenweilt zugänglich gemacht wird. Mehr zu Hadoop ist unter [3] zu finden.

10 4. Quellverweis [1] [2] [3] [4] [6] [7]

11 5. Abbildungsverweis [1]