Advanced Analytics mit EXAPowerlytics. Technisches Whitepaper

Transkript

1 Advanced Analytics mit EXAPowerlytics Technisches Whitepaper

2 Inhalt 1. Zusammenfassung Einführung Fachliche Einführung Beispiel: Zeichen zählen Fazit Anhang

3 1. Zusammenfassung EXAPowerlytics ist die MapReduce-Implementierung von EXASOL und als solches eine zentrale Komponente der In-Memory Datenbank EXASolution. Es vereint überragende Leistung mit der Benutzerfreundlichkeit von ANSI SQL. Die Einbindung weiterer Programmiersprachen war neben der reinen Leistung und der allgemeinen Nutzerfreundlichkeit ein wichtiger Aspekt in der Entwicklung von EXAPowerlytics. Dieses Whitepaper beschreibt die Anwendung von EXAPowerlytics in MapReduce- Szenarien. Dabei wird anhand eines detaillierten Beispiels erläutert, wie man EXAPowerlytics EXASOLs neueste Erweiterung von EXASolution nutzen kann

4 2. Einführung MapReduce (MR) ist der De-facto Standard zur parallelen Verarbeitung großer Datenmengen. In den letzten Jahren wurde MR immer häufiger eingesetzt, da Big Data zunehmend an Bedeutung gewann. Das Ziel von Big Data ist es, Informationen aus sehr großen Datenmengen nutzbar zu machen. Typische Anwendungsbereiche von MR sind Log-Datei-Analyse, Transaktionsprotokolle und Klickanalyse. Außerdem gibt es beinahe unendlich viele Möglichkeiten, wie Analyse-Algorithmen von MR profitieren können. Der größte Vorteil von MapReduce liegt darin, dass große Datensätze in kleinere Einheiten sogenannte Blöcke unterteilt und diese unabhängig voneinander verarbeitet werden. MR basiert daher auf etlichen Diensten zur parallelen und verteilten Verarbeitung von Aufgaben. Eine typische MR-Aufgabe besteht aus zwei Teilen: einer Map-Aufgabe, die parallel für jeden Datenblock ausgeführt wird und einer Reduce-Aufgabe, bei der die Ergebnisse aller Map-Aufgaben zu einem einzigen Ergebnis für den gesamten Datensatz zusammengeführt werden. Auf passende Fragestellungen angewendet, führt MR zu einem beinahe linearen Leistungsanstieg: Je mehr Server für eine Berechnung eingesetzt werden, desto schneller wird diese abgeschlossen. Abgesehen von der Unterteilung in unabhängige Map- und Reduce-Aufgaben stellt MapReduce kaum Anforderungen an die Form der zu verarbeitenden Daten. Dies ist auch erkennbar an der großen Anzahl an NoSQL-Datenbanken, die eine enorme Herausforderung für den bisherigen Standard relationale Datenbanksysteme darstellen. In den letzten Jahren haben sich neue Anbieter relationaler Datenbanksysteme etabliert und sich dieser neuen Herausforderung gestellt. Mit Technologien wie In- Memory, Komprimierung und Cluster-Computing erfinden diese Anbieter den Bereich relationale Datenbanksysteme gerade neu. Die Vorteile aktueller Verbesserungen bei Hardware, Speicherkapazität und verteilter Verarbeitung führten kombiniert mit einer soliden theoretischen und konzeptionellen Basis zu einer völlig neuen Art von Datenbanksystemen. Diese sogenannten analytischen Datenbanken vereinen die Benutzerfreundlichkeit herkömmlicher relationaler Datenbanksysteme mit der Verarbeitungsleistung massiv-parallelen NoSQL- Systeme. Die immensen Vorteile des kombinierten Ansatzes werden in diesem Whitepaper verdeutlicht: EXASolution ist eine relationale analytische In-Memory-Datenbank, die massiv-parallel arbeitet. Im Folgenden erfahren Sie, wie mit EXASolution MapReduce-Aufgaben ausgeführt werden können. Es gibt bereits Datenbank- Anbieter die MapReduce in ihren relationalen Datenbanksystemen anbieten. EXAPowerlytics von EXASOL geht jedoch noch einen Schritt weiter und bietet MapReduce-Verarbeitung direkt in der Datenbank, sogar bei SQL-Unterabfragen, an

5 3. Fachliche Einführung EXAPowerlytics vereint die Leistung von MapReduce mit der komfortablen Nutzung von SQL. Ermöglicht wird dies durch ein erweitertes Konzept Benutzerdefinierter- Funktionen (engl. User Defined Functions: UDFs), die massiv-parallel ausgeführt werden können. EXAPowerlytics bietet zwei Typen von UDFs: interne und externe. Interne UDFs sind ein wichtiger Bestandteil der Datenbank und können direkt in einer SQL-Anweisung definiert werden. Der Zugriff auf externe UDFs erfolgt über eine generische Schnittstelle. So können relationale Abfragen mit beinahe allen Arten von Programmen verknüpft werden. Dabei kann es sich um ein prozedurales Programm in beinahe jeder Programmiersprache auf einem lokalen PC handeln oder um einen Netzwerkdienst, der auf einem anderen Rechner läuft. Der Dienst muss lediglich so programmiert sein, dass er Anfragen über die Service- Schnittstelle von EXAPowerlytics annimmt. So kann EXASolution mittels eines einfachen Netzwerkprotokolls Programme in jeder Programmiersprache integrieren. Diese Programme werden in der Terminologie von EXAPowerlytics ebenfalls UDFs genannt. Denn aus der SQL-Perspektive sehen die Programme oder Dienste wie normale Funktionen aus, die im SQL-Kontext ausgeführt werden. Um eine bessere Leistungsausbeute zu erhalten, können die Dienste der UDFs direkt auf den Knoten des EXASolution-Clusters gestartet werden. So wird der Kommunikationsaufwand verringert

6 EXAPowerlytics unterstützt vier Klassen von UDFs, die durch ihr Input-Output- Verhalten gekennzeichnet sind: 1. SCALAR-RETURNS: Die Funktion wird mit skalaren Werten als Parameter aufgerufen und gibt pro Aufruf einen skalaren Wert zurück (wie standardmäßige Skalarfunktionen in SQL). 2. SCALAR-EMITS: Die Funktion wird mit einzelnen skalaren Werten als Parameter aufgerufen und gibt mehrere Werte zurück (für dieses Verhalten gibt es keine standardmäßige Entsprechung in SQL). 3. SET-RETURNS: Die Funktion wird mit einem Satz aus Werten aufgerufen und gibt einen einzelnen Wert zurück (wie Aggregationsfunktionen). 4. SET-EMITS: Die Funktion wird mit einem Satz aus Werten aufgerufen und gibt einen Satz aus Werten zurück (wie ein SQL-Filter). Die Definition der UDF wird in SQL angelegt. Für eine Funktion des Typs SCALAR-EMITS wird eine UDF in der folgenden Form angegeben: CREATE OR REPLACE EXTERNAL SCALAR SCRIPT <function name>( <parameters>) EMITS (<result specification>) AS < Connector parameters> Sind diese Definitionen festgelegt, können externe Dienste gestartet und ihre Ergebnisse direkt aus SQL verwendet werden, sogar bei verschachtelten Abfragen

7 4. Beispiel: CharacterCount Dieser Abschnitt demonstriert anhand eines Beispiels den Einsatz von EXAPowerlytics. In diesem Beispiel werden Zeichen gezählt. Aufgrund seiner Einfachheit ist dies ein oft verwendetes Beispiel, um den MapReduce-Ansatz zu verdeutlichen. Die Aufgabe in diesem Beispiel besteht darin, die Anzahl der Zeichen in einem großen Satz Textdateien zu ermitteln. Jede Datei besteht aus mehreren Zeilen, die jeweils nur einzelnen Wörter beinhalten. Da die Anzahl der Zeichen in jeder einzelnen Datei unabhängig von der Anzahl der Zeichen in allen anderen Dateien ist, können alle Dateien parallel verarbeitet werden. Der MapReduce-Ansatz verteilt also die Last auf mehrere Knoten in einem Cluster. Dort verarbeiten die einzelnen Knoten jeweils die Dateien, die ihnen zugewiesen wurden. Dies geschieht unabhängig von allen anderen Knoten und ist der Map- Schritt des Vorgangs. Wenn alle Knoten das Zählen der Zeichen beendet haben, werden die Ergebnisse zu einer einzigen Zahl zusammengeführt. Dies ist der Reduce-Schritt des Vorgangs. Eine SQL-Anfrage, die Zeichen zählt und die UDFs reduce_characters und map_characters verwendet, kann wie folgt aussehen: SELECT reduce_characters(w,c) FROM ( SELECT map_characters(text) FROM words_table ) GROUP BY w; Hier wird die Funktion map_characters parallel auf allen Knoten ausgeführt, und reduce_characters verwendet die Ergebnisse, sobald sie verfügbar sind. Dieses Vorgehen führt zu einer noch nie da gewesenen Leistung. Mit der aktuellen Version von EXAPowerlytics ist es besonders einfach, Benutzerdefinierte-Funktionen in den Programmiersprachen R, Python und Lua zu erstellen. Der Programmcode für UDFs in diesen Sprachen kann direkt in SQL angegeben werden

8 Mit Lua könnte map_characters folgendermaßen definiert werden: CREATE OR REPLACE LUA SCALAR SCRIPT map_characters(text VARCHAR(350)) EMITS (w CHAR(1), c DOUBLE) AS function run(ctx) local txt = ctx.text if txt ~= nil then local len = unicode.utf8.len(txt) for i = 1,len do ctx.emit(unicode.utf8.sub(txt, i,i), 1) end end end / reduce_characters könnte so definiert werden: CREATE OR REPLACE LUA SET SCRIPT reduce_characters(w CHAR(1), c DOUBLE) EMITS (w CHAR(1), c DOUBLE) AS function run(ctx) local c = 0 local w = ctx.w if (w ~= nil) then repeat c = c + 1 until not ctx.next() ctx.emit(w,c) end end / Das CTX-Argument, das an die Run-Funktion übergeben wird, ermöglicht den Zugriff auf die Werte und Metadaten. Es ermöglicht das Zurücksenden von Daten an die EXASolution

9 5. Fazit EXAPowerlytics ermöglicht die einfache Verknüpfung einer relationalen analytischen Hochleistungsdatenbank mit modernsten Analyseverfahren. MapReduce ist eine breit etablierte Methode zur Anwendung analytischer Methoden auf sehr große Datensätzen. EXAPowerlytics von EXASOL vereint die Leistung von MapReduce mit der Geschwindigkeit der In-Memory-Datenbank EXASolution. Auf diese Weise wird eine beispiellose Geschwindigkeit bei Analyseaufgaben erreicht

10 6. Anhang Der R-Code für das Beispiel CharacterCount: CREATE OR REPLACE R SCALAR SCRIPT map_characters(text VARCHAR(350)) EMITS (w CHAR(1), c DOUBLE) AS run <- function (ctx) { txt = ctx.text if (is.na(txt){ len = nchar(txt) for (i in 1:len) { ctx.emit(unicode.utf8.sub(txt, i,i), 1) / CREATE OR REPLACE R SET SCRIPT reduce_characters(w CHAR(1), c DOUBLE) EMITS (w CHAR(1), c DOUBLE) AS run <- function (ctx) { c <- 0 w <- ctx.w if (is.na(w)) { repeat { c = c + 1 if (ctx.next() == F) break; ctx.emit(w,c) /

11 Die EXASOL AG Die EXASOL AG entwickelt ein Datenbank-Management-System (EXASolution), mit dem Daten sehr schnell analysiert und ausgewertet werden können. Durch den Einsatz der branchenunabhängigen Lösung, die selbst große Datenmengen (Big Data bzw. Value Data) analysiert, optimieren Unternehmen Geschäftsprozesse, generieren sichere Entscheidungsgrundlagen für ihre tägliche Arbeit und verschaffen sich somit einen nachhaltigen Wettbewerbsvorsprung. EXASolution ist eine relationale Hochleistungsdatenbank, die speziell für Enterprise- Warehouse-Anwendungen und Business-Intelligence-Lösungen entwickelt wurde. Die auf In-Memory-Technologie basierende Datenbank wird für zeitkritische komplexe Analysen, umfangreiche Datenrecherchen, Planungen oder Reportings eingesetzt. Durch die Integration von Geodaten und polystrukturierten Daten die auch aus Hadoop-Systemen angebunden werden können, eröffnet EXASolution, u.a. mit dem Modul EXAPowerlytics, zusätzliche Auswertungsdimensionen, die noch effizientere Analysen zulassen. Die Easyto-manage-Datenbank lässt sich einfach in bestehende IT-Infrastrukturen integrieren und erfordert geringen Administrationsaufwand bei niedrigen Investitions- und Betriebskosten (TCO). EXASolution wird auch als Appliance-Lösung und als Datawarehousing as a Service unter dem Namen EXACloud angeboten. Unternehmen wie XING, Sony Music, Olympus, media control, Zalando, stayfriends, Coop, IMS Health, Semikron, Webtrekk, econda und xplosion setzen auf die Technologie Made in Germany. Für weitere Informationen gehen Sie auf folgen Sie uns auf twitter oder fügen Sie uns auf facebook hinzu. EXASOL AG Neumeyerstraße Nürnberg Tel.: +49 (911) Fax: +49 (911) info@exasol.com Hinweis zu diesem technischen Whitepaper: Die hier aufgeführten Informationen können sich ab April 2013 ändern. EXASOL ist eine eingetragene Marke. Alle genannten Marken Dritter sind geschützt und das Eigentum der jeweiligen Markeninhaber EXASOL AG Alle Rechte vorbehalten