Technical White Paper

Transkript

1 Technical White Paper

2 Inhalt 1. Best-of-Breed Ansatz für High Performance Analytics Shared-Nothing-Architektur In-Memory-Technologie Spaltenweise Datenspeicherung Skalierbarkeit Tuning-freie Datenbank EXAPowerlytics Hochverfügbarkeit Fazit

3 1. Best-of-Breed Ansatz für High Performance Analytics EXASolution ist ein relationales In-Memory-Datenbank-Management -System (DBMS), das speziell für den Einsatz im Bereich-Business -Intelligence Auswertungen und -Prozesse entwickelt wurde. Durch die Spezialisierung auf den analytischen Bereich kann die EXASolution Architektur den besonderen Anforderungen im Bereich Data Warehousing besser begegnen als universell ausgelegte Datenbanken anderer Hersteller. Neben dem reinen Performance-Gewinn fallen zudem geringere Wartungs- und Betriebskosten an. Bedingt durch den hohen Grad der Automatisierung innerhalb der EXASolution ist zum einen aufwändiges Tuning durch die Administratoren nicht notwendig, zum anderen kann Standard-Hardware verwendet werden. Über 20 Jahre Forschungsarbeit auf dem Gebiet hochspezialisierter und verteilter In-Memory-Algorithmen sichern dabei die Performance und Skalierbarkeit ab. Das EXASolution-Datenbank-System basiert auf einer parallelisierten 64-bit Clusterarchitektur, über die die gesamte interne Verarbeitung zwischen den einzelnen Rechnern abläuft. Daten werden gleichmäßig über alle Knoten des Clusters-Verbundes verteilt und dann die für die Analysen relevanten Informationen parallel im Arbeitsspeicher verarbeitet. Die Speicherung der zu verarbeitenden Daten erfolgt dabei im Gegensatz zu den meisten Datenbanksystemen spaltenbasiert und in Form von komprimierten Daten auf den jeweiligen lokalen Festplatten der einzelnen Rechner. Durch den Einsatz intelligenter least-recently-used Mechanismen und den Einsatz einer hocheffizienten und spaltenorientierten Komprimierung ist es möglich, auch sehr große Datenmengen im Hauptspeicher zu halten und zu verarbeiten. Sämtliche Algorithmen wurden auf die schnellen Zugriffszeiten des Hauptspeichers optimiert. Ein weiterer Vorteil der Architektur besteht in der Möglichkeit, das System bei steigenden Anforderungen seitens der Fachbereiche und Endanwendern einfach um weitere Rechner zu erweitern und so sehr schnell höhere Kapazitäten zur Verfügung zu stellen. Eine redundante Datenhaltung und automatisierte Fail-Over Mechanismen stellen sicher, dass selbst bei einem Totalausfall einzelner Cluster-Knoten die Datenbank weiterhin verfügbar bleibt. Durch die ausschließliche Verwendung von Standardschnittstellen (JDBC, ODBC, ADO.net, MDX) ist eine Integration der EXASolution in Ihre vorhandene IT-Infrastruktur einfach und schnell zu realisieren. Die automatische Anpassung des selbstlernenden Systems (z.b. automatische Indexerstellung) an Analysen und Nutzungsgewohnheiten Ihrer Anwender und die Kompatibilität zu gängigen Business Intelligence Anwendungen (z. B. Business Objects, - 3 -

4 Cognos, MicroStrategy, JasperSoft, SAS) und ETL-Tools (z.b. Informatica, Data-Stage, Talend) erhöhen zudem die Akzeptanz bei Ihren Fachabteilungen. 2. Shared-Nothing-Architektur Massiv parallele Datenverarbeitung EXASolution wurde als paralleles In-Memory-System entwickelt und ist nach dem "Shared Nothing"-Prinzip aufgebaut. Die Daten werden dabei über alle Knoten eines Clusters verteilt. Bei Abfragen arbeiten alle Knoten zusammen, wobei spezielle parallele Algorithmen dafür sorgen, dass die Berechnung der Daten lokal im Arbeitsspeicher der einzelnen Knoten erfolgt. Wird eine Anfrage an das System gestellt, nimmt sie zunächst der Knoten an, der die Verbindung zum Client hält. Anschließend wird die Anfrage auf alle Knoten verteilt. Intelligente Algorithmen optimieren die Abfrage, bestimmen den bestmöglichen Ausführungsplan und erzeugen Indices on the fly. Dabei entscheidet der EXASOL-Optimizer selbständig, ob die Daten für das konkrete Nutzungsprofil im Cluster reorganisiert werden sollen. Das System berechnet im Anschluss daran die Teilergebnisse auf den lokalen Daten. Dieses Verarbeitungsparadigma wird auch SPMD (Single Program Multiple Data) genannt. Auf allen Knoten läuft das gleiche Programm, sie sind gleichberechtigt. Es gibt keinen Masterknoten. Die Abfrage-Ergebnisse werden durch entsprechende Verbindungsknoten an den Anwender geliefert. Beispiel der Join-Berechnung im parallelen Umfeld SELECT customer.last_name, city.name FROM customer, city WHERE customer.city_id = city.id AND city.name LIKE 'New%'; - 4 -

5 Die zwei Tabellen im Beispiel sind über die Knoten gleichmäßig verteilt: Schritt 1: Filtering Zunächst wird die kleinere Tabelle CITIES gefiltert. Nur die Städte, die mit 'New' anfangen, werden durchgelassen: Schritt 2: Matches suchen Im zweiten Schritt werden für jede verbliebene Stadt die Kunden herausgesucht, die dort wohnen. Dies erfolgt knotenübergreifend, wenn die Tabellen so verteilt sind, dass die Matches nicht nur lokal zu finden sind: Schritt 3: Das Ergebnis zusammenstellen Das Ergebnis der Queryberechnung bleibt lokal auf den jeweiligen Knoten. Ist die Query z.b. ein Teil von einem Multipath SQL, so ist damit der Teil der Berechnung abgeschlossen. Soll das Ergebnis an den Nutzer verschickt werden, geschieht dies in Portionen, die das Front-End anfordert. Das Ergebnis wird somit nie auf einem Knoten gesammelt: - 5 -

6 3. In-Memory-Technologie Intelligente In-Memory-Algorithmen Die hohe Performance erreicht EXASolution nicht zuletzt durch innovative Hauptspeicher- Algorithmen. Im Unterschied zu festplattenbasierten Algorithmen traditioneller Lösungen, kann EXASolution auf jedes einzelne Datum gezielt zugreifen. Die Zugriffszeit liegt dabei im Nano-Sekunden-Bereich. Die Algorithmen, die die Abfragen verarbeiten, sind speziell auf die Eigenschaften der Hauptspeicher ausgerichtet und ermöglichen somit eine optimale Performance. Es werden z.b. Random-Access-Algorithmen statt konventioneller blockweiser Algorithmen verwendet. Einen weiteren Performancegewinn erreicht EXASolution dadurch, dass der Inhalt des Hauptspeichers automatisch an das jeweilige Nutzungsprofil angepasst wird. Selten benötigte Daten werden vom System automatisch erkannt und bei Bedarf auf die entsprechenden Festplatten ausgelagert. Erfolgt ein Commit, werden die lokalen Daten auf die Festplatten geschrieben. Redundante Datenverteilung garantiert zudem eine hohe Verfügbarkeit der Datenbank. Diese Art der Datenverarbeitung ist für den Nutzer völlig transparent. Die Lizenz ist unabhängig von der Serveranzahl, CPUs, Usern, Daten oder physikalisch vorhandenem RAM. Der Kunde zahlt nur für die RAM-Menge, die von der Datenbank verwendet werden darf. Fallbeispiele: Datenbankgröße im Vergleich zu RAM-Größe 3% 6% 26% 16% 6% 4% 32% Typischerweise beträgt der RAM-Bedarf Prozent des nicht komprimierten Gesamtdaten-Volumens

7 4. Spaltenweise Datenspeicherung Vertikale/Spaltenweise Datenspeicherung Dank der Spezialisierung von EXASolution auf Data Warehousing kann das System von der spaltenweisen Datenspeicherung enorm profitieren, da hierdurch die Zahl an I/O- Zugriffen und die zu verarbeitende Datenmenge deutlich reduziert wird: Typischerweise ist der Zugriff in einem Data Warehouse auf nur wenige Spalten beschränkt, z.b. für Joins, Filter und Aggregate. Zur Optimierung von Festplattenzugriffen werden Spalten in Blöcke aufgeteilt. Dies ermöglicht maximalen Durchsatz und verhindert das Einlesen von nicht benötigten Daten. Durch verschiedene Operationen (z.b. Löschen oder Updates) können innerhalb der Blöcke Lücken entstehen, das System führt aber automatisch eine Defragmentierung durch, wenn hier gewisse Grenzen überschritten werden. Kompression von Daten Zur Optimierung der RAM-Ausnutzung werden Tabellendaten schon im Hauptspeicher elementweise komprimiert. Das System wählt hierbei abhängig von den vorliegenden Datentypen und Spalteninhalten selbständig den besten Kompressionsalgorithmus. Für den Nutzer ist die Kompression komplett transparent. Das System wählt abhängig von den vorliegenden Datentypen und Spalteninhalten selbständig einen guten Kompressionsalgorithmus. 5. Skalierbarkeit Dank der Single Program Multiple Data (SPMD)-Architektur entstehen keine I/O- oder programmbedingten Flaschenhälse. Die von EXASOL entwickelten Kommunikationsroutinen in Kombination mit der balancierten Datenverteilung tragen erheblich zu den einmaligen Skalierungseigenschaften von EXASolution bei. Wachsen die Anforderungen, kann das System jederzeit leicht um einen oder mehrere Knoten erweitert werden. Lineare Skalierbarkeit Dank der linearen Skalierungseigenschaften von EXASolution bringt ein Einsatz der doppelten Anzahl der Server bei gleichbleibender Hauptspeichermenge eine durchschnittliche Performancesteigerung um fast Faktor zwei. Damit kann der Kunde z.b. für eine 400 GB Lizenz zwischen 4 Servern á 128 GB RAM und 8 Servern á 64 GB RAM wählen. So kann der Kunde die Systemperformance jederzeit über die Anzahl der Knoten selbst bestimmen

8 Im unabhängigen TPC-H Benchmark konnte EXASOL seine unerreichte Skalierbarkeit eindrucksvoll beweisen: 6. Tuning-freie Datenbank Dank intelligenten Algorithmen wird EXASolution mit der Nutzung schneller, und nicht langsamer, wie konventionelle DBMS. Dabei wird der Administrationsaufwand stark reduziert, da EXASolution selbst das laufende Tuning übernimmt. In einem traditionellen RDBMS muss der Datenbankadministrator (DBA) folgende Fragen beantworten: Muss ich das Schema denormalisieren? Wie verteile ich die Daten? Wie groß müssen die einzelnen Partitionen sein? Wie sehen die Daten aus? Wie greifen die User auf die Daten zu? Wie passe ich die Ausführungspläne einzelner Queries an? Welche Indices brauche ich für die optimale Performance? Soll ein Teil der Nutzer nur noch fertige Berichte erhalten? Welche Aggregate soll ich noch erstellen? EXASolution hingegen erledigt die administrativen Arbeiten automatisch und macht die Fragestellung sogar zum Teil überflüssig. EXASolution ist bei jeder Schemaauswahl performant. Die Datenverteilung erfolgt automatisch anhand des Nutzungsprofils. Der EXASOL-Optimizer analysiert sowohl Daten als auch Abfragen und passt sie aneinander an, - 8 -

9 ohne dass der DBA eingreifen muss. Die Indices werden vom System automatisch on the fly anhand der Query-Analyse erstellt und verwaltet. Mächtiger kostenbasierter Query-Optimizer Der Optimizer von EXASolution wurde von Anfang an auf die Bedürfnisse der massiv parallelen Datenverarbeitung zugeschnitten. Sein Ziel ist u.a. sicherzustellen, dass die Arbeit überwiegend lokal auf den Knoten erledigt werden kann. Dadurch wird der Kommunikationsoverhead erheblich reduziert, was ebenfalls zur exzellenten Skalierbarkeit von EXASolution beiträgt. Der Optimizer ermittelt auch anhand der heuristisch berechneten Tabellenstatistiken die Join-Reihenfolge und ermöglicht somit die optimale Verarbeitung von mehrfachen Tabellenverknüpfungen. So wird sichergestellt, dass EXASolution mit beliebigen Datenmodellen eine optimale Performance liefert. Automatische Indexierung Auch Indizes werden vom System selbständig erzeugt, wiederverwendet und ggf. auch wieder verworfen. Der Benutzer hat auch hier nur indirekt Einfluss, da die ausgeführten Queries als Grundlage für die Index-Auswahl und Erzeugung dienen. Wird ein Index nicht oft verwendet, wird er auf die Festplatte ausgelagert, so dass er den Speicherbedarf nicht erhöht. Wird ein Index über eine längere Zeit nicht verwendet (gelesen), wird er vom System automatisch verworfen. Datenverteilung über Knoten Das System verteilt automatisch jede Tabelle über alle aktiven Knoten (Shared Nothing Architektur). Tabellen, die eine gewisse Größe unterschreiten, werden repliziert, d.h. auf jedem Knoten vollständig gehalten. Damit ist gewährleistet, dass Joins größtenteils knotenlokal bearbeitet werden können. Durch das Setzen von Verteilungsattributen kann der Nutzer die Datenverteilung beeinflussen, um die Lokalität weiter zu verbessern. Unicode EXASolution unterstützt Unicode vollständig und kann daher alle üblichen Zeichen der Welt in der Datenbank abspeichern. Bei der Erzeugung einer Datenbanktabelle muss auf nichts Spezielles geachtet werden (z.b. CREATE TABLE t (v VARCHAR(50)), auch Identifier wie Schema-, Tabellen- und Spaltennamen können Unicode-Zeichen beinhalten. Zur internen Kodierung wird das gängige UTF-8-Format eingesetzt, welches die Unicode- Zeichen in variabler Länge abspeichert. Der Datentyp bestimmt dabei die Anzahl der speicherbaren Symbole, nicht die Länge in Bytes. Auf Client-Seite übernimmt der jeweilige Treiber (z.b. JDBC-, ODBC-Treiber oder Client SDK) automatisch die Umwandlung zwischen lokalem Zeichensatz und UTF-8 Format. Daher können Datenbank-Benutzer mit verschiedenen Zeichensatzeinstellungen dieselben Daten lesen und schreiben, ohne besondere Einstellungen beachten zu müssen

10 7. EXAPowerlytics EXAPowerlytics bietet Ihnen die Möglichkeit, eigene Analyse-, Verarbeitungs- und Generierungsfunktionen zu programmieren und innerhalb von EXASolution parallel in einem Hochleistungscluster ausführen zu lassen (In Database Analytics). Durch dieses Prinzip lassen sich viele Probleme sehr performant lösen, die bisher in SQL undenkbar waren. Mit EXAPowerlytics erhalten Sie also eine flexible Schnittstelle, mit der sich nahezu beliebige Anforderungen umsetzen lassen. Sie werden so zum HPC-Entwickler, ohne spezielle Kenntnisse zu benötigen. Mit EXAPowerlytics können Sie folgende benutzerdefinierte Erweiterungen umsetzen: Skalare Funktionen Aggregatsfunktionen Analytische Funktionen MapReduce-Algorithmen Anbindung von externen Daten-Quellen wie z.b. Hadoop-Systemen 8. Hochverfügbarkeit Automatische Datenredundanz Auf Softwareseite (EXACluster OS) werden Konzepte realisiert, die durch Redundanz die Ausfallsicherheit erhöhen (z.b. Abfangen von Festplattenlesefehlern durch Zugriff auf Redundanzdaten, Software-RAID o.ä.). Der Redundanz-Level (Anzahl der Kopien inklusive Originale) des Systems ist frei wählbar. Das Erzeugen der Redundanzdaten geschieht während des Commits, das heißt abgeschlossene Transaktionen überdauern auch Knotenausfälle. Für jede zusätzliche Redundanzkopie wird mindestens ein Knotenausfall kompensiert, bei Redundanz-Level 4 könnten z.b. wenigstens 3 Knoten gleichzeitig ausfallen, ohne die Datenintegrität zu gefährden. Automatische Recovery Falls ein Komponentenausfall durch lokale Redundanz nicht abgefangen werden kann, gilt der betroffene Knoten des Clusters als ausgefallen. Dasselbe trifft auf den Ausfall von Softwarekomponenten zu (z.b. Programm- oder Betriebssystemabsturz). Als Folge wird durch eine automatische Wiederherstellung (Recovery) das System selbständig binnen weniger Sekunden wieder zur Verfügung gestellt

11 Gerade weil das EXASOL-Cluster aus sehr vielen Standardkomponenten besteht, müssen kritische Hardware-Ausfälle auf der Softwareebene abgefangen werden. Daher stehen für die automatische Recovery in der Regel einige Reserveknoten bereit, die bei Bedarf die Arbeit von ausgefallenen Knoten übernehmen. Das System kompensiert ausgefallene Knoten und reorganisiert sich anschließend selbständig. Dabei werden die Daten des ausgefallenen Knotens im Hintergrund (während also das System schon wieder benutzbar ist) aus dem restlichen System automatisch wiederhergestellt. Eine höhere Priorisierung von Benutzeranfragen gewährleistet dabei, dass diese durch den Wiederherstellungsprozess nur wenig beeinträchtigt werden. Ermöglicht wird der Prozess durch die redundante Datenspeicherung, bei der alle Daten eines Knotens auch auf anderen Knoten mitgespeichert werden. Je nach definiertem Redundanz-Level kann ein sehr großer Teil des Clusters ausfallen, ohne die Wiederherstellung des Systems zu beeinträchtigen. 9. Fazit EXASolution ist eine relationale Hochleistungsdatenbank für komlexe analytische Auswertungen. Die Shared Nothing Architektur also eine parallele Verarbeitung nach dem SPMD Modell auf einem Cluster aus Standard-Servern - sichert optimale Skalierbarkeit. Die Daten werden spaltenweise gespeichert und In Memory verarbeitet, um konkurrenzlose Performance zu erzielen, wie EXASolution eindrucksvoll im TPC-H Benchmark unter Beweis stellen konnte. Durch intelligente Failover-Mechanismen wird zudem die Verfügbarkeit des Services sichergestellt. EXASolution ist durch viele automatische interne Optimierungen tuning-frei, so dass ein Datenbankadministrator keine Aufwände während des Betriebs hat. Anhand des Nutzungsprofils der Anwender optimiert sich EXASolution von selbst. Und die initiale Installation eines gesamten Clusters geschieht innerhalb von wenigen Minuten

12 Über die EXASOL AG Die EXASOL AG entwickelt ein Datenbank-Management-System, mit dem Daten sehr schnell analysiert und ausgewertet werden können. Durch den Einsatz der Lösung von EXASOL werden Geschäftsprozesse optimiert und sichere Entscheidungsgrundlagen generiert, die Unternehmen aller Branchen einen nachhaltigen Wettbewerbsvorsprung verschaffen. EXASolution ist eine relationale Hochleistungsdatenbank, die speziell für Enterprise- Warehouse-Anwendungen und Business-Intelligence-Lösungen entwickelt wurde. Die auf In-Memory-Technologie basierende Datenbank wird für zeitkritische komplexe Analysen, umfangreiche Datenrecherchen, Planungen oder Reportings eingesetzt. Durch die Integration von Geodaten, Big-Data-Quellen und unstrukturierten Daten eröffnet EXASolution, u.a. mit dem Modul EXAPowerlytics, zusätzliche Auswertungsdimensionen, die noch effizientere und Ad-hoc-Analysen zulassen. Die Easy-to-manage-Datenbank lässt sich einfach in bestehende IT-Infrastrukturen integrieren und erfordert geringen Administrationsaufwand bei niedrigen Investitions- und Betriebskosten (TCO). Neben drei Appliance-Varianten wird EXASolution unter dem Namen EXACloud auch als Datawarehousing as a Service angeboten. Bei dieser besonders effizienten Datenverwaltung profitieren die EXASOL-Kunden vom vollen Datenzugriff zu jeder Zeit und einem transparenten Preismodell. Unternehmen wie XING, Sony Music, Olympus, media control, Zalando, stayfriends, Coop, IMS Health, Semikron, Webtrekk, econda und xplosion setzen auf die Technologie Made in Germany. Für weitere Informationen gehen Sie auf folgen Sie uns auf twitter oder fügen Sie uns auf facebook hinzu. EXASOL AG Neumeyerstraße Nürnberg Fon: Fax: info@exasol.com Zu den Angaben in diesem Whitepaper: Nach Redaktionsschluss dieser Druckschrift, August 2012, können sich Änderungen ergeben. EXASOL ist eine eingetragene Marke. Alle genannten Marken Dritter sind geschützt und befinden sich im Eigentum der jeweiligen Markeninhaber. 2012, EXASOL AG Alle Rechte vorbehalten