Die Geschichte einer highly customized Oracle BDA

Transkript

1 Die Geschichte einer highly customized Oracle BDA Markus Bente Michael news.trivadis.com/blog BASEL BERN BRUGG BUKAREST DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. GENF HAMBURG KOPENHAGEN LAUSANNE MANNHEIM MÜNCHEN STUTTGART WIEN ZÜRICH

2 Markus Bente Data Analytics Plattform Architekturen Streaming Architekturen Open Source Infrastructure Data Analytics & Streaming news.trivadis.com/blog BASEL BERN BRUGG BUKAREST DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. GENF HAMBURG KOPENHAGEN LAUSANNE MANNHEIM MÜNCHEN STUTTGART WIEN ZÜRICH

3 Michael Mühlbeyer bei Trivadis seit 2012 Oracle und PostgreSQL Datenbank Architekturen Oracle DB High Availability Oracle Engineered Systems Big Data und Streaming news.trivadis.com/blog BASEL BERN BRUGG BUKAREST DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. GENF HAMBURG KOPENHAGEN LAUSANNE MANNHEIM MÜNCHEN STUTTGART WIEN ZÜRICH

4

5 Agenda 1. Übersicht 2. Herausforderungen 3. Setup im RZ 4. Netzwerk Specials 5. Anpassungen Hadoop Layer 6. Edge Nodes 7. Fazit und Ausblick

6 Übersicht

7 Übersicht Architektur (1) Oracle BDA Starter Rack(6 Compute/Storage Nodes) BDA Version 4 Installiert im Herbst 2018 BDA Software Stack Mammoth Version 4.12 Cloudera Oracle Linux 7.5

8 Übersicht Architektur (2)

9 Übersicht Architektur (3) Office Network BDA private Network bdanode1 bdanode2 bdanode3 bdanode4 bdanode5 bdanode6 Hadoop Stack BDA out of the box Konfig StreamSets Oracle DBs Kafka GoldenGate

10 Übersicht Architektur (4) Cloudera Hadoop Cluster auf 6 Nodes installiert und konfiguriert ABER: Cloudera Stack läuft nur auf 4 Nodes bda1node01 bda1node04 Restliche Nodes für andere Tasks Hadoop Stack gestoppt aber installiert bda1node05 und bda1node06 für andere Tasks Orace DBs GoldenGate Streamsets Kafka (Confluent)

11 Herausforderungen

12 Herausforderungen (1) Unklare Verkabelung Eigentlich falsche Verkabelung K Nur eine Public IP verfügbar für gesamte Appliance Kein DNS Server verfügbar Kein NTP Kein Internet Uplink

13 Herausforderungen (2) Gebrauchte Hardware Teilweise Restkonfiguration vom Vorbesitzer Arbeiten direkt im RZ Anforderungen an das System ändern sich relativ schnell Zusätzliche Software benötigt von Fachabteilung Eigentlich nicht supported

14 Herausforderungen (3)

15 Setup im RZ

16 Setup im RZ Kein Uplink ins Public Netz vorhanden 7 Tage vor der BDA im RZ Reimage der Server nicht wie beschrieben möglich Interner USB Prozess führt zu Fehlern Überprüfen aller Komponenten auf alte Konfigurationen Switches, BIOS Zurücksetzten / Anpassen

17 Setup im RZ Nutzung der Netzwerk Skripte von Oracle nur eingeschränkt möglich Führt zu Fehlern & nicht Erreichbarkeit Eigenes Internes Public Netz aufgebaut Manuelle Konfiguration des Netzwerkes und des Infiniband im Nachgang erforderlich Manuelle Anpassung der Installations-Skripte Trial und Error bis wohin kommen wir Anpassen Checks auf gegebene Umgebung Inbetriebnahme der Public IP mit dem Provider Nur 1 Netzwerk Kabel an einem Server direkt Nicht wie von Oracle vorgesehen mittels Switchs

18 Netzwerk Specials

19 Netzwerk Specials Anfangs nur eine Public IP für die gesamte BDA Setup Skripte benötigen aber IPs und Hostname für alle Nodes über DNS Eigenes manuelles Internes Public Netz genutzt Ein DNS Server musste her Zunächst auf einem Notebook Später auf der BDA Jetzt forward vom BDA DNS auf den offiziellen DNS

20 Netzwerk Specials Freischaltung für Webservices (Cloudera Manager) aus dem Office Netz anfangs nur für einen Node (bda1node06) verfügbar Alle weiteren Services über Proxy auf diesem Node Internet Uplink für einen Node möglich (nachträglich) Proxy Konfiguration auf allen Nodes notwendig Nicht zu unterschätzen (NOPROXY usw.)

21 Anpassungen Hadoop Layer

22 Anpassungen Hadoop Layer Herauslösen von 2 Nodes aus dem Hadoop Cluster Streamsets auf einem Node Kafka Installation zusätzlich mit Confluent Kafka R notwendig

23 Anpassungen Hadoop Layer Integration von Livy, Zeppelin als Zusätzliche Services Installation & Konfiguration von Cloudera Kudu Integration von Redis in den Cloudera Manager per Parcel Spark R Integration Versions Probleme später wieder raus

24 Anpassungen Hadoop Layer Verknüpfung der Custom Services mit Cloudera Services und untereinander Versions Abhängigkeiten Custom Folder für Jars Händisches User Management Manuell und manuell per Skript

25 Edge Nodes

26 Edge Node Ein Node als Einstiegs Node (Edge Node) für alle Services (bda1node06) Proxy auf Edge Node um Services aus Office Netz erreichbar zu machen NGINX Installation der Logical Standby Datenbanken auf bda1node06 Disk Layout eher suboptimal

27 Fazit & Ausblick

28 Fazit & Ausblick Stark angepasste Appliance! Kein Patching mit den Standard Patches möglich Netzwerkseitige Restriktionen/Einschränkungen sind nicht zu unterschätzen Nicht alle Anforderungen von Beginn an klar Große Abhängigkeiten zwischen den einzelnen Services Zukünftige Architektur aktuell in Diskussion

29

30 Visit us at our booth on level 3 Trivadis barista (good coffee from morning to night) Birthday cake (daily from 15:00) Speed-Sessions at the booth with raffle: Di 14:45: Martin Berger "Oracle Cloud Free Tier eben mal kurz ausprobiert " Mi 10:45: Guido Schmutz "Warum ich Apache Kafka als IT-Spezialist kennen sollte!" Mi 14:45: Stefan Oehrli "PDB Sicherheit und Isolation, Herausforderungen von Oracle Container DB s" Do 10:45: Chris Antognini "Welche Query-Optimizer Funktionalitäten sind nur in Autonomous Database verfügbar? Participation in our DOAG raffle Networking and discussions with our speakers Party with drinks and snacks after the sessions on Tuesday 17:30