EXADATA Konsolidierungsplattform Exadata die Umgebung wächst. Gregor Büchner (Deutsche Telekom IT GmbH)

Transkript

1 KONOLIDIERUNGPLTTORM EXDT Konsolidierungsplattform Exadata die Umgebung wächst Gregor Büchner (Deutsche Telekom IT GmbH) Juni 2018

2 GEND 01 Konsolidierungsplattform Exadata die Idee 02 Produktionsbetrieb der Plattform 03 Wachstum der Plattform 04 Betriebserfahrungen mit der Plattform 05 Umbauplanungen der Plattform 06 ummary

3 TELEKOM IT IT EROLGKTOR ÜR D KONZERNGEHÄT IN DEUTHLND UND EUROP TELEKOM DEUTHLND EUROPE T-YTEM GROUP HEDQURTER & GROUP ERVIE < Kunden estnetz: 21 Mio. Mobilfunk: 39 Mio. TELEKOM IT 56 Mio. Mobilfunkkunden in 12 Ländern Nr. 1 für IT & Telekommunikation in Deutschland mit globaler Präsenz ist der interne IT Dienstleister der Deutschen Telekom bündelt seit 2012 alle IT Einheiten des Konzerns ist verantwortlich für das komplette IT ervice Portfolio (Plan-Build-Run) nutzt Infrastruktur- und loud ervices der TI Market Unit Zentralisierte inanzund HR-unktion

4 GEND 01 Konsolidierungsplattform Exadata die Idee 02 Produktionsbetrieb der Plattform 03 Wachstum der Plattform 04 Betriebserfahrungen mit der Plattform 05 Umbauplanungen der Plattform 06 ummary

5 DIE IDEE ZUR KONOLIDIERUNGPLTTORM 300+ UNTERHIEDLIHE KOMBINTIONEN ÜR ORLE DB KONOLIDIERUNGPLTTORM EXDT Ultra-PR PR64 PR T4 PR T5 Dell HP T Intel x86 MD x86 Power 5 Power 6 Power 7 Power 8 Dell HP T Intel x86 MD x86 HP RI 5

6 TWINORE Datacenter 1 Datacenter 2 IT x86 VMWare ecurity Zone 1 nonprod/prod Dataguard Referenz/DR IT x86 VMWare lassic lassic IT olaris ecurity Zone 1 Z-Replikation IT olaris ecurity Zone 1 DWDM IT IX ecurity Zone 2 nonprod/prod Dataguard Referenz/DR IT IX IT olaris ecurity Zone 2 IT olaris ecurity Zone 2 Z-Replikation 6

7 EINTZ VON OVM luster nonprod luster PROD nonprod DB-erver 1 nonprod DB-erver 2 PROD DB-erver 1 PROD DB-erver 2 ell-erver 1 ell-erver 2 ell-erver 3 Infiniband-witch Infiniband-witch B DG nonprod DG PROD 7

8 GEND 01 Konsolidierungsplattform Exadata die Idee 02 Produktionsbetrieb der Plattform 03 Wachstum der Plattform 04 Betriebserfahrungen mit der Plattform 05 Umbauplanungen der Plattform 06 ummary

9 PRODUKTIONBETRIEB Datacenter 1 Datacenter 2 IT x86 VMWare ecurity Zone 1 nonprod/prod Dataguard Referenz/DR Engineering IT x86 VMWare lassic lassic IT olaris ecurity Zone 1 Z-Replikation IT olaris ecurity Zone 1 DWDM IT IX ecurity Zone 2 nonprod/prod Dataguard Referenz/DR IT IX IT olaris ecurity Zone 2 IT olaris ecurity Zone 2 Z-Replikation 9

10 BETRIEBKONZEPT ppl. Betrieb TM listener port Resultat: Reduktion der betrieblichen ufwände Beschleunigung der Bereitstellung tandardisierung/qualität Telekom-IT T-ystems Market-Unit DB-Betrieb MO Rollen DB & YDB O-Betrieb N N torage-betrieb Backup-Betrieb Netz, RZ-Betrieb ppl. Betrieb TM listener port DB-Betrieb MO Rollen DB & YDB M OVM, VLN, torage ell, Backup / Z -Pool Exadata ystembetrieb Netz, RZ Telekom-IT T-ystems Market-Unit Betrieb komplett in der Telekom-IT Etablierung EB-Team (Exadata ystembetrieb), Hardware Betreuung bis Oberkante O Plattform-Management verwaltet die Ressourcen nur ein Vendor (Oracle) für die komplette Umgebung 10

11 PRODUKTIONBETRIEB Beratungen (izing-alls) OVMs erstellen, vergrößern, verkleinern Datenbanken erstellen Datenbanken migrieren Hardware Erweiterungen (DB-erver, ell-erver) Patch-ktionen planen und durchführen Prozesse (apacity, Incident, Problem, hange) Reporting die normalen DB ufgaben 11

12 GEND 01 Konsolidierungsplattform Exadata die Idee 02 Produktionsbetrieb der Plattform 03 Wachstum der Plattform 04 Betriebserfahrungen mit der Plattform 05 Umbauplanungen der Plattform 06 ummary

13 WHTUM DER PLTTORM Datacenter 1 Datacenter 2 IT x86 VMWare ecurity Zone 1 nonprod/prod Dataguard Referenz/DR Engineering IT x86 VMWare lassic lassic IT olaris ecurity Zone 1 Z-Replikation IT olaris ecurity Zone 1 DWDM IT IX ecurity Zone 2 nonprod/prod Dataguard Referenz/DR IT IX IT olaris ecurity Zone 2 IT olaris ecurity Zone 2 Z-Replikation 13

14 WHTUM DER PLTTORM IN ores DB s JNUR EBRUR MÄRZ PRIL MI JUNI JULI UGUT EPTEMBER OKTOBER NOVEMBER DEZEMBER JNUR EBRUR 14

15 WHTUM DER PLTTORM Datacenter 1 Datacenter 2 IT x86 VMWare ecurity Zone 1 nonprod/prod Dataguard Referenz/DR Engineering IT x86 VMWare lassic lassic IT olaris ecurity Zone 1 Z-Replikation IT olaris ecurity Zone 1 DWDM IT IX ecurity Zone 2 nonprod/prod Dataguard Referenz/DR IT IX IT olaris ecurity Zone 2 IT olaris ecurity Zone 2 Z-Replikation 15

16 WHTUM DER PLTTORM Datacenter 1 Datacenter 2 gestartet mit ½ und ¼ Rack mit Elastic Konfiguration Erweiterung um DB- erver und ell-erver nach Demand mittlerweile 45 DB-erver und 41 ell-erver in Betrieb ecurity Zone 1 nonprod/prod Dataguard Z-Replikation DWDM Referenz/DR Engineering gestartet mit einem luster für nonprod und einem luster für PROD mittlerweile mehrere luster, aufgeteilt nach VLNs von X5-2, über X6-2, bis X7-2 Multirack-Verkabelung ecurity Zone 2 nonprod/prod Dataguard Referenz/DR ca. 200 OVMs ca. 600 Datenbanken Z torage Enclosure Erweiterungen Z-Replikation 16

17 EINTZ MEHRERER LUTER luster nonprod1 luster nonprod2 luster PROD 1 luster PROD 2 nonprod DB-erver 1 nonprod DB-erver 2 nonprod DB-erver 3 nonprod DB-erver 4 PROD DB-erver 1 PROD DB-erver 2 PROD DB-erver 3 PROD DB-erver 4 DG PROD1 DG PROD2 DG nonprod1 DG nonprod2 ell-erver 1 ell-erver 4 ell-erver 2 ell-erver 3 Infiniband-witch Infiniband-witch B ell-erver 5 ell-erver 6 DG nonprod1 DG nonprod2 DG PROD1 DG PROD2 17

18 GEND 01 Konsolidierungsplattform Exadata die Idee 02 Produktionsbetrieb der Plattform 03 Wachstum der Plattform 04 Betriebserfahrungen mit der Plattform 05 Umbauplanungen der Plattform 06 ummary

19 BETRIEBERHRUNGEN PRODUTION TNDBY Datacenter 1 ecurity Zone 1 nonprod/prod Datacenter 2 Dataguard Referenz/DR Z-Replikation Positive spekte: Performancesteigerung um aktor 2 3 PU-Usage (DB-erver) 20 30% weniger Reduktion der Bereitstellungszeiten Engineering Hardware PU defekt DIMM-Modul DB-erver defekt Netzteil Z defekt Motherboard Z defekt Multirack-Verkabelung oftware irmware-bug Mellanox Bug in Patch Bundle (HB usfall) torage Rebalancing luster reboot OracleVM Migration IX Linux GoldenGate 19

20 BETRIEBERHRUNGEN WRTUNG/PTHING RDBM geplante Wartungsfenster für die Plattform GI Engineering-Exadata zur Vertestung der Patchsets DOM-U DR/Referenz-Exadata vor nonprod/prod-exadata DOM-0 Patchen Layer für Layer der DB-erver (DOM-0/-U/GI) witches Risktime rolling upgrade für torage und witches uszeit-minimierung durch H bzw. R torage RDBM wird getrennt betrachtet 20

21 BETRIEBERHRUNGEN YTEMULTUNG Vergleich IX Power7+ (32 ore) mit Exadata X7-2 OVM (32 ore) - Messwerte einer Woche mit vergleichbarer Last - im chnitt ca. Halbierung der PU-uslastung 21

22 BETRIEBERHRUNGEN QL LUZEITEN pd MO vs. MO Beispiel für eine OLTP-DB 1000% 900% Performance MO/MO (percent) 800% 700% 600% 500% 400% 300% 200% vg, runtime/execution in uec) 100% 1200% Performance MO/MO (percent) prb3 MO vs. MO Beispiel für eine D-DB 1000% 800% 600% 400% 200% 22 vg, runtime/execution in uec) 0 0% 0 aazkn2ndj1t1c cdzurvd5v07c2 fcj7t3yubuv18 fu7c22qj6jnav gskj9zg224kyb 0kmchxv3bpa1g 0t8vnabbnn5fz 1a3j8qsgrmkh8 1tv1s7azxm2hx 1wv4x84622k2w 1xpua6qk9yt0q 149jqnmtyqcz9 21csf174f00d4 34uyxjgfp1ugf 5hzhjwthckxvn 64ddctvm46suf 7yj4shrmy5h7q 825c0sfaw7gxv MO MO Performance MO vs. MO Vergleich MO IX Power7+ im N mit MO Exadata X7-2 OVM - Messwerte von vergleichbaren QL-Highscorern - deutlicher Zuwachs an Performance 0% aba6460pnh1jr a70b2wud9t02b cnp32xd8tvrsv g4d8g377vdpxz 3p2xjnnfngc8a 3zr9r5240dx asbqwz2pa 7hcbp2qd0zhyn 7pq6j7wmw2kky 87c17nnc63n64 9a22rppqg0z7h 92hvpr971cd8w MO MO Performance MO vs. MO

23 GEND 01 Konsolidierungsplattform Exadata die Idee 02 Produktionsbetrieb der Plattform 03 Wachstum der Plattform 04 Betriebserfahrungen mit der Plattform 05 Umbauplanungen der Plattform 06 ummary

24 TRENNUNG NONPROD/PROD EIGENE EXDT Datacenter 1 Datacenter 2 ecurity Zone 1 nonprod PROD Dataguard Referenz/DR Engineering Z-Replikation DWDM ecurity Zone 2 nonprod/prod Dataguard Referenz/DR Z-Replikation 24

25 TRENNUNG HRDWRE ÜR LUTER luster nonprod1 luster nonprod2 luster PROD 1 luster PROD 2 nonprod DB-erver 1 nonprod DB-erver 2 nonprod DB-erver 3 nonprod DB-erver 4 PROD DB-erver 1 PROD DB-erver 2 PROD DB-erver 3 PROD DB-erver 4 ell-erver 1 ell-erver 4 ell-erver 2 ell-erver 3 Infiniband-witch Infiniband-witch B ell-erver 5 ell-erver 6 DG nonprod1 DG nonprod2 DG PROD1 DG PROD2 25

26 WEHEL VON OVM U BRE-METL luster nonprod1 luster nonprod2 luster PROD 1 luster PROD 2 nonprod DB-erver 1 nonprod DB-erver 2 nonprod DB-erver 3 nonprod DB-erver 4 PROD DB-erver 1 PROD DB-erver 2 PROD DB-erver 3 PROD DB-erver 4 ell-erver 1 ell-erver 4 ell-erver 2 ell-erver 3 Infiniband-witch Infiniband-witch B ell-erver 5 ell-erver 6 DG nonprod1 DG nonprod2 DG PROD1 DG PROD2 26

27 LONE PLTTORM ÜR PRODUKTION Datacenter 1 Datacenter 2 ecurity Zone 1 nonprod PROD B PROD Dataguard Referenz/DR Engineering Z-Replikation DWDM ecurity Zone 2 PROD B PROD Dataguard Referenz/DR Z-Replikation 27

28 GEND 01 Konsolidierungsplattform Exadata die Idee 02 Produktionsbetrieb der Plattform 03 Wachstum der Plattform 04 Betriebserfahrungen mit der Plattform 05 Umbauplanungen der Plattform 06 ummary

29 UMMRY OVM-luster nicht zu groß werden lassen nzahl OVM auf DB-erver gering halten kleine OVM vermeiden ähnliche OVM-Größen in einem luster anstreben Last auf im M vermeiden Multirack-Verkabelung mit uszeit Patching gut vorbereiten, nach Möglichkeit offline patchen Performance sehr gut 29

30 GEND 01 Konsolidierungsplattform Exadata die Idee 02 Produktionsbetrieb der Plattform 03 Wachstum der Plattform 04 Betriebserfahrungen mit der Plattform 05 Umbauplanungen der Plattform 06 ummary

31 KONTKT-MÖGLIHKEITEN Gregor Büchner Deutsche Telekom IT GmbH Gartenstr. 215 D Münster Telefon: +49 (0) Internet: 31