JBF Server Neue Rechnergenerationen und deren Einsatz im JBF Umfeld. Dirk Walkenhorst & Andreas Kress, Sun Microsystems GmbH

Transkript

1 JBF Server Neue Rechnergenerationen und deren Einsatz im JBF Umfeld Dirk Walkenhorst & Andreas Kress, Sun Microsystems GmbH

2 Eco Computing Klimawandel CO2 Emission Green Datacenter Stromverbrauch, Kühlung und Stellfläche werden immer knapper im Rechenzentrum Energieverbrauch des RZ werden zum Kostentreiber CO2 Handel Platzhalter Umweltbewußtsein JBF Server Dirk Walkenhorst & Andreas Kress, Sun Microsystems GmbH JBFOne 2007 Seite 2

3 Eco Computing IT Equipment Kosten /Jahr IT Energiekosten Zeit Quelle: IDC Stromaufnahme wird zum Kostenfaktor JBF Server Dirk Walkenhorst & Andreas Kress, Sun Microsystems GmbH JBFOne 2007 Seite 3

4 Datacenter Workload Landschaft Hohe Anzahl von Threads Data Warehousing Data Analysis Client Server Web Serving Streaming Media Daten lastig OLTP Database File Server Commercial Batch Security Directory J2EE Application Servers Genomics Netzwerk lastig EAI Servers Structural Analysis Electronic Design Simulation Workgroup Compute Grid Application Development Financial Risk/Portfolio Analysis Monte Carlo Simulation Cheminformatics Einzel Thread JBF Server Dirk Walkenhorst & Andreas Kress, Sun Microsystems GmbH JBFOne 2007 Seite 4

5 Datacenter Workload Landschaft Hohe Anzahl von Threads Daten lastig Data Warehousing Data Analysis Client Server DATA Durchsatz - Verticale Skalierung - Hohe I/O Leistung, OLTP RAS, Database Memory File Server Commercial Batch Web Serving Streaming Media Security Directory J2EE Application Servers Genomics Netzwerk lastig EAI Servers Structural Analysis Electronic Design Simulation Workgroup Compute Grid Application Development Financial Risk/Portfolio Analysis Monte Carlo Simulation Cheminformatics Einzel Thread JBF Server Dirk Walkenhorst & Andreas Kress, Sun Microsystems GmbH JBFOne 2007 Seite 5

6 Datacenter Workload Landschaft Hohe Anzahl von Threads Daten lastig Data Warehousing Data Analysis Client Server DATA Durchsatz - Verticale Skalierung - Hohe I/O Leistung, OLTP RAS, Database Memory File Server Commercial Batch NETWORK Durchsatz - Horizontale Skalierung - Hohe Security Netzworkanforderungen Directory J2EE Application Servers Genomics Web Serving Streaming Media Netzwerk lastig EAI Servers Structural Analysis Electronic Design Simulation Workgroup Compute Grid Application Development Financial Risk/Portfolio Analysis Monte Carlo Simulation Cheminformatics Einzel Thread JBF Server Dirk Walkenhorst & Andreas Kress, Sun Microsystems GmbH JBFOne 2007 Seite 6

7 Datacenter Workload Landschaft Hohe Anzahl von Threads Daten lastig Data Warehousing Data Analysis Client Server DATA Durchsatz - Verticale Skalierung - Hohe I/O Leistung, OLTP RAS, Database Memory File Server Commercial Batch Einzel Thread NETWORK Durchsatz - Horizontale Skalierung - Hohe Security Netzworkanforderungen Directory J2EE Application Servers Genomics COMPUTE Web Serving Streaming Media EAI Servers Structural Analysis Electronic Hohe INT/FP Design Simulation Leistung - Workgroup Batch - Horizontale Skalierung Compute Grid Application Development Financial Risk/Portfolio Analysis Monte Carlo Simulation Cheminformatics Netzwerk lastig JBF Server Dirk Walkenhorst & Andreas Kress, Sun Microsystems GmbH JBFOne 2007 Seite 7

8 Datacenter Workloads Status & Trends * DC Workload Share: 20% Av. Utilisation: 35% CAGR: 7% * Workload Share: 45% Av. Utilisation: 5% CAGR: 15% DATA COMPUTE NETWORK * Workload Share: 35% Av. Utilisation: 8% CAGR: 12% *Source: Sun etimates 2006 JBF Server Dirk Walkenhorst & Andreas Kress, Sun Microsystems GmbH JBFOne 2007 Seite 8

9 Workload Computing - Data DATA Domaine der Solaris Systeme High Performance (Beste Gesamtperformance, Memoryausbau und I/O Bandbreite) Höchste Verfügbarkeit: RAS (Reliability, Availability, Serviceability) Skalierbarkeit bis >100 CPUs Virtualisierung mit Dynamic Domains & Solaris Containern Zukunftssicherheit im Betriebssystem JBF Server Dirk Walkenhorst & Andreas Kress, Sun Microsystems GmbH JBFOne 2007 Seite 9

10 Workload Computing DATA BAP agree Applikations Server Sun Fire V440 4 CPUs, 8 GB o. 16 GB (bis 32 GB) Memory Redundante Hot-Plugable Netzteile & Festplatten Horizon Datenbank Server Sun Fire V890 4 Dualcore CPUs (bis 8), 64 GB (bis 128 GB) Memory Redundante, Hot-Swapable Festplatten, Netzteile & Lüfter Zahlungsverkehrssysteme Sun Fire 15k 64 CPUs (bis 72), 162 GB (bis 1152 GB) Memory Komplette Hardware Redundanz, 18 fehlerisolierte Domains JBF Server Dirk Walkenhorst & Andreas Kress, Sun Microsystems GmbH JBFOne 2007 Seite 10

11 Datacenter Workload Landschaft Hohe Anzahl von Threads Daten lastig Data Warehousing Data Analysis Client Server DATA Durchsatz - Verticale Skalierung - Hohe I/O Leistung, OLTP RAS, Database Memory File Server Commercial Batch Einzel Thread NETWORK Durchsatz - Horizontale Skalierung - Hohe Security Netzworkanforderungen Directory J2EE Application Servers Genomics COMPUTE Web Serving Streaming Media EAI Servers Structural Analysis Electronic Hohe INT/FP Design Simulation Leistung - Workgroup Batch - Horizontale Skalierung Compute Grid Application Development Financial Risk/Portfolio Analysis Monte Carlo Simulation Cheminformatics Netzwerk lastig JBF Server Dirk Walkenhorst & Andreas Kress, Sun Microsystems GmbH JBFOne 2007 Seite 11

12 Workload Computing - Compute COMPUTE High Performance und Grid Computing Rechenintensive Anwendungen Virtualisierung mit Solaris Containern und/oder VMware Einheitliches Systemmanagement SPARC und x64 AMD und Intel Plattform Solaris, Windows, Linux, VMware JBF Server Dirk Walkenhorst & Andreas Kress, Sun Microsystems GmbH JBFOne 2007 Seite 12

13 Workload Computing - Compute Servertypen COMPUTE Rackserver AMD Opteron Excellente Integer, gute FP Performance 1 / 2 / 4 / 8 - Sockel Server Dual (Quad) Core AMD Opteron Prozessor 1 / 2 / 4 RU Chassis Rackserver Intel Xeon Gute Integer, excellente FP Performance 2 / 4 - Sockel Server Dual Quad Core Intel Prozessor 1 / 2 RU Chassis Blade Server Vereinfachte Verkabelung, Wartung Höhere CPU Dichte AMD, Intel, UltraSPARC T2 Module JBF Server Dirk Walkenhorst & Andreas Kress, Sun Microsystems GmbH JBFOne 2007 Seite 13

14 Datacenter Workload Landschaft Hohe Anzahl von Threads Daten lastig Data Warehousing Data Analysis Client Server DATA Durchsatz - Verticale Skalierung - Hohe I/O Leistung, OLTP RAS, Database Memory File Server Commercial Batch Einzel Thread NETWORK Durchsatz - Horizontale Skalierung - Hohe Security Netzworkanforderungen Directory J2EE Application Servers Genomics COMPUTE Web Serving Streaming Media EAI Servers Structural Analysis Electronic Hohe INT/FP Design Simulation Leistung - Workgroup Batch - Horizontale Skalierung Compute Grid Application Development Financial Risk/Portfolio Analysis Monte Carlo Simulation Cheminformatics Netzwerk lastig JBF Server Dirk Walkenhorst & Andreas Kress, Sun Microsystems GmbH JBFOne 2007 Seite 14

15 Workload Computing - Network NETWORK Web Applikationen, Web 2.0 Hohe Anzahl von Threads Hoher Durchsatz Horizontale Skalierung Sicherheit, Verschlüsselung, SSL Kosteneffizienz Preis/Leistungsverhältnis Stromverbrauch Virtualisation JBF Server Dirk Walkenhorst & Andreas Kress, Sun Microsystems GmbH JBFOne 2007 Seite 15

16 SunFire Coolthreads Server - Die System Design Revolution Prozessoren, aufgebaut aus Schaltkreisen 250 MHz 33 MHz 1MT X Bipolar SMP - Systeme, aufgebaut mit Prozessoren US IV+, SPARC 64, x86/64, Power, Itanium, PA-RISC,... UltraSPARC-T1 T2, 'ROCK',... 1BT X CMT - Networks, aufgebaut aus Microsystemen CMOS 100KT Log Relative System Leistung JBF Server Dirk Walkenhorst & Andreas Kress, Sun Microsystems GmbH JBFOne 2007 Seite 16

17 Traditional Single Threat CPU NETWORK Single Threaded Performance Konventioneller Prozessor Thread Auslastung: 15 25% C M C M C M Latenz zum Hauptspeicher Effektive Rechenzeit Zeit JBF Server Dirk Walkenhorst & Andreas Kress, Sun Microsystems GmbH JBFOne 2007 Seite 17

18 SMT - Simultaneous Multi-Threading NETWORK Niagara Prozessor Simultaneous Multi Threading (SMT) Performance Auslastung nah bei 100% Thread 4 Thread 3 Thread 2 Thread 1 C M C M C M C M C M C M C M C M C M C C M C M C M Latenz zum Hauptspeicher Effektive Rechenzeit Zeit JBF Server Dirk Walkenhorst & Andreas Kress, Sun Microsystems GmbH JBFOne 2007 Seite 18

19 Chip Multi-Threading Technologie NETWORK Viele multi-threaded Cores auf einem Chip Core-1 Core-2 Core-3 Core-4 Core-5 Core-6 Core-7 Core-8 Thread 4 Thread 3 Thread 2 Thread 1 Thread 4 Thread 3 Thread 2 Thread 1 Thread 4 Thread 3 Thread 2 Thread 1 Thread 4 Thread 3 Thread 2 Thread 1 Thread 4 Thread 3 Thread 2 Thread 1 Thread 4 Thread 3 Thread 2 Thread 1 Thread 4 Thread 3 Thread 2 Thread 1 Thread 4 Thread 3 Thread 2 Thread 1 Zeit Wartezeit Rechenzeit JBF Server Dirk Walkenhorst & Andreas Kress, Sun Microsystems GmbH JBFOne 2007 Seite 19

20 Niagara 2 64-way SMP on a Chip NETWORK UltraSPARC T2 Prozessor 8 Cores, 64 Threads Floating Point 1 FPU pro Core Netzwerk 10 GbE und PCI-E on Chip Security Encryption Coprozessor DES, 3DES, AES, RC4, SHA1, SHA256, MD5, RSA to 2048 key, ECC, CRC32 Stromaufnahme ~95 Watt <1.5 Watt/Thread Multisocket 1H CY2008 FB DIMM FB DIMM FB DIMM FB DIMM FB DIMM FB DIMM FB DIMM FB DIMM L2$ L2$ L2$ L2$ L2$ L2$ L2$ L2$ Full Cross Bar C0 C1 C2 C3 C4 C5 C6 C7 FPU FPU FPU FPU FPU FPU FPU FPU NIU (E-net+) 2x 10GE Ethernet Sys I/F Buffer Switch Core Power ~95 W PCI- Ex JBF Server Dirk Walkenhorst & Andreas Kress, Sun Microsystems GmbH JBFOne 2007 Seite 20

21 SPARC Enterprise CMT Server NETWORK Optimiert für Preis/Performance & Performance/Watt Extrem hohe Rackmountdichte 1/2 RU Bauhöhe 4/6/8 Cores, 1.4 Ghz, 64 Threats 16 Memory Slots, FB-DIMMs 64 GB Hauptspeicher (4 GB DIMMs) 4/8 Festplatten SAS 146 GB Hohe Verfügbarkeit Hot-plugable 2.5 Festplatten Redundante, hot-swapable Netzteile und Lüfter Virtualisierung 64 Logical Domains Multisocket-Server 1H CY2008 Sun SPARC Enterprise T5120 Server Sun SPARC Enterprise T5220 Server Benchmark Worldrecords SPECint_rate2006, SPECfp_rate2006 SPECweb2005, SPECjbb2005, SPECCPU2006 Lotus Domino Notes Single Socket SAP SD 2-tier SPECjAppServer2004 RSA/AES Cryptography JBF Server Dirk Walkenhorst & Andreas Kress, Sun Microsystems GmbH JBFOne 2007 Seite 21

22 Sun CMT Processor Roadmap Volume SPARC Enterprise Performance Increase UltraSPARC T2 processor 35X 64 threads 8 cores 1 FPU & SPU per core NIU Victoria Falls 65X (2 sockets) 128 threads 16 cores Performance Increase Booted Solaris April 2007 Rock 16X 16 cores UltraSPARC IIIi processor 1X UltraSPARC T1 processor 14X 32 threads 8 cores UltraSPARC processor IV+ 1X Olympus /APL 1.5X JBF Server Dirk Walkenhorst & Andreas Kress, Sun Microsystems GmbH JBFOne 2007 Seite 22

23 Rock Next Generation High End CPU Erweitert die Vorteile der CMT Technologie für den Data Compute Bereich Große Datenbanken Analytische Anwendungen Hoher Durchsatz Weiterhin Multiple Cores Weiterhin viele Threads Hohe Single-Thread Performance Innovative Technologien Scout Threading Execute ahead Einfachheit Weniger Komponenten Geringer Platzbedarf Weniger Stromaufnahme Höhere Zuverlässigkeit JBF Server Dirk Walkenhorst & Andreas Kress, Sun Microsystems GmbH JBFOne 2007 Seite 23

24 Rock Next Generation High End Server Beispiel: Ein Single CPU Rock Server wird etwa die gleiche Throughput Performance aufweisen wie eine SunFire E20k mit 32x 1.2 Ghz US-IV Prozessoren Estimate Heute SunFire E20k Rock System (T32) 32 Prozessoren, 320 ASICs 1 Prozessor, 11 ASICs 6 Datacenter Floor Tiles 1/7 of 2 Floor Tiles Full Cabinet 850nn x 1660mm 1/7 Rack 600mm x 1000mm JBF Server Dirk Walkenhorst & Andreas Kress, Sun Microsystems GmbH JBFOne 2007 Seite 24

25 Ebenen der Virtualisierung Trend to flexibility Trend to isolation Hard Partitions Virtual Machines OS Virtualization Resource Mgmt. App Server Database Identity Server File Server Web Server Mail Server Calendar Server Database Web Server SunRay Server Database App Server App OS Dynamic System Domains Multiple OSes Single OS Logical Domains Solaris Containers Xen (Zones + SRM) VMware Solaris Containers Microsoft Virtual Server for Linux Applications Solaris Trusted Extensions Solaris Resource Manager (SRM) Server JBF Server Dirk Walkenhorst & Andreas Kress, Sun Microsystems GmbH JBFOne 2007 Seite 25

26 Virtualisierung Solaris Containers Mehrere autonome Server auf der Basis von nur einem Betriebssystem Applikationsinstanzen laufen in diesen Servern Calendar Server Database Web Server Vorteile Weniger Overhead Weniger Administrationsaufwand Geringere Komplexität und Kosten Hohe Skalierbarkeit, > 8000 Instanzen Ultimatives Konsolidierungstool Container Cloning, Migration JBF Server Dirk Walkenhorst & Andreas Kress, Sun Microsystems GmbH JBFOne 2007 Seite 26

27 Virtualisierung Solaris Logical Domains (LDOMs) Virtualisierung und Partitionierung der Server Ressourcen Jede Domain ist eine vollständige virtuelle Maschine mit dynamisch rekonfigurierbaren Ressourcen und auf einem eigenen unabhängigen OS Schutz und Isolation via SPARC Hardware und Hypervisor Firmware Bis zu 32 Logical Domains pro System LDom A LDom B LDom C LDom D OS Environment of choice LDoms Manager Linux FreeBSD Hypervisor Platform Hardware CPU CPU CPU CPU CPU CPU CPU CPU Memory I/O I/O Memory Memory Memory JBF Server Dirk Walkenhorst & Andreas Kress, Sun Microsystems GmbH JBFOne 2007 Seite 27

28 Solaris 10 JBF Server Dirk Walkenhorst & Andreas Kress, Sun Microsystems GmbH JBFOne 2007 Seite 28

29 Solaris 10 &statecd=p&page=1&sa=true#sd JBF Server Dirk Walkenhorst & Andreas Kress, Sun Microsystems GmbH JBFOne 2007 Seite 29

30 Rechenzentrums-Leistungen FIDUCIA IT AG 2 Rechenzentren Prozessorleistung (K-Fall: MIPS) MIPS Unix Server 3245 Plattenkapazität 510 TB (synchrone Spiegelung an 2 Lokationen) Kassettenkapazität TB (synchrone Spiegelung an 2 Lokationen) Buchungsposten 3.2 Milliarden Neues RZ (Rheinstetten, Neue Messe) Bezug ab Januar 08 JBF Server Dirk Walkenhorst & Andreas Kress, Sun Microsystems GmbH JBFOne 2007 Seite 30

31 JBF Umgebung BAP 3.1 Portal RZ Diesel RZ Otto Web Layer SunFire V210 Application Layer SunFire V440 Web Layer Hardware:SunFire V210 (2x US-IIIi 1.2 Ghz CPU, 2 GB RAM, 2x 73 GB HD) OS: Solaris 8 (1 Zone) Appl. SW: Apache Webserver Application Layer Hardware:SunFire V440 (4x US-IIIi 1.2 Ghz CPU, 8 o. 16 GB RAM, 2x 73 GB HD) OS: Solaris 8 (1 Zone) Appl. SW: Tomcat Applikationsserver (eine Tomcat Instanz pro Zone) Cronacle (Batchverarbeitung) JBF Server Dirk Walkenhorst & Andreas Kress, Sun Microsystems GmbH JBFOne 2007 Seite 31

32 JBF Umgebung BAP 3.2 Portal Konzept Schattenzonen RZ Diesel RZ Otto Web Layer SunFire V210 Application Layer SunFire V440 Schattenzonen-/portale werden eingesetzt bei Releaseupgrades Pro Server wird zusätzlich eine Schattenzone installiert Die Schattenzone wird mit der neuen agree BAP Version konfiguriert Beim Umschalten auf die neue Version, läuft die alte Produktionszone leer, das Schattenportal wird Produktionsportal für die neue Version Rangierportale werden überflüssig (aber höhere HW Anforderungen pro Server) JBF Server Dirk Walkenhorst & Andreas Kress, Sun Microsystems GmbH JBFOne 2007 Seite 32

33 JBF CMT Server Beispiel ebanking Virtualisierung mit Solaris Container Beispiel ebanking Server: CMT Server SunFire T2000 Betriebssystem: Solaris 10 Applikationen Container OS Server Virtualisierung: 8 Solaris Container Applikation: Apache Tomcat, Apache Webserver Konzept: Konsolidierung, Serverauslastung Container Server JBF Server Dirk Walkenhorst & Andreas Kress, Sun Microsystems GmbH JBFOne 2007 Seite 33

34 CMT Server Mögliche zukünftige Plattformen Virtualisierung mit Logical Domains Weitere Virtualisierungsebene Server: CMT Server SunFire T5120/T5210 Betriebssystem: Solaris 10 Update 4 Virtualisierung: Logical Domains Virtualisierung: Solaris Container Applikation: Apache Tomcat, Apache Webserver,... LDom A Hypervisor LDom B Kombination LDOMs & Container JBF Server Dirk Walkenhorst & Andreas Kress, Sun Microsystems GmbH JBFOne 2007 Seite 34

35 CMT Server Vorteile Konsolidierung Weniger Systeme Geringer Platzbedarf Geringere Betriebskosten (Strom, Abwärme, Stellfläche reduziert) Reduzierung der Wartungskosten Virtualisierung Solaris LDOMs Solaris Container Geringere Administrationskosten Keine Zusatzsoftware für Virtualisierung nötig Neue moderne leistungsfähigere Server Hohe Leistungsreserven Hohe Netzwerkbandbreite Geringe Stromaufnahme (Eco/Green Computing) Virtualisierung LDOMs & Container möglich JBF Server Dirk Walkenhorst & Andreas Kress, Sun Microsystems GmbH JBFOne 2007 Seite 35

36 IHR IT PARTNER Dirk Walkenhorst & Andreas Kress, Sun Microsystems GmbH

37 Solaris 10 Ausblick Branded Zones: lx, SUNWsolaris8 Exklusiver TCP/IP Stack in Zonen Liveupgrade mit Zonen Newboot für SPARC ZFS Erweiterungen xvm LDoms 1.2 JBF Server Dirk Walkenhorst & Andreas Kress, Sun Microsystems GmbH JBFOne 2007 Seite 37