Martin Glock, IBM Data Center Services ZKI Frühjahrstagung Münster. Data Center Martin Glock IBM Corporation

Transkript

1 Martin Glock, IBM Data Center Services ZKI Frühjahrstagung Münster Data Center 2020 Martin Glock

2 IBM Data Center Services Site and Facilities Services Über 3 Millionen Quadratmeter Rechenzentrumsfläche von IBM Site and Facilities Services designed, geplant und realisiert in den vergangenen 20 Jahren Derzeit betreibt IBM weltweit mehr als m 2 IT Fläche 2

3 IBM Site and Facilties Services kann Unternehmen mit einer end-to-end Expertise helfen, ihre Rechenzentrumsstrategie zu planen und umzusetzen - einschließlich IT-Umzug und Betriebsunterstützung End-to-end Projektbetreuung Strategie Design Entwickeln einer RZ Strategie Aufnahme des IST- Zustandes Entwickeln der zukünftigen Requirements Entwickeln des Konzeptes und Kostenschätzung Realisierung IT Relocation Detailplanung Umsetzen des Projektes als Turn Key Solution Projektübergabe Projektmanagement und Umzug der IT 3

4 Welche Herausforderungen ergeben sich im Data Center Umfeld? Wachsende IT Nachfrage Weitergehender Kostendruck Notwendigkeit zur Veränderung 6x 69x 85% Wachstum an Server und Storage Kapazitäten in der aktuellen Decade Der verteilten Rechnerkapazität wird nicht genutzt. 18% 75% Anstieg der weltweiten Data Center Energiekosten im nächsten Jahr Alle CIOs gehen von stark zentralisierten infrastrukturen in den nächsten 5 Jahren aus. 20x 71% 5-60% Höhere Server- Packungsdichte in dieser Decade Anteil Datacenter die älter >7 Jahre sind Anteil an Workloads die Cloud fähig sind 4

5 IT-Infrastrukturausgaben: Systems Management und Energiekosten wachsen spürbar Spending (US$B) $300 $250 $200 $150 $100 Power and cooling costs Server mgmt and admin costs New server spending Installed Base (M Units) $ $ Source: IDC, Virtualization 2.0: The Next Phase in Customer Adoption, Doc #204904, Dec

6 Datacom Equipment Power Density Chart Entwicklung der Energiedichte im Rechenzentrum Rated Power Energieanforderungen wachsen ungebändigt IBM - Energiedichte x3550 der Systeme sprengt jeden Rahmen BladeCenter H BladeCenter IBM x336 IBM p575 X X IBM p655 X SunFire 15k X Nortel Cross Switch IBM p690 X IBM x330 X X X XX X X X EMC DMX2000 X IBM FAStT700 HDS 9960 Source: Datacom Equipment Power Trends and Cooling Applications 2005, ASHRAE (Ergänzung IT Equipment durch IBM) 6

7 Der Ansatz: Eine Doppelstrategie IT-Infrastruktur-Energie-Effizienz-Strategie Konsolidierung der Rechenzentrumsstandorte Verringerung der Komplexität der Infrastruktur Verbesserung der Infrastruktur Verwaltung Reduzierung von Personalkosten Verbesserung der Geschäftsprozesse Verbesserung der Betriebskosten Konsolidierung der Server Reduktion der System Management- Komplexität Flächenreduzierung Zentralisierung physikalische Konsolidierung Optimierter Betrieb Auflösung von physikalischen Grenzen Steigerung der Hardware Ausnutzung Load-Allokation bis zur physischen Grenze Reduzierung der Kosten für Software-Lizenzen Virtualisierung Best Practices Sorgfältige Energienutzung Optimierung bei der Luftführung Migration vieler Anwendungen Vereinfachung der IT-Umgebung Reduktion von geschäftlichen Ressourcen Verbesserung von spezifischen Systemen zur Überwachung und Monitoring Anwendungs- Integration State-ofthe-Art Warm-/ Kaltgangprinzip Verbesserung der Effizienz von Transformatoren, USV Anlagen, Kühlern, Lüftern und Pumpen Freie Kühlung Facility-Infrastruktur-Energie-Effizienz-Strategie Integriertes Energie- Management Direkte Flüssigkeits- Kühlung Kraft-/Wärme- Kopplung 7

8 Design für Flexibilität und modulare Rechenzentren. IBM s Rechenzentrumslösungen Scalable modular data center (SMDC) Enterprise modular data center (EMDC) Portable modular data center (PMDC) Bis zu 20% Platzersparnis im Vergleich zu herkömmlichem RZ Design. Turnkey Lösung Installation in 8-12 Wochen 40-50% weniger Betriebs- und Investitionskosten. Standardisiertes Design mit Modulen von 465m² Einsparung um bis zu 50% der Betriebskosten Voll funktionsfähiges Rechenzentrum. Aufgestellt in Wochen 8

9 Skalierbarkeit SMDC Bsp. Hochschulprojekt in BW 9

10 Portable Data Center / Container RZ s schnell im Aufbau / Lieferung flexibel komplett vorkonfigurierbar geringere Investitionen Air handlers Equipment Racks Rack Rails 10

11 1 1 ZKI Frühjahrstagung Münster - Data Center 2020 Outdoor Gebäude in Stahlbeton-Bauweise Technikraum IT-Raum IT IT IT IT

12 IT Kosten Energiebedarfsverteilung % Gesamtenergieverbrauch IT cooling power 0 IT Kälte erzeugung Befeuchtung Stromverteilung Präzisions- Klimageräte Stromverbrauch USV Generator Licht Optimierung der IT Infrastruktur Active Energy Management Optimierung der RZ Infrastrukur Source: American Power Conversion Corporation (APC) white paper, Implementing Energy Efficient Data Centers, #114, by Neil Rasmussen,

13 Neue energieeffiziente IT Technologien IBM System z10 EC IBM POWER Systems IBM idataplex IBM BladeCenter IBM System Storage IBM Rear Door Heat exchanger 16x Improvement Performance / kilowatt from the entry to top of line model IBM Power 550 uses 91% less energy and 98% less space Cuts energy costs 40% compared to equivalent compute power in an enterprise rack Uses up to 24% less energy than an equivalent systems DS8000 can consume up to 31% less power than equivalent systems Can now remove up to 100% of heat load 13

14 RZ Infrastruktur Tier4 Fuel Oil 48 hrs typical Fuel Oil 48 hrs typical Cooling Towers Generators N Uninterruptible Power Supply Generators N Chillers N Makeup Water Storage UPS Batteries min PDU A Data Center CRAC Units Cooling Towers PDU B Utility Provider 2 Sources UPS Batteries min Raised Floor Fiber Route A Server Fiber Route B Chillers N Makeup Water Storage 14

15 Dual Site DC Concept - TWIN Data Center Hochverfügbarkeitskonzept 2 RZ Standorte (miteinander gekoppelte, physische RZ s) Ein Rechenzentrum Verteilte, redundante IT- Systeme Synchrone Datenspiegelung IT und Facility gleichermassen redundant Level 4 TÜV Trusted Site zertifizierungsfähig 15

16 1 6 ZKI Frühjahrstagung Münster - Data Center 2020 Umluftkühlung im RZ 16

17 Steigende Verfügbarkeitsanforderungen Bitkom (Vereinigung namhafter Unternehmen der IT Industrie) TÜV IT Namhafte Firmen der IT Branche (z.b. IBM) TIA (Telecommunications Industrie Association), TIA-942 BSI (Bundesamt für Sicherheit in der Informationstechnik) Uptime Institut (USA, bietet Zertifizierung an, ähnlich TÜV IT), 4 Klassen, Tier 1 bis 4 EN-Normen (DIN, VDI, VDE.), Anforderungen an einzelne Produkte Behördliche Vorschriften (SOX, KonTraG, BGB, Bafin...) ASHRAE (American Society of Heating, Refrigerating, and Air-Conditioning Engineers Es gibt keinen alleingültigen Standard. Generell steigen die Anforderungen! 17

18 ASHRAE Environmental Guidelines for Datacom Equipment 18 Mollier-h-x-Diagramm für feuchte Luft - Druck bar ( m / C / % r.f Der Verband ASHRAE empfiehlt in der Ausgabe 2008 von Environmental Guidelines for Datacom Equipment für die Lufteintrittstemperaturen in das Rack einen Bereich von C. Jedoch seien auch noch höhere Temperaturen möglich. Aus der Sicht der Kältetechnik sind diese höheren Temperaturen sehr interessant, da man so einen längeren Betrieb im Freecooling- Bereich ermöglicht oder die Abwärme auf einem höheren Temperaturniveau besser genutzt werden kann.

19 Einsparpotential durch höhere Temperaturen Kernaussagen für IT Betreiber Betriebstemperaturen in Rechenzentren haben sich grundlegend verändert. Es gibt definitiv keinen Grund für eine Lufteintrittstemperatur von 20 und Der Betrieb eines Rechenzentrums mit einer Lufttemperatur von 24 und mehr spart Energie - ohne die Sicherheit negativ zu beeinflussen IT Betreiber haben kein Risiko Die Industrie erkennt ASHRAE Spezifikationen als fundierte Grundlage an. 19

20 Green IT / Green Data Center / Energieeffizienz 1) Sicherheit 2) Verfügbarkeit 3) Skalierbarkeit 4) Energieeffizienz 20

21 Green IT / Green Data Center / Energieeffizienz Power Usage Effectiveness (PUE) Total Facility Power PUE = IT Equipment Power Least energy efficient PUE Power Usage Effectiveness Standard supported by Green Grid, originally published by Lawrence Berkley National Laboratory, 2003 Lawrence Berkley National Laboratory,

22 Green IT / Green Data Center / Energieeffizienz Erhebung von Daten und Fakten zum aktuellen Energieverbrauch um Verbesserungsmöglichkeiten zu identifizieren Planung und Realisieren von Lösungen hin zu einem energieeffizientem Rechenzentrum Diagnose Optimieren und kontrollieren mit Energy Management Software Planen und Realisieren IBM: das energieeffiziente Rechenzentrum Managen und Messen Implementierung von Virtualisierungslösungen und anderen innovativen Technologien Virtualisieren Kühlen Nutzung von innovativen Kühlungslösungen 22

23 Green IT / Green Data Center / Energieeffizienz Warmgangprinzip 23

24 Green IT / Green Data Center / Energieeffizienz Bilder leider nicht möglich da Animation im Vortrag verankert Kaltgangprinzip 24

25 Green IT / Green Data Center / Energieeffizienz Kraft-Wärme rme-kälte-kopplung Biomethan Betriebsstunden: h Stromerzeugung: 700 MWh netzunabhängige Versorgung eines Rechenzentrums mit Strom und Kälte CO 2 -Neutralität durch Nutzung von Biomethan Brennstoffzellen Quelle: CFC Solutions 25

26 2 6 ZKI Frühjahrstagung Münster - Data Center 2020 Cloud Rechenzentren Tendenziel höher Verfügbarkeitslevels dynamische, skalierbare IT Infrastruktur On Demand IT Applikationen Ressourcenflexibilität 26

27 Wassergekühlte Rückwand IBM Rear Door Heat exchanger zur Vermeidung lokaler Hotspots. Anbringung auf der Rackrückwand. Kühlung der ausströmenden heißen Luft mit Hilfe eines eigenen Kühlkreislaufes (bis ~ 15 kw) Kein Bedarf für zusätzlichen Lüfter und somit energiesparend im Betrieb. Front Cold Rear Door Heat Xchanger Air flow Back Hot IBM Enterprise Rack Perf tile Cable Opening Underfloor Chilled Air water lines Tile floor Subfloor 27

28 IBM Supercomputer 28

29 CPU Kühlung Water-cooled Power 575 Hydro Cluster Redundant Modular Water Unit Unique water-cooled design delivers maximum performance in a more energy efficiency and dense package Requiring 80 percent fewer air conditioning units, the watercooled Power 575 can reduce typical energy consumption used to cool the data center by 40 percent. (compared to aircooled P5 575) MWU MWU Facility Water 29

30 Zukünftige Flüssigkeitskühlung auf der CPU Damit nutzbares Temperaturniveau z.b. für Gebäudeheizung oder Fernwärmenetz - ca. 75% der Energie wiederverwertbar! Inlet T = 45 Grad Celsius Outlet T = 50 Grad Celsius 30

31 Aquasar Pilot Project Air H 2 O Thermal conductivity [W/(m*K)] Volumetric heat capacity [kj/(m 3 *K)] QS/HS22 Blades with fluid-loop Fullypopulated BladeCenter servers with manifold System uses a mixed population of 11QS22 IBM PowerXCell 8i and 3 H22 Intel Nehalem Blades per Blade Center server Populated Rack with Blade Center servers and pumps Connection to heat distribution system of ETH for 50-60ºC hot water Two Blade Center servers are liquid cooled and one is air cooled for reference. The rack also holds communication equipment and a storage server. The closed cooling loop holds 10 liters of water, the coolant flow is 30 liters per minute. 31

32 Hot Water-cooled IBM Blade Center Cluster Aquasar Connection to ETH heat re-use system Climate chamber Coolant Distribution Unit Joint Effort among IBM Zurich Research Laboratory, IBM Germany Boeblingen, and IBM Switzerland 32

33 Cooling with hot water: towards a zero-emission datacenter Biological-inspired Micro-channel liquid coolers Heat exchanger CMOS 80ºC Direct Waste -Heat usage e.g. heating Water 60ºC 33

34 Presenting Aquasar The world s first hot-water-cooled supercomputer Energy consumption reduced by Water cooling system up to40% Direct reuse of waste heat cuts CO 2 emissions by up to85% 34 World record in facility-level efficiency in TFLOP/gCO 2 7.9

35 From Aquasar to SuperMUC First general available Hot Water Cooled idataplex cluster Intel x86-based SuperComputer with 3PFlop/s peak performance in 2012: Nodes with total CPUs / Cores TB Memory - InfiniBand FDR10 Interconnect with ~ (optical) IB cables - 10 PetaByte File Space based on IBM GPFS and 2 PetaByte NAS Storage Most Energy Efficient high End HPC System: - PUE 1.15 Green IT - 40% less energy consumption compared to air-cooled systems - 90% of waste heat will be reused SuperMUC is based on Hot Water Cooling technology invented for QPACE, Aquasar and idatacool (prototype at University of Regensburg) The system is part of the Partnership for Advanced Computing in Europe (PRACE) HPC infrastructure for researchers and industrial institutions throughout Europe 35

36 4 MW Hot Water Cooling Installation, LRZ München 90% der Wärmeabfuhr über Warm Water Cooling 100 % Freie Kühlung Temperaturniveau ~50 Celsius Möglichkeit der kompletten Verwertbarkeit der Energie PUE = 1,15 möglich 36

37 On the Roadmap: 3D-chip stacks 3D-integration as enabler for exascale computing Number one super-computer performance 1ExaFlops IBM technology invention history edram Immersion SOI Copper High-k 3D By 2025: 3D-chip stacks with interlayer cooling 1 ExaFLOP/s = or floating point operations per second or roughly300 times the computing power of today's fastest computer Performance history of super computers and forecast 37

38 3D-chips cooled with interlayer liquid cooling 3D integration requires (scalable) interlayer liquid cooling Challenge: isolate electrical interconnects from liquid A large fraction of energy in computers is spent for data transport Shrinking computers saves energy cross-section through fluid port A look inside a 3D-chip stack and cavities Microchannel Pin fin Through silicon via electrical bonding and water insulation scheme Test vehicle with fluid manifold and connection 38

39 On the cube road Paradigm Changes -Energy will cost more than servers -Coolers are million fold larger than transistors Moore s Law goes 3D -Single layer scaling slows down -Stacking of layers allows extension of Moore s law -Approaching functional density of human brain Future computers look different -Liquid cooling and heat re-use, e.g. Aquasar -Interlayer liquid cooled 3D chip stacks -Smarter energy by bionic designs Energy aspects are key -Cooling power delivery photonics -Shrink a rack to a sugar cube : 50x efficiency 39

40 sponsored by 40

41 31. Mai & 1. Juni 2011 Offenbach Perspektiven & Strategien für eine zukunftsfähige Rechenzentrumsinfrastruktur Planung & Realisierung von sicheren, effizienten und skalierbaren RZ Lösungen Optimierungsansätze von komplexen Server, Storage und Middleware Landschaften Selektive Sourcing Möglichkeiten im Spannungsfeld Outsourcing, Cloud & Managed Services Vendor Solution Services - Software-Bereitstellung als Service 41

42 Vielen Dank! Martin Glock Site Services Sales & Consulting IBM Information Technology Services ITS IBM Deutschland GmbH Niederlassung Ehningen Mobil +49-(0) IBM Site and Facilities Services Green IT: Site and Facilities Services: 42