Präventives Risikomanagement für ausfallsichere Data Center Infrastrukturen Zuverlässigkeit, Verfügbarkeit, 1- und 2-Fehlertoleranz

Transkript

1 Präventives Risikomanagement für ausfallsichere Data Center Infrastrukturen Zuverlässigkeit, Verfügbarkeit, 1- und 2-Fehlertoleranz Dipl.-Ing. Uwe Müller ibmu.de Ingenieurgesellschaft für technische Beratung, Medien und Systeme mbh

2 BITKOM e.v. Arbeitskreis Rechenzentrum und Infrastruktur Agenda zum 29. November 2016 in Cadolzburg 1. Motivation zur Analytik von Data Center Infrastrukturen (DCI) Richtlinien und Normen Qualitative vs. quantitative Verfahren 2. Kennzahlen zur Ausfallsicherheit Zuverlässigkeit und Verfügbarkeit 1- und 2-Fehlertoleranz 3. Methodik InfraOpt Fünf-Stufen-Prozess Variantenvergleich und Optimierung 4. Ausblick 2

3 Uptime Institute Tier I Tier II Tier III Tier IV Single Points of Failure Representative Planned Maintenance Shut Downs Representative Site Failures Annual Site-Caused End-User Downtime (based on field data) Resulting End-User Availability on Site- Caused Downtime Many+ Human Error 2 Annual Events at 12 Hours Each 6 Failures Over 5 Years Many+ Human Error 2 Events Over 2 Years at 12 Hours Each 1 Failure Every Year Some+ Human Error None Required 1 Failure Every 2.5 Yrs Fire,EPO+Some Human Error None Required 1 Failure Every 5 Years 28.8 hours 22.0 hours 1.6 hours 0.8 hours [0.4 hours] % % % % [ %] First Deployed Quelle: Uptime Institute, 2008, White Paper, Tier Classifications Define Site Infrastructure Performance, Page 14 3

4 DIN EN , DIN EN , DIN EN Verfügbarkeits- Klasse VK 1 VK 2 VK 3 VK 4 VK 4 erweitert Verfügbarkeit niedrig mittel hoch sehr hoch DIN EN Stromversorgung Versorgungspfade DIN EN Regelung der Umgebungsbedingungen keine Redundanz Einer N Komponenten Redundanz Einer N+1 - keine Ausfallsicherheit Versorgungspfade - Einer N Instandsetzung im lfd. Betrieb Mehrere 2N Komponenten Redundanz Einer N+1 Fehlertoleranz () Mehrere 2N Instandsetzung im laufenden Betrieb Einer N+1 Mehrere 2N Quellen: DIN EN , DIN EN , DIN EN

5 Präventives Risikomanagement versus Rechenzentrums-Zertifizierung Worin besteht der Unterschied? Data Center Infrastructure evaluated by InfraOpt BITKOM e.v. Arbeitskreis Rechenzentrum und Infrastruktur 29. November 2016 Cadolzburg 5

6 Prinzip der Infrastrukturanalyse Anbieter Ergebnis Rechenzentrums-Zertifizierung Qualitativ: Checklisten bzw. Kriterienkataloge Uptime Institut, TÜV Nord/Süd/ Rheinland, BSI, ECO,... Tier I IV oder Level I IV (+) oder Kategorie I IV oder 1 5 Stars oder Verfügbarkeitsklasse 1 4 Präventives Risikomanagement Quantitativ: Berechnung von Kennzahlen ibmu.de GmbH InfraOpt Zuverlässigkeit, inhärente und operationale Verfügbarkeit, 1 und 2 Fehlertoleranz, Verfügbarkeitsklasse 1 4 Kennzahlen nein Ja Optimierung nein Ja Investitionsplanung nein Ja SLA-Validierung nein Ja BIM-Integration nein Perspektivisch möglich Data Center Infrastructure evaluated by InfraOpt BITKOM e.v. Arbeitskreis Rechenzentrum und Infrastruktur 29. November 2016 Cadolzburg 6

7 Rechenzentrums-Versorgungs-Infrastruktur Data Center Infrastructure (DCI) Notwendige Teilsysteme der DCI: Power Distribution Stromversorgung DIN EN Environmental Control - Regelung der Umgebungsbedingungen DIN EN Systemerfolg SS eines Lastpunktes (z. B. Servers) der DCI: SS LLLLLLLLLLLLLLLLLL = SS PPPPPPPPPP SS EEEEEEEEEEEEEEEEEEEEEEEEEE CCCCCCCCCCCCCC Ein Erfolgspfad beschreibt genau eine minimale, ununterbrochene Funktionskette zum Lastpunkt Redundanzen vervielfachen die Anzahl der Erfolgspfade Data Center Infrastructure evaluated by InfraOpt BITKOM e.v. Arbeitskreis Rechenzentrum und Infrastruktur 29. November 2016 Cadolzburg 7

8 Kennzahlen zur Ausfallsicherheit (Resilience) Verlässlichkeit (Dependability) Zuverlässigkeit (Reliability) R(t) = e -t/mtbf Merkmal für die Wahrscheinlichkeit, dass die DCI ihre Funktion erfüllt Berücksichtigt die Ausfallrate von Komponenten im Verlauf der Zeit Inhärente Verfügbarkeit (Availability) A i = MTBF / (MTBF + MTTR) Berechnete Verfügbarkeit auf Grundlage der eingesetzten Komponenten und Systeme Operationale Verfügbarkeit A o = MTBM / (MTBM + MDT) Berücksichtigt Wartungen, Umbauten, Elementarereignisse, Fehlhandlungen, tatsächliche Liefer- und Reparaturzeiten usw. Data Center Infrastructure evaluated by InfraOpt BITKOM e.v. Arbeitskreis Rechenzentrum und Infrastruktur 29. November 2016 Cadolzburg 8

9 Kennzahlen zur Ausfallsicherheit (Resilience) Fehlertoleranz Single Points of Failure: SSSSSSSS = NN Anzahl der 1-Fehlerpunkte, durch welche die DCI ausfallen kann Bestimmen der Verfügbarkeitsklassen nach EN Stromversorgung und EN Regelung der Umgebungsbedingungen Double Points of Failure: DDDDDDDD = NN kk ; kk = 22 Anzahl der 2-Fehlerpunkte, durch welche die DCI ausfallen kann Vorhersage, wie die DCI im Fall von geplanten oder ungeplanten Fehlerereignissen reagiert Bestimmung des herabgesetzten Ausfallsicherungsgrades gemäß EN :2014 Data Center Infrastructure evaluated by InfraOpt BITKOM e.v. Arbeitskreis Rechenzentrum und Infrastruktur 29. November 2016 Cadolzburg 9

10 Erprobter Dienstleistungsprozess in fünf Schritten 1 Rezeption des DCI-Designs 1 2 Boolesche Modellierung 2 3 Datenaufbereitung 3 4 Numerische Analyse 5 Zielorientierte Optimierungen 5 Details unter Data Center Infrastructure evaluated by InfraOpt BITKOM e.v. Arbeitskreis Rechenzentrum und Infrastruktur 29. November 2016 Cadolzburg 10

11 Integrales Zuverlässigkeitsschema 11

12 Boolesches Modell 12

13 Komponentendaten 13

14 Beispiel: Risikoanalyse von Designvarianten Design 1: N E +1, N C +1 Design 2: 2N E, N C +1 Design 3: N E +1, 2N C Design 4: 2N E, 2N C MS-Einspeisung a1 Transformatoren b1 Trafo-Verteilung c1 d1 Netzersatzanlagen g1 NEA-Verteilung h1 i1 MS-Einspeisung a1 Transformatoren b1 Trafo-Verteilung c1 d1 d2 Netzersatzanlagen g1 NEA-Verteilung h1 i1 MS-Einspeisung a1 Transformatoren b1 Trafo-Verteilung c1 d1 Netzersatzanlagen g1 NEA-Verteilung h1 i1 MS-Einspeisung a1 Transformatoren b1 Trafo-Verteilung c1 d1 d2 Netzersatzanlagen g1 NEA-Verteilung h1 i1 n1 NS- A m1 t1 t2 NS- B m2 n3 n1 NS- A m1 t1 NEA e2 NS- B m2 t2 n3 n1 NS- A m1 n2 t1 t2 NS- B m2 n3 n4 n1 NS- A m1 t1 NEA e2 NS- B m2 t2 n4 Kühlung o1 Kühlung p q1 Steuerung r1 USV u1 USV-Block v1 USV-Verteilung w1 x1 x2 Kühlung o1 Kühlung p q1 Steuerung r1 USV A v1 UV USV A w1 x1 USV B v2 UV USV B w2 x2 Kühlung A o1 Kühlung A p1 A q1 Steuerung A r1 USV u1 USV-Block v1 USV-Verteilung w1 x1 x2 Kühlung B o2 Kühlung B p2 B q2 Steuerung B r2 Kühlung A p1 A q1 Steuerung A r1 USV A v1 UV USV A w1 x1 USV B v2 UV USV B w2 x2 Kühlung B p2 B q2 Steuerung B r s1 Unterverteilung Unterverteilung IT A z1 IT B z2 Rechenzentrum, IT-Lastpunkt mit redundantem Netzteil S(IT-Lp.) = S(s1) [S(z1) S(z2)] s1 Unterverteilung Unterverteilung IT A z1 IT B z2 Rechenzentrum, IT-Lastpunkt mit redundantem Netzteil S(IT-Lp.) = S(s1) [S(z1) S(z2)] A s1 B s2 UV IT UV IT A z1 B z2 Rechenzentrum, IT-Lastpunkt mit redundantem Netzteil S(IT-Lp.) = [S(s1) S(s2)] [S(z1) S(z2)] A s1 B s2 UV IT UV IT A z1 B z2 Rechenzentrum, IT-Lastpunkt mit redundantem Netzteil S(IT-Lp.) = [S(s1) S(s2)] [S(z1) S(z2)] Data Center Infrastructure evaluated by InfraOpt Data Center Convention 26./27. Oktober 2016 München 14

15 Variante 1: N E +1 & N C +1 2: 2N E & N C +1 3: N E +1 & 2N C 4: 2N E & 2N C N R(t=1a) 0, , , ,80050 A i 0, , , ,99999 A o 0, , , ,99982 SPoF 5 von 25 3 von 28 2 von 32 0 von 31 DPoF 146 von von von von 465 MS-Einspeisung a1 Transformatoren b1 Trafo-Verteilung c1 d1 Netzersatzanlagen g1 NEA-Verteilung h1 i1 MS-Einspeisung a1 Transformatoren b1 Trafo-Verteilung c1 d1 d2 Netzersatzanlagen g1 NEA-Verteilung h1 i1 MS-Einspeisung a1 Transformatoren b1 Trafo-Verteilung c1 d1 Netzersatzanlagen MS-Einspeisung g a1 NEA-Verteilung Transformatoren h b1 Trafo-Verteilung i1 c1 d1 d2 Netzersatzanlagen g1 NEA-Verteilung h1 i1 NS- A m1 n1 t1 NS- B m2 t2 n3 NS- A m1 n1 t1 NEA e2 NS- B m2 t2 n3 NS- A m1 n1 n2 t1 NS- B m2 t2 n3 n4 NS- A m1 n1 t1 NEA e2 NS- B m2 t2 n4 Kühlung o1 Kühlung p q1 Steuerung r1 USV u1 USV-Block v1 USV-Verteilung w1 x1 x2 Kühlung o1 Kühlung p q1 Steuerung r1 USV A v1 UV USV A w1 x1 USV B v2 UV USV B w2 x2 Kühlung A o1 Kühlung A p1 A q1 Steuerung A r1 USV u1 USV-Block v1 USV-Verteilung w1 x1 x2 Kühlung B o2 Kühlung B p2 B q2 Steuerung B r2 Kühlung A p1 A q1 Steuerung A r1 USV A v1 UV USV A w1 x1 USV B v2 UV USV B w2 x2 Kühlung B p2 B q2 Steuerung B r s1 Unterverteilung IT A z1 Unterverteilung IT B z2 Rechenzentrum, IT-Lastpunkt mit redundantem Netzteil S(IT-Lp.) = S(s1) [S(z1) S(z2)] s1 Unterverteilung Unterverteilung IT A z1 IT B z2 Rechenzentrum, IT-Lastpunkt mit redundantem Netzteil S(IT-Lp.) = S(s1) [S(z1) S(z2)] A s1 B s2 UV IT UV IT A z1 B z2 Rechenzentrum, IT-Lastpunkt mit redundantem Netzteil S(IT-Lp.) = [S(s1) S(s2)] [S(z1) S(z2)] A s1 B s2 UV IT UV IT A z1 B z2 Rechenzentrum, IT-Lastpunkt mit redundantem Netzteil S(IT-Lp.) = [S(s1) S(s2)] [S(z1) S(z2)]

16 1 0,9 0,83 0,8 0,7 0,6 0,5 0,48 0,47 0,4 0,32 0,3 0,2 0, Jahre Design 1 R(t) Design 11 Ao R(t) Design Redesign 1 Ao Design 31 R(t) Ao Redesign 3 Ao Data Center Infrastructure evaluated by InfraOpt BITKOM e.v. Arbeitskreis Rechenzentrum und Infrastruktur 29. November 2016 Cadolzburg 16

17 Zuverlässigkeit vs. Verfügbarkeit Ergebnisinterpretation Mit zunehmendem Betriebsalter sinkt die Zuverlässigkeit (und steigt die Fehleranfälligkeit) einer DCI. Das gilt auch bei konstanten Ausfallraten. Mehr Fehleranfälligkeit bedeutet, dass mit dem Betriebsalter auch der Betriebsaufwand der DCI steigt. Die Verfügbarkeit spiegelt nicht zwangsläufig die Anzahl auftretender Probleme wieder, denn nicht jedes Fehlerereignis zieht einen Gesamtausfall nach sich (dank Betreiber/inhärenter Redundanzen). Komponentenauswahl und DCI-Design bestimmen nicht nur die Ausfallsicherheit sondern auch den Betriebsaufwand. Maximierung der Ausfallsicherheit bedeutet, an den richtigen Stellen zu investieren. Dabei unterstützen geeignete Kennzahlen. Data Center Infrastructure evaluated by InfraOpt BITKOM e.v. Arbeitskreis Rechenzentrum und Infrastruktur 29. November 2016 Cadolzburg 17

18 1, , , , , , , , , , ,80000 Verfügbarkeitsanalyse Variante 1 Variante 2 Variante 3 Variante 4 Zuverlässigkeit Inhärente Verfügbarkeit Operationale Verfügbarkeit Fehleranalyse Variante 1 Variante 2 Variante 3 Variante 4 DPoF SPoF

19 Welchen Nutzen hat die numerische Analyse von DCI-Designs? Bewertung von Risiken und Schwachstellen, Ressourceneinsparung durch Optimierung, Managementunterstützung. Welche Designs kann man optimieren? Beliebige bestehende bzw. neue Designs können mittels Kennzahlen verglichen und optimiert werden. Wie verändert sich das Ausfallrisiko durch Alterung, wann ist zu reinvestieren? Analysen sind für gegenwärtige und zukünftige Zeitpunkte möglich, wie auch zur Investitionsplanung. Welchen Wert hat die Untersuchung der Double Points of Failure (DPoF)? Für Vorhersagen in Wartungs- oder Havariesituationen ist es durch Analyse der SPoF und DPoF möglich, die resultierende Ausfallsicherheit zu bestimmen. Sind vertraglich fixierte Service-Level- Agreements (SLA s) plausibel? SLA s können durch Gegenüberstellung der Inhärenten und Operationalen Verfügbarkeit validiert werden. Ist eine sehr komplexe oder möglichst einfache DCI besser? Durch Vergleich der Ausfallsicherheits- Kennzahlen kann dies im konkreten Fall ermittelt und belegt werden. Wie sieht die optimale Infrastruktur aus? Elektroenergie- und Kälteversorgung sind gleichermaßen ausfallsicher! Zum Nachweis sind Kennzahlen unabdingbar. Q & A Data Center Infrastructure evaluated by InfraOpt BITKOM e.v. Arbeitskreis Rechenzentrum und Infrastruktur 29. November 2016 Cadolzburg 19

20 Dipl.-Ing. Uwe Müller Geschäftsführender Gesellschafter ibmu.de Ingenieurgesellschaft für technische Beratung, Medien und Systeme mbh Puschkinstraße Luckenwalde Germany fon mo Amtsgericht Potsdam HRB USt-ID DE InfraOpt ist eine eingetragene Marke der ibmu.de GmbH InfraOpt Präventives Risikomanagement für ausfallsichere Data Center Infrastrukturen. Ich freue mich auf Ihre Fragen. 20