Erhöhung der Verfügbarkeit der Stromversorgung - Probleme, Fehler und Ursachen

Transkript

1 Erhöhung der Verfügbarkeit der Stromversorgung - Probleme, Fehler und Ursachen

2 Fehler und Ursachen, Der MDR Der MDR Sender für Sachsen, Sachen-Anhalt und Thüringen, zur Geschichte: 1924 Start der Mirag (Mitteldeutsche Rundfunk AG) -> Hörfunkprogramm 1945 ein Mitteldeutscher Rundfunk -> durch DDR-Rundfunk bald keine Selbstständigkeit mehr 1991 Gründung des MITTELDEUTSCHEN RUNDFUNK als gemeinnützige Anstalt des öffentlichen Rechts 1992 Sendestart mit den Programmen MDR 1 RADIO SACHSEN, MDR 1 RADIO SACHSEN-ANHALT, MDR 1 RADIO THÜRINGEN, MDR life (ab 2000 JUMP), MDR KULTUR (ab 2004 MDR FIGARO), DT 64 (ab 1993 SPUTNIK) und das MDR FERNSEHEN

3 Fehler und Ursachen, Der MDR Allgemeines Produktion von acht Radio- und einem Fernsehprogramm Fünftgrößte ARD-Anstalt mehr als 2000 fest angestellte und ca freie Mitarbeiter Täglich rund 3,4 Millionen Hörer im Sendegebiet MDR-Gelände war von 1888 bis 1991 Leipzigs größter Schlachthof

4 Fehler und Ursachen, Der MDR Sendegebiet und Standorte

5 Hörfunkzentrale Halle 1998 BGF: ca m² (ohne TG) HNF: ca m²

6 Landesfunkhaus Magdeburg 1998 BGF: ca m² (ohne TG) HNF: ca m²

7 Landesfunkhaus Dresden 1999 Durch Tochtergesellschaft SARAG errichtet Ehemaliges Kasernengebäude Fertigstellung Ende 1998 Inbetriebnahme Mitte 1999

8 Landesfunkhaus Erfurt 2000 Unmittelbar benachbart zur Erfurter Messe auf ega-gelände BGF: ca m² (ohne TG) HNF: ca m² seit September 2000: Erweiterungsbau für MDR-Werbung und Kinderkanal

9 Fernsehzentrale Leipzig Zentrale Leipzig Haus 11 ca. 48 Mio Haus Haus 3 Haus Haus Intendanz 1996 Haus Halle 21 ca. 6 Mio. Haus 6 Haus 16 ca. 2 Mio.

10 Fehler und Ursachen, die Motivation Das Jahr 2010 Die olympischen Winterspiele in Vancouver Der MDR und das ZDF sind verantwortlich für die Übertragung der Spiele eine Herausforderung für unseren Sender ein Sendeausfall wäre jetzt eine Katastrophe! Drei Fragen mußten wir uns stellen: Welche Risiken bestehen noch und wo? Funktionieren unsere Havarieszenarien? Wie hoch ist unsere Verfügbarkeit?

11 Fehler und Ursachen, Analyse der Betriebsprozesse Redaktion Redaktion DISPO Abgebende RfA Anfordernde RfA DISPO MAZ MAZ Kreuzschiene Kreuzschiene Inhalte Inhalte

12 Fehler und Ursachen, Analyse der Betriebsprozesse Folgerung: komplexe vernetzte Workflows erfordern neue technische Systeme und damit verbunden höhere Verfügbarkeiten Videofiletransfer löst Leitungsüberspiele und manuellen Bandtransport ab: Bestellsystem Bestellsystem Video Audio Daten Video Audio Daten Netzwerk Server Speicher Speicher Server NEU: Prinzip file-basierender Übertragung

13 Fehler und Ursachen, die Analyse der Versorgung wesentliche Einflussgrößen auf die Betriebsprozesse des MDR Kühlung der Technik direkte, jedoch verzögerte Auswirkung Stromversorgung direkte sofortige Auswirkung Ausfallrate λ(t) Frühausfälle Zufallsausfälle Abnutzungsausfälle Frühausfälle Kinderkrankheiten Badewannenkurve Abnutzungsausfälle Zufallsausfälle t 1 t 2 t

14 Fehler und Ursachen, Verfügbarkeit Definition Verfügbarkeit Verfügbarkeit Soll-Betriebszeit - max. zulässige Ausfallzeit = % Soll-Betriebszeit Die Forderung nach Verfügbarkeit kann in Abhängigkeit des Systems unterschiedliche Ausprägungen haben. Die Soll-Betriebszeit ist die tatsächliche Produktionszeit.

15 Fehler und Ursachen, Verfügbarkeitsklassifizierung in der IT Availability Environment Classification (Harvard Research Group) AEC-0 AEC-1 AEC-2 AEC-3 AEC-4 AEC-5 Convential Highly Reliable (hohe Zuverlässigkeit) High Availability (hohe Verfügbarkeit) Fault Resistant (widerstandsfähig gegen Fehler) Fault Tolerant (fehlertolerant) Disaster Tolerant (katastrophentolerant) 99,0 % 99,9 % 99,99 % 99,999 % 99,9999 % 99,99999 % 3,7 Tage / Jahr 8,8 Stunden / Jahr 52,2 Minuten / Jahr 5,3 Minuten / Jahr 32 Sekunden / Jahr 3 Sekunden / Jahr Funktion kann unterbrochen werden, Datenintegrität ist nicht essentiell Funktion kann unterbrochen werden, Datenintegrität muss jedoch gewährleistet sein Funktion darf nur innerhalb festgelegter Zeiten bzw. zur Hauptbetriebszeit minimal unter-brochen werden Funktion muss innerhalb festgelegter Zeiten bzw. während der Hauptbetriebszeit ununterbrochen aufrechterhalten werden Funktion muss ununterbrochen aufrechterhalten werden, 24*7Betrieb muss gewährleistet sein Funktion muss unter allen Umständen verfügbar sein

16 Fehler und Ursachen, Berechnung der Verfügbarkeit durch zunehmende Verknüpfung von Systemen steigen die Anforderungen an die Verfügbarkeit der Einzelsystem und des Systemumfeldes Systemverfügbarkeit Gesamtsystem System 1 System 2 99,0 % = 99,10 % x 99,90 % 87 h 78 h 8,7 h erlaubte Ausfallzeit Systemverfügbarkeit Gesamtsystem System 1 System 2 System 3 System 4 System 5 98,6 % = 99,00 % x 99,90 % x 99,90 % x 99,90 % x 99,90 % 123 h 87 h 8,7 h 8,7 h 8,7 h 8,7 h

17 Fehler und Ursachen, Berechnung der Verfügbarkeit Umsetzung an unserem konkreten Beispiel : IST Systemverfügbarkeit (Beispiel) Gesamtsystem System 1 Stromversorgung System 2 IT-Systeme 99,856 % = 99,90 % x 99,966 % 11,7 h 8,7 h 3 h Gesamtsystem Soll Systemverfügbarkeit (gerundet) System 1 Stromversorgung System 2 IT-Systeme 99,956 % = 99,99 % x 99,966 % < 4 h < 1 h 3 h

18 Fehler und Ursachen, notwendige Verfügbarkeit zur Sicherstellung der notwendigen Systemverfügbarkeit sind unterschiedliche Maßnahmen in Abhängigkeit des einzelnen Systemelementes möglich: vorbeugende Wartung / kürzere Wartungszyklen qualifiziertes Fachpersonal / Bereitschaftsdienste Ersatzteilverfügbarkeit / Ersatzteilhaltung kürze Ersatzinvestitionszeiten für einzelnen Elemente redundante Auslegung von kritischen Bauteile redundante Systeme Vermeidung von Spitzenlasten Vertragsgestaltung mit externen Dienstleistern für jedes Einzelsystem ist daher genau zu prüfen, welche Maßnahmen optimal sind. Für die Stromversorgung der senderelevanten Anlagen und IT-Technik ergab sich hieraus eine Verfügbarkeitsanforderung nach AEC-2 (99,99%).

19 Fehler und Ursachen, Iststand 2008 Brandabschnitt 1 NEA 1- Einspeisung NEA 2- Einspeisung Verteilung USV (n + 1) teilweise Unterverteilung 1 Unterverteilung 2 Server Stand im MDR (AEC-1): 1-pfadig in den Quellen teilweise wartungsredundant in den Komponenten ab USV-Verteilung

20 Fehler und Ursachen, Lösungsvariante Brandabschnitt 1 NEA 1- Einspeisung NEA 2- Einspeisung Brandabschnitt 2 IT USV 1 USV 2 (n + 1) (n + 1) Verteilung 1 Verteilung 2 FS und IT Unterverteilung 1 Unterverteilung 2 Raum STS Server Stand der Technik bei Forderung nach hoher Verfügbarkeit (AEC-2): 2-pfadig in den Quellen wartungsredundant in den Komponenten

21 Fehler und Ursachen, Ziel für die Fernsehzentrale Ziel und Rahmenbedingungen nach Entwurfsplanung: 1.Erweiterung der Stromversorgung auf eine Verfügbarkeitsklasse AEC-2 2.Ersatz von 2 USV-Anlagen incl. Batteriesatz 3.Einbindung 1 neuen USV-Anlage incl. Batteriesatz 4.Umbau 1 vorhandenen USV-Anlage 5.Neuerrichtung von 26 Stück Unterverteilungen 6.Schwenken und Neuerschließung von Stück 4 Infrastruktur (ULK) und Schaffung von 2 neuen Technikräumen 7.Verlegen neuer Kabel (ca m Mehr- u. Einleiterkabel) 8.Freigabe des Projektes 12/2008, Fertigstellung 10/ Alle Arbeiten im laufenden Betrieb, vorzugsweise nachts 10.Keine Einschränkung des Sende- und Produktionsbetriebes

22 Fehler und Ursachen, Ziel für die Fernsehzentrale f Realisierung und Ablauf: 1.Erweiterung der Stromversorgung auf eine Verfügbarkeitsklasse AEC-2 2.Ersatz von 2 USV-Anlagen incl. Batteriesatz 3.Einbindung 1 neuen USV-Anlage incl. Batteriesatz 4.Einbindung 1 vorhandenen USV-Anlage 5.Verlegen neuer Kabel (ca m Mehr- u. Einleiterkabel) 6.Neuerrichtung von 35 Stück Unterverteilungen 7.Schwenken von 12 Stück Unterverteilungen 8.Schwenken und Neuerschließung von Stück 4 Infrastruktur (ULK) und Schaffung von 2 neuen Technikräumen 9.Freigabe des Projektes 12/2008, Fertigstellung 01/ Alle Arbeiten im laufenden Betrieb, vorzugsweise nachts 11.Keine Einschränkung des Sende- und Produktionsbetriebes!!! 4 relevante Störungen!!!

23 Fehler und Ursachen, Fehler-Auswirkung-Ursachen Störung 1: Kurzschluss an einem Endstromkreis im SÜR Auswirkung: Ausfall am Übergabepunkt an die Telekom (Signalübergaberaum) Ursache: An einem Rangierverteiler waren Klemmen doppelt belegt, dadurch bedingt: wenig Platz im Klemmraum Störung: Beim Ausprüfen der zu demontierenden Leitung ist die heraus geklemmte Ader eines Schutzleiters in die Nachbarklemme (Phasenleiter) gerutscht und hat damit einen einphasigen Kurzschluss mit Sicherungsfall bewirkt

24 Fehler und Ursachen, Fehler-Auswirkung-Ursachen Störung 2: Ausfall DVB-T-Übergabe im SÜR Auswirkung: Ausfall des Übergabepunktes DVB-T für ca. 10 Min. (Signalübergaberaum) Ursache: Eine Stromkreisbezeichnung an einem Gestellrack der Telekom war fehlerhaft beschriftet Störung: Bei Umschwenkarbeiten wurde versehentlich ein anderes Gestell als beabsichtigt abgeschaltet

25 Fehler und Ursachen, Fehler-Auswirkung-Ursachen Störung 3: Ausfall Telekom-Übergabe im SÜR Auswirkung: Ausfall am Übergabepunkt an die Telekom (Signalübergaberaum) Ursache: Ein Netzteil einer redundant ausgeführten Stromversorgung im Übergabegestell der Telekom war defekt Störung: Bei Umschwenkarbeiten wurde ein Stromkreis der redundanten Versorgung (A-Weg) planmäßig abgeschaltet. Die Versorgung über den B-Weg funktionierte nicht, da das Netzteil defekt war

26 Fehler und Ursachen, Fehler-Auswirkung-Ursachen Ersatz von 2 USV-Anlagen incl. Batteriesatz Planung: USV AN --NEU ALT USV TN --NEU ALT NSHS AN - Netz TN - Netz Leistung reduzieren auf : P << ½ USV-max Leistung reduzieren auf : P << ½ USV-max

27 Fehler und Ursachen, Fehler-Auswirkung-Ursachen Ersatz von 2 USV-Anlagen incl. Batteriesatz Realisierung: USV AN --NEU ALT USV TN --NEU ALT NSHS Was war passiert?! Erdschluss AN - Netz TN - Netz Leistung reduzieren auf : P << ½ USV-max Leistung reduzieren auf : P << ½ USV-max

28 Fehler und Ursachen, Fehler-Auswirkung-Ursachen Störung 4: Totalausfall der USV-Versorgung im TN und AN Auswirkung: Ausfall des kompletten Produktionskomplexes für ca. 1h, anschließend mehrere Stunden Notprogramm Ursache: Digitale Erdschlussüberwachung an einem LS Störung: Bei einer Umschaltung der USV-Versorgung an der NSHS 1 geplant: Versorgung des USV-Netzes TN über die neue, erweiterte USV AN löste der Erdschlussauslöser am Kuppel-LS aus, da er die im Netz existierenden Schieflasten als Erdschluss deutete

29 Fehler und Ursachen, Fehler-Auswirkung-Ursachen Störung 4: Totalausfall der USV-Versorgung im TN und AN Weiterführung des Projektes unter Einsatz einer mobilen, dynamischen USV (Anforderung an Filterklasse!) Analyse des Versorgungsnetzes vom Einspeisepunkt bis Niederspannungshauptverteilung Risikobewertung aller mit dieser Auslösevorrichtung ausgerüsteten LS Umbau bzw. Austausch aller als risikobehaftet bewerteten LS. Mehrkosten Mehrkosten

30 Fehler und Ursachen, Fehler-Auswirkung-Ursachen Ersatz von 2 USV-Anlagen incl. Batteriesatz Realisierung: USV AN - ALT USV TN - ALT NSHS USV Mobil AN - Netz TN - Netz Leistung reduzieren auf : P << ½ USV-max Leistung reduzieren auf : P << ½ USV-max

31 Fehler und Ursachen, Zusammenfassung Das Ergebnis: 1.Erweiterung der Stromversorgung auf eine Verfügbarkeitsklasse AEC-2 2.Einbindung von 4 USV-Anlagen (Umbau, Neubau, Ersatz) incl. Leistungserhöhung. 3.Verlegen neuer Kabel (ca m Mehr- u. Einleiterkabel) 4.Neuerrichtung und Schwenken von 47 Stück Unterverteilungen 5.Schaffung von 2 neuen Technikräumen 6.Abwicklung des Projektes innerhalb von 13 Monaten 7.Alle Arbeiten im laufenden Betrieb, vorzugsweise nachts 8.ca Arbeitsstunden, ca. 6h Sendeeinschränkung durch 4 Störungen Dies entspricht einer realisierten Verfügbarkeit von 99,89% während der Umbauarbeiten!

32 Fehler und Ursachen, Murphys Gesetze 1.Wenn etwas schiefgehen kann, dann geht es schief. 2.Wenn etwas auf verschiedene Arten schiefgehen kann, dann geht es immer auf die Art schief, die am meisten Schaden verursacht. 3.Hat man alle Möglichkeiten ausgeschlossen, bei denen etwas schiefgehen kann, eröffnet sich sofort eine neue Möglichkeit. 4.Die Wahrscheinlichkeit, dass ein bestimmtes Ereignis eintritt, ist umgekehrt proportional zu seiner Erwünschtheit. 5.Früher oder später wird die schlimmstmögliche Verkettung von Umständen eintreten. 6.Wenn etwas zu gut erscheint, um wahr zu sein, ist es das wahrscheinlich auch. 7.Wenn etwas nicht schiefgegangen zu sein scheint, dann wurde der Fehler lediglich noch nicht entdeckt, wodurch alles nur noch schlimmer wird. 8.Geht etwas nicht schief, so tritt sofort Regel 1 in Kraft.

33 Erhöhung der Verfügbarkeit der Stromversorgung - Probleme, Fehler und Ursachen Vielen Dank für Ihre Aufmerksamkeit Haben Sie Fragen? Jens Dittrich Mitteldeutscher Rundfunk Technische GebäudeInfrastruktur / J.Dittrich