Statement. Incident Report Version 1.0

Transkript

1 Nine Internet Solutions AG Albisriederstr. 243a 8047 Zurich, Switzerland Tel Fax nine.ch Statement Incident Report Version 1.0

2 Deutsch Einleitung Nine hat einen sehr hohen Qualitätsanspruch. Dieser Anspruch konnte am Donnerstagmorgen, den 9. Februar 2012 leider nicht erfüllt werden. Folgend möchten wir Ihnen die Detailinformationen zukommen lassen. Was die Fakten waren, wie diese Situation entstanden ist und welche Massnahmen getroffen wurden um zukünftige Ausfälle zu verhindern. Was ist passiert? Die externe Stromzuführung in das Gebäude des betroffenen Datacenters war am Donnerstagmorgen, den 9. Februar 2012, von 09:02 Uhr bis 10:35 Uhr unterbrochen. Grund für den Ausfall war das Auslösen des Stationsschalters des Elektrizitätswerks, womit das Gebäude komplett vom Stromnetz getrennt wurde. Laut dem Techniker des Elektrizitätswerks vor Ort, war der Grund für das Auslösen eine zu hohe Belastung des Hauptschalters. Dies ist noch Gegenstand von Untersuchungen. Da vor diesem Hauptschalter Sicherungen und weitere Schalter für die verschiedenen Leitungen bestehen, welche zuerst hätten auslösen müssen, ist dies für Nine nicht nachvollziehbar. Zudem ist die derzeitige Energiebelastung des Datacenters vergleichsweise tief, da die aktuell kalte Wetterlage die gesamte Klimatisierung im so genannten Freecooling-Betrieb ermöglicht. Dies benötigt im Gegensatz zum Betrieb mit Kompressoren deutlich weniger Strom. Wieso führte dies zu einem Ausfall? Im Datacenter bestehen zwei unabhängige Stromkreise welche durch zwei getrennte USV-Anlagen, USV1 und USV2, geschützt werden. Der externe Stromausfall wurde vom USV-System USV2 vollständig kompensiert. Die Batterien haben die Last problemlos übernommen und wenige Sekunden danach wurde der Dieselgenerator einwandfrei gestartet. Sobald sich dieser auf die gewünschte Leistung und Frequenz angepasst hatte, wurde die Last vom USV-System USV2 vollständig durch den Generator übernommen. Beim USV-System USV1 kam es leider zu einem schweren Zwischenfall. Vermutet wird eine Lastkaskade, welche zum Anspringen einer Sicherung führte. Dadurch fiel der Stromkreis USV1 aus. Die redundant angeschlossenen Systeme wurden vom USV-System USV2 übernommen. Der Grund für das Anspringen der Sicherung wird in Zusammenarbeit mit dem USV-Hersteller im Detail untersucht und ist derzeit noch nicht bekannt. Sämtliche erste Analysen zeigen keine Gründe für das Fehlverhalten auf, die USV war in einem einwandfreien Zustand. Die USV-Systeme sind auch im Normalbetrieb aktiviert und tragen die gesamte Last. So stellt aus diesem Grund eine Abschaltung der externen Stromversorgung normalerweise kein Problem dar. Für die weitere Analyse wird Komponente für Komponente ersetzt und vom Hersteller detail- Page 2/2

3 liert analysiert und geprüft. So soll das fehlerhafte Teil erkannt und der Grund für den Zwischenfall eruiert werden. Das Core-Netzwerk mit Core-Router und Core-Switches von Nine ist an beide Stromkreise angeschlossen und war damit vom Ausfall der USV1 nicht betroffen. Die Serverinfrastruktur von Nine ist jeweils nur an einem Stromkreis angeschlossen. Entsprechend waren die Systeme am Stromkreis USV1 direkt vom Stromunterbruch betroffen. Bei Cluster und Failover Lösungen stellt Nine die Redundanz über mehrere Serversysteme sicher. Von diesem Unterbruch war eine hohe Anzahl von Serversystemen gleichzeitig betroffen, dadurch mussten beim Aktivieren der Failover Lösungen und ab Wiederverfügbarkeit von USV1 der übrigen Systeme entsprechend Prioritäten gesetzt werden. Diese Prioritäten setzten wir anhand der bestehenden SLA- Vereinbarungen. Entsprechend konnte es je nach System etwas dauern, bis die Services wieder vollständig online waren. Leider waren ebenfalls Core-Komponenten unseres -Systems betroffen, welche Schritt für Schritt wieder korrekt reaktiviert werden mussten. Welche Massnahmen wurden beschlossen? Beim Datacenter ist eine Redundanz bei der Stromversorgung des Gebäudes bereits in Umsetzung. Eine zusätzliche Trafo-Station ist in Zusammenarbeit mit dem Elektrizitätswerk im Bau und wird in wenigen Monaten in Betrieb genommen. Diese Trafo-Station wird nur für das Datacenter selbst betrieben werden, womit Fremdeinflüsse durch weitere Verbraucher des Gebäudes ausgeschlossen werden können. Eine zweite Trafo-Station ist in Planung, womit im Endausbau das Datacenter über zwei eigene unabhängige Trafo-Stationen verfügen wird. Wie oben erwähnt, wird zusätzlich beim USV-System USV1 Komponente um Komponente untersucht um den Grund für das Fehlverhalten zu finden und das fehlerhafte Teil auszutauschen. Sollte diese Analyse keine Ergebnisse liefern, wird die gesamte USV ersetzt. Nine wird einen Teil seiner Infrastruktur, besonders das -System, neu auf Systemen betreiben, welche an beide Stromkreise angeschlossen sind. Es wird ausserdem abgeklärt, inwiefern den Kunden diese Möglichkeit ebenfalls angeboten werden kann. Bitte entschuldigen Sie diesen Zwischenfall. Wie eingangs erwähnt, hat Nine einen anderen Qualitätsanspruch und wird diese Massnahmen mit höchster Priorität angehen. Sobald weitere Informationen aus den Analysen bekannt sind, werden wir Sie auf unserer Status-Webseite status.nine.ch auf dem Laufenden halten. Page 3/3

4 English Introduction Nine has a very high standard of quality claim. Unfortunately this claim was not met on Thursday morning, 9th February With the following statement we would like to inform in detail what happened, how this situation occurred and which consequences developed. Additionally we show you our first measures to prevent a situation like this with all available means. What happened? The external power supply to the building of the data center interrupted on Thursday morning, the 9th February 2012, from 09:02 am to 10:35 am. The reason of the outage was the tripping of an outgoing feeder switch from the electricity company, which cut the whole building off the power supplies. According to the technician from the electricity company, the reason for the tripping was an excessive load on the main switch. But this is still under investigation as there are other switches and cutouts before the main switch, which should have tripped first to pretend a situation like this. Besides the actual energy use of the datacenter is comparatively low, as due to the actual cold weather the climate control is operating with the so-called free-cooling system. How led this to a failure? There are two independent power circuits in the datacenter, which are protected from two separate UPSconstructions, UPS1 and UPS2. The UPS2 system compensated the external power failure completely. The batteries took over the load, a few seconds later the diesel generator started. As soon as the generator was ready to provide the required capacity and frequency it took over the full load of the UPS2-system. At the other UPS-system, UPS1 a major incident occurred unfortunately. It is assumed that a load cascade led to the tripping of a fuse. Therefore the UPS1 power circuit failed. The redundantly connected systems were taken over by the UPS-system UPS2. The reason for the tripping of the fuse is currently under detailed investigation in collaboration with the UPS-manufacturer and is not known yet. All initial analyzes are showing no reasons for the failure, the UPS was in a perfect condition. The UPS-systems are also activated during normal operation and are bearing the whole load. A shutdown of the external power supply is therefore usually not a problem. For further analysis, component by component is being replaced, analyzed and tested by the manufacturer. Like this the defective part and therefore the reason for the failure should be evaluated. Page 4/4

5 The Nine core-network with core-router and core-switches are connected to both power circuits and were therefore not affected by the failure of the UPS1. The server infrastructure of Nine is each connected only to one power circuit. Accordingly the systems of the power circuit UPS1 were directly affected from the power failure. For cluster and failover solutions Nine secures the redundancy over multiple server systems. As a large number of server systems were affected simultaneously by this failure, we had to set priorities when activating the failover solutions and UPS1 of the other systems as soon as they were available again. These priorities were set correspondent to the existing SLA-agreements. Accordingly, depending on the system, it could take a while until the systems were completely online again. Unfortunately also some core components of our system were affected too; they had to be reactivated correctly step by step. What measures will be taken? In the datacenter a redundancy in power supply of the building is already being implemented. An additional transformer station is currently being constructed in collaboration with the electricity company and will be fully operational in a few months. In the final construction the datacenter will come with two own transformer stations. This transformer station will be operated only for the datacenter itself to exclude foreign influences of other users from the building. A second transformation station is being planned so that the datacenter will dispose of two separate, independent transformer stations as soon as the project is finished. As mentioned above the UPS-system UPS1 is being replaced and analyzed component by component, in order to find the defective part and replace it. If this analysis is not going to provide results, the entire UPS will be replaced. Nine is going to run a part of its infrastructure, particularly the system on systems that are connected to both power circuits. It is also clarified if and how this possibility can be offered to the customers too. We deeply apologize for the incident. As mentioned at the beginning, Nine has another standard of quality claim and will carry these measure out with the highest priority. As soon as we have more information about the analyses, we will update our status-website status.nine.ch to keep you informed. Page 5/5