USV Brand am RRZE
Der Tagt fing eigentlich ganz harmlos an. Abteilungsbesprechung wie jeden Montag. Und dann ging – mal wieder – der Feueralarm los. Wir hatten in diesem und letzten Jahr schon mehrere Fehlalarme, einmal weil ein HP Server das Kokeln angefangen hat (war aber nur was harmloses, irgendein Bauteil ist verschmort und das bisschen ausgetretener Rauch hat den Brandmelder getriggert), ein andermal weil in der Klimaanlage ein Stück Elektronik verschmort war und dieses via Luftstrom in den Serverraum gelangt war usw. So richtig gebrannt, sodass die Feuerwehr Schläuche hätte ausfahren müssen, hat’s noch nie.
Bis gestern.
Man muss wissen, dass das RRZE als niedriges Gebäude am Informatik Hochhaus angebaut ist. Der Serverraum befindet sich im Hochhaus. Der Alarm ging also im sog. Blauen Hochhaus los, welches natürlich wie immer sofort evakuiert wurde. Ich sag noch grübelnd zum Kollegen aus der Linux Abteilung, dass ich bei jedem (Fehl-) Feueralarm irgendwie immer etwas Bauchschmerzen habe, wenn mal wirklich im Bunker (so nennen wir unseren Serverraum) Feuer ausbrechen würde und wir unseren Not Strom aus nicht abschalten dürfen. Dann riechen wir verkokeltes…
Ich bin dann runter, vor’s Haus, wo die Informatiker schon alle brav standen und es riecht wirklich. Dann kommt mir ein Kollege entgegen der meinte, es wäre im Keller was, bei der USV. Der Bunker sei ohne Strom.
Tja, mit ziemlich weichen Knien ging ich wieder nach oben und erzähl’s den Kollegen, Bleiche Gesichter, Panik, Ratlosigkeit, „was jetzt“… Nun, was war passiert? Wir haben im Kellergeschoss, unter unserem Serverraum, einen Raum, wo wir unsere große USV haben. Diese überbrückt die Zeit bis das Diesel-Aggregat anspringt und schafft es tatsächlich an die 300 Rechner ca. 15 Minuten mit Strom zu versorgen. Ich müsste nachfragen, die genaue KW Leistung weiss ich nicht. Die Steuereinheit (also nicht die Batterien selbst, die getrennt aufgestellt sind) ist total ausgebrannt. Ein paar Fotos konnte ich im Anschluss mit meinem Handy machen (hatte meine Kamera nicht bei :-/ ):
http://www.flickr.com/photos/99601806@N00/tags/ups/
Wir hatten in mehrerlei Hinsicht Glück: erstens, dass das Feuer (oder Schwelbrand?) nirgends überspringen konnte (der Raum ist ein ziemlich kahler Betonwürfel), zweitens dass wir *vor* der USV einen Bypass haben anbringen lassen welcher sich im Nebenraum befindet und nicht in Mitleidenschaft gezogen wurde. Damit konnten wie den USV Stromkreis überbrücken und dem Serverraum darüber wieder mit Strom versorgen. Allerdings natürlich ohne USV, nur mit „normalem Stadtstrom“, allen Schwankungen und Ausfällen ausgesetzt. Aber immerhin.
Einem Kollegen zufolge hat die USV wohl – bevor sie den Geist aufgegeben hat – mehrfach „Schluckauf“ gehabt. Der Strom soll wohl ganz kurz weg gewesen sein, wieder gekommen, wieder weg, wieder da und schließlich ganz weg gewesen sein. Was dies für Computer bedeuten kann dürfte jeder Administrator, eigentlich jeder Computer Benutzer auch zuhause, wissen: meistens endet sowas tödlich für Netzteile und verschiedenste Elektronik… Aber wir hatten tatsächlich Glück.
Die genaue Zahl an Opfern in Netzwerkabteilung, bei Linux, Windows, Novell oder anderen Abteilung weiss ich nicht. In der Solaris/Unix Abteilung haben wir eine einzige E4500 zu beklagen. Ein altes Stück Hardware, welches im Herbst eigentlich sowieso in Rente gehen sollte. Also nicht so schlimm. Ich weiss noch von einigen Platten und von einem Switch (oder Router). Bei der Menge an Systemen die betroffen waren erstaunlich wenig.
Und was auch noch sehr erstaunlich und erfreulich war: wie schnell wir die Systeme wieder am Laufen hatten. Hand in Hand ging’s ab etwa 11:30 los – nachdem wir die Freigabe der Feuerwehr und Kripo hatten und wieder Strom da war. Ich schätze mal, gegen 15/16 Uhr waren die wichtigsten Systeme am Laufen, gegen 17 Uhr waren in der Überwachung nur mehr 3 Systeme rot. Wobei eines davon keine direkte Folge des Stromausfalles war.
Es war eine Menge Arbeit, wie hatten viel Glück, aber meiner Meinung nach hat der gestrige Tag doch gezeigt, dass wir am RRZE, wenn’s drauf ankommt, ne ziemlich fitte Mannschaft haben. Was uns manche Leute nicht zutrauen… 😉
Ach ja: der Zeitungsbericht in den Erlanger Nachrichten ist ziemlicher Quatsch. Schon faszinierend, was die Presse aus den Fakten macht und man ausnahmsweise mal genau weiss, was passiert ist…