Jest 27.04.2008, godzina 1:50 w nocy. Śpię sobie spokojnie, gdy budzi mnie charakterystyczny pisk UPSa. 4 razy, na 30 sekund. Zdarza się.
Sun Apr 27 01:50:47 CEST 2008 Power failure. Sun Apr 27 01:50:53 CEST 2008 Running on UPS batteries.
Warto w tym miejscu dodać, że ok. 10 dni temu, UPS łaskawie zakomunikował, że jego bateria jest w słabym stanie (ma ok. 7 lat) i zasłużyła na wymianę. Jeszcze się do tego nie zabrałem, ale wydawało się, że trochę jeszcze powinna działać.
Mając tę świadomość, stwierdziłem, że należy wszystkie (sztuk 3) urządzenia wyłączyć, a przynajmniej, 2 największe pożeracze prądu. Niestety, tata wpadł na ten sam pomysł, i chciał wyłączyć swoje pudło, wyposażone w sporawy 19" CRT. A 19" CRT, jak na CRT przystało, w momencie włączania pobiera duuuży prąd. Prąd ten okazał się zbyt duży na skromne możliwości osłabionej baterii, i w obliczu przeciążenia, UPS postanowił zwinąć nóżki pod siebie, i wszystko uziemić. Tym prostym sposobem problem wyłączenia wszystkiego po kolei samoistnie się rozwiązał. ;-)
Nie pozostało zatem nic innego, niż... odpalić najmniejszy z komputerów (tj. Ultrę 5, to tam większość serwerów stoi, bez monitora itp) w ramach zimnego startu. Oczywiście zaśmigało, i nawet na tych rozładowanych do ledwo 40% pojemności bateriach sprzęt się ładnie uruchomił.
Apr 27 01:56:33 u5 genunix: [ID 540533 kern.notice] ^MSunOS Release 5.9 Version Generic_118558-39 64-bit Apr 27 01:56:33 u5 genunix: [ID 943905 kern.notice] Copyright 1983-2003 Sun Microsystems, Inc. All rights reserved.Oznacza to, że już o 1:56 udało się odzyskać pewną funkcjonalność infrastruktury mikylie.eu .
Następnie rozpoczęto działania mające na celu przywrócenie dostaw energii elektrycznej. W tym celu, od godziny 1:56 usilnie dzwoniłem na ich głupi automatyczny system. Zajęło mi bite kilka minut, żeby przebić się przez automaty, do operatora. Tajny kod to "223". ;)
Niestety, początkowo miła operatorka stwierdziła, że oni uszkodzenia nie widzą, i że awaria jest wewnątrz budynku.
W związku z powyższym, złapałem za telefon do czegoś w stylu "pogotowie elektryczne spółdzielni". Tam udało mi się już za drugim telefonem obudzić ziomka. Nacinam się na pocztę głosową.
Ziomek wysłuchał mojej historii, i zdecydowanie próbował olać sprawę. Czyli teksty w stylu "a poco wam światło w środku nocy", i "to się rano naprawi"... Wtedy myślałem, że mnie szlag trafi, więc ziomkowi powiedziałem co myślę na temat awarii, po czym on zauważył, że się nie odczepię, więc on się zbiera, i zaraz przyjedzie...
Co więcej, uznał, że prawdopodobnie wywalił bezpiecznik dla całego budynku, który akurat jest w innej części niż ja jestem. W związku z tym nie ma jak się tam dostać, nawet nie można ludzi budzić, bo domofon też bez prądu nie działa. Tak czy siak, ziomek jest w drodze, a ja mam obczaić jak się dostać na inne klatki schodowe.
W tak zwanym międzyczasie, tata prowadził pertraktacje ze STOEN'em, aby przysłali ekipę, pomimo tego, że wydaje im się, że sieć energetyczna śmiga ładnie.
Udało się przekonać STOEN, że to oni powinni przysłać ekipę, aby obczaiła co się dzieje.
Po wymianie osiągnieć, kogo komu udało się ściągnąc do nas, postanawiam się przegrupować. Wracam do domu po narzędzia, i rozpoczynam atak na zamek na innej klatce schodowej.
Uzyskałem sprawność młodszego włamywacza, udało mi się włamać za domofon na 2 klatki schodowe, przy pomocy odpowiednio nagiętego noża. :-)
Dzwonie do ziomka, który jest w drodze, że dostęp do klatek schodowych został zapewniony. Chciałem też się upewnić, że ziomek nie poszedł spac.
Pojawia się ekipa STOEN'u. To już coś. Spora fura, kierowca + 2 elektryków. Taka konfiguracja daje spore szanse powodzenia. Zaczynamy snuć się za miłymi panami ze STOEN'u. Zwiedzamy rozdzielnię w budynku obok (takie duże pomieszczenie, gdzie się wchodzi). Bezpieczniki, tak koło 100A-400A. A kable, uhm, to takie płaskowniki 4cm. I ten słodki bzzzzzzz. Oczywiście full opcja, 3 fazy.
W ramach dalszych spacerów, odwiedzamy też 2 skrzynki rozdzielcze na moim budynku. Obie to 3 zestawy po 3 bezpieczniki 100A-120A. Przypuszczalnie dla każdej z faz. Potem dalsza wycieczka piesza, do budynku, który już jest bezpośrednio podłączony z rozdzielną średniego napięcia.
Będąc w tej dalszej podstacji, koniec mocy w bateriach. Ultra zdycha. No ok. Z jakiś 40% baterii wytrzymaliśmy ok. 1 godzinę i 20 minut. Nie jest źle.
W podstacji dokonała się magia, i mój budynek został przepięty na inną linię. Potem jeszcze spacer powrotny, i włożenie bezpieczników w skrzynce na budynku. Nie obyło się bez spektakularnej iskry. ;-)
Ziomy ze STOEN'u stwierdzili, że awaria wynika z uszkodzenia fizycznego jednego z kabli, ale na wszystkich 3 fazach, dochodzącego do mojego budynku. Dobrze, że budynek ma 2 takie... Chwilowo działamy na zapasowym. Termin naprawy kabla głównego nie jest jeszcze znany.
I znowu już jesteśmy online.
Apr 27 03:35:43 u5 genunix: [ID 540533 kern.notice] ^MSunOS Release 5.9 Version Generic_118558-39 64-bit Apr 27 03:35:43 u5 genunix: [ID 943905 kern.notice] Copyright 1983-2003 Sun Microsystems, Inc. All rights reserved.
Wnioski praktycznie:
Sat Dec 22 05:21:41 CET 2007 Power failure. Sat Dec 22 05:21:45 CET 2007 Power is back. UPS running on mains. Sat Jan 19 10:59:20 CET 2008 Power failure. Sat Jan 19 10:59:26 CET 2008 Running on UPS batteries. Sun Apr 06 23:32:26 CEST 2008 Power failure. Sun Apr 06 23:32:30 CEST 2008 Power is back. UPS running on mains. Sun Apr 27 01:50:47 CEST 2008 Power failure. Sun Apr 27 01:50:53 CEST 2008 Running on UPS batteries.Apr 27 oraz Jan 19, zostały oficjalnie potwierdzone przez STOEN. Przynajmniej w pewnym momencie... Jan 19 trwał łącznie ok. 40 minut. 2 krótsze awarie miały charakter chwilowego zaniku mocy.
Podsumowując. Cała przerwa w zasilaniu trwała ok. 1h 40m. W tym czasie downtime podstawowego (z zewnątrz) serwera nie przekroczył 20 minut.
WIĘCEJ MOCY! GG# 292433, Powrot