Monitoring serwerowni - progi ASHRAE i gdzie stawiać czujniki

Termometr na ścianie serwerowni pokazuje 22 °C, a serwer w środkowej szafie od tygodnia dławi taktowanie. Sprzeczności w tym nie ma: liczba na ścianie i liczba na wlocie tej szafy to dwie różne wartości, a wymagania producentów sprzętu odnoszą się wyłącznie do tej drugiej. Poniżej jest to, co monitoring serwerowni ma naprawdę mierzyć: jakie progi obowiązują, w którym punkcie się je sprawdza, jak szybko wolno im się zmieniać i czego poza temperaturą nie wolno przeoczyć.

Jakie warunki ma trzymać serwerownia

Punktem odniesienia dla całej branży są wytyczne cieplne ASHRAE dla środowisk przetwarzania danych, wydane przez komitet techniczny TC 9.9. Rozróżniają one zakres zalecany, w którym sprzęt ma pracować na co dzień, oraz zakres dopuszczalny, w którym producenci gwarantują działanie, ale już bez marginesu na błąd. Zakres zalecany jest wspólny dla wszystkich klas sprzętu; dopuszczalny zależy od klasy, do której producent zakwalifikował urządzenie.

Dwie rzeczy z tej tabeli bywają myloną parą. Zalecane 18-27 °C to nie jest zakres, w którym wolno swobodnie pływać. To pasmo, w którym sprzęt pracuje z pełną żywotnością i przy rozsądnym koszcie chłodzenia; im bliżej górnej krawędzi, tym mniej czasu zostaje na reakcję po awarii klimatyzacji. Zakres dopuszczalny nie jest celem, tylko marginesem - producent gwarantuje w nim pracę, ale nie obiecuje, że długie przebywanie przy 35 °C nie skróci życia dysków.

Wilgotność w zakresie zalecanym jest opisana głównie punktem rosy, nie wilgotnością względną, i to nie jest formalność. Punkt rosy opisuje bezwzględną zawartość pary wodnej, czyli tę wielkość, która nie zmienia się przy podgrzaniu powietrza przechodzącego przez szafę. Czym jest punkt rosy i jak się go wyznacza, tłumaczy osobny wpis o punkcie rosy w praktyce.

Najważniejsze: te wartości mierzy się na wlocie do sprzętu

Wytyczne odnoszą się do temperatury powietrza wlotowego do urządzenia, a nie do średniej temperatury pomieszczenia. To jedno zdanie unieważnia większość domowych sposobów kontroli serwerowni, bo termometr na ścianie, czujnik w rogu pod sufitem i odczyt z klimatyzatora mierzą co innego niż to, czym oddycha procesor.

W pomieszczeniu z szafami różnica między tymi punktami jest duża i systematyczna. Powietrze wyrzucane z tyłu szaf jest o kilkanaście stopni cieplejsze od wlotowego, a przy nieszczelnej organizacji alejek część tego strumienia wraca na front sąsiedniej szafy. Efektem jest sytuacja, w której średnia w pomieszczeniu mieści się w normie, a jedna czy dwie szafy pracują daleko poza nią. Monitoring, który tego nie widzi, jest monitoringiem spokoju, a nie sprzętu.

Praktyczny wniosek: co najmniej jeden punkt pomiaru ma siedzieć na froncie szafy, na wysokości górnych urządzeń, bo tam warstwowo zbiera się najcieplejsze powietrze. Dopiero drugi w kolejności jest czujnik ogólny w pomieszczeniu.

Tempo zmian jest osobnym wymaganiem

Sprzęt nie znosi nie tylko złych wartości, ale i szybkich przeskoków - rozszerzalność cieplna, naprężenia w lutowiu i ryzyko kondensacji zależą od tempa, a nie od poziomu. ASHRAE podaje na to osobne limity.

Ten limit ma bezpośrednią konsekwencję dla alarmowania. Rejestrator, który odpytuje czujnik raz na godzinę, w ogóle nie zobaczy przekroczenia tempa, a po awarii klimatyzacji zamelduje problem, gdy temperatura jest już poza zakresem. Interwał pomiaru w serwerowni ustawia się w minutach, nie w godzinach, a próg alarmu stawia się poniżej górnej krawędzi zakresu zalecanego, żeby zostało trochę czasu na dojazd.

Za sucho i za wilgotno to dwa różne zagrożenia

Górna i dolna granica wilgotności chronią przed czymś zupełnie innym i mylenie ich prowadzi do złych decyzji przy doborze nawilżacza czy osuszacza.

• Za sucho - rośnie ryzyko wyładowań elektrostatycznych przy pracach serwisowych. Uszkodzenie od ESD rzadko jest natychmiastowe; częściej osłabia element, który pada tygodnie później, więc związek przyczynowy umyka.
• Za wilgotno - rosną procesy korozyjne na stykach i złączach, a przy chłodnych powierzchniach dochodzi ryzyko kondensacji. Kondensacja nie wymaga 100 % wilgotności w pomieszczeniu - wystarczy powierzchnia chłodniejsza od punktu rosy powietrza, na przykład rura chłodnicza albo nawiew tuż przy wylocie.

To druga strona tej samej zależności, którą opisuje wpis o zbyt wysokiej wilgotności powietrza: granica nie leży w liczbie na higrometrze, tylko w temperaturze najzimniejszej powierzchni w pomieszczeniu. W serwerowni najzimniejszą powierzchnią prawie zawsze jest instalacja chłodnicza.

Gdzie postawić czujniki

Sensowne minimum to trzy punkty; poniżej pełna lista według kolejności ważności.

Czujnik w pomieszczeniu wieszaj z dala od nawiewu i od wylotu gorącego powietrza - w obu tych miejscach zmierzysz pracę klimatyzacji, a nie warunki, w jakich pracuje sprzęt.

Czego monitoring ma pilnować poza temperaturą

Awarie serwerowni rzadko zaczynają się od temperatury. Temperatura jest skutkiem, który pojawia się kilkadziesiąt minut później, a przez te kilkadziesiąt minut można było zdążyć.

• Zanik napięcia w gnieździe klimatyzacji. Rejestrator zasilany z tego samego obwodu co klimatyzator i wyposażony w akumulator melduje zanik zasilania od razu, a nie wtedy, gdy pomieszczenie zdąży się nagrzać. To najtańszy sposób skrócenia czasu reakcji o godzinę.
• Zalanie. Woda z instalacji chłodniczej idzie po podłodze technicznej i bywa zauważona dopiero po zwarciu.
• Niezależna droga powiadomienia. Jeżeli alarm idzie przez tę samą sieć, która właśnie padła, nie dojdzie. Rejestrator z kartą SIM powiadamia niezależnie od stanu infrastruktury, a przy okazji nie wymaga wpinania urządzenia w firmowy LAN, co bywa warunkiem działu bezpieczeństwa.
• Alarm lokalny. Sygnalizator akustyczny i świetlny w pomieszczeniu działa wtedy, gdy ktoś jest na miejscu, i nie zależy od telefonu ani od zasięgu.
• Zapis ciągły, nie tylko alarmy. Bez historii nie da się odpowiedzieć na pytanie, czy przekroczenie było jednorazowe, czy trwa od trzech tygodni - a to jest zwykle pierwsze pytanie po awarii dysku.

Normy i dokumentacja

Wytyczne ASHRAE są dokumentem technicznym, nie przepisem. Po stronie norm europejskich zagadnienie opisuje seria EN 50600, a konkretnie PN-EN 50600-2-3:2019-07 „Technika informatyczna - Wyposażenie i infrastruktura centrów przetwarzania danych - Część 2-3: Zapewnienie parametrów środowiskowych", opublikowana 17 lipca 2019 roku i zastępująca wersję z 2015 roku. Obejmuje ona kontrolę temperatury, kontrolę wilgotności względnej, kontrolę zapylenia, drgania i zabezpieczenie fizyczne, a wymagania odnosi do klas dostępności zdefiniowanych w EN 50600-1.

Warto rozdzielić dwie rzeczy, które bywają mieszane. Przepisy o ochronie danych osobowych nie podają żadnych wartości temperatury ani wilgotności - mówią o odpowiednich środkach technicznych i organizacyjnych, a dobór tych środków oraz wykazanie, że działają, zostaje po stronie administratora. Rejestracja warunków środowiskowych bywa więc elementem dokumentacji, ale nie dlatego, że któryś przepis podaje próg, tylko dlatego, że bez zapisu nie da się wykazać, że cokolwiek było pod kontrolą. Ten sam mechanizm działa przy audytach branżowych i przy polisach.

Czym zmierzyć - trzy typowe zestawy

Z wymagań powyżej wychodzą trzy rzeczy: pomiar na froncie szafy, pomiar przy klimatyzacji i niezależna droga powiadomienia. Poniżej zestawy, które to pokrywają.

• Serwerownia w jednej szafie. UbiBot WS1 Pro z wyświetlaczem, plus przedłużacz czujników DS18B20 wyprowadzony na front szafy. Odczyt na miejscu bez logowania, alarm na telefon, zapis ciągły.
• Serwerownia bez dostępu do firmowej sieci. UbiBot WS1 Pro WiFi i LTE - powiadamia kartą SIM, więc nie trzeba wpinać urządzenia w LAN ani liczyć na to, że router przeżyje awarię.
• Pomieszczenie z infrastrukturą PoE. UbiBot GS1 z Ethernetem RJ45 razem z rozgałęziaczem PoE - zasilanie i transmisja jednym kablem, bez zasilacza w gnieździe, które ktoś wypnie.
• Drugi punkt pomiaru przy klimatyzacji. zewnętrzna sonda temperatury i wilgotności wyniesiona pod nawiew; rejestrator zostaje w szafie, a sonda pilnuje źródła chłodu.
• Alarm na miejscu. lokalny sygnalizator świetlno-dźwiękowy do WS1 Pro, gdy w budynku jest ochrona albo serwis pierwszej linii.
• Prostszy wariant jednopunktowy to UbiBot WS1; pełny wybór stoi w kategorii bezprzewodowych i sieciowych rejestratorów, a sondy i przedłużacze w akcesoriach.

Jeżeli serwerownia jest tylko jednym z kilku miejsc, które monitorujesz, dobór rejestratora pod konkretną branżę omawia przewodnik po rejestratorach temperatury i wilgotności.

Źródła

• ASHRAE TC 9.9, Equipment Thermal Guidelines for Data Processing Environments - karta referencyjna z zakresami zalecanymi i dopuszczalnymi dla klas A1-A4.
• ASHRAE TC 9.9, Data Center Storage Equipment - Thermal Guidelines, Issues and Best Practices (2015) - limity tempa zmian temperatury i wilgotności oraz warunki dla nośników taśmowych.
• PN-EN 50600-2-3:2019-07, Technika informatyczna - Wyposażenie i infrastruktura centrów przetwarzania danych - Część 2-3: Zapewnienie parametrów środowiskowych.