Systemy chłodzenia centrów danych

Zadaniem klimatyzacji centrów danych nieodmiennie pozostaje utrzymanie odpowiedniej temperatury urządzeń elektronicznych. Przekroczenie maksymalnej dopuszczalnej temperatury urządzenia jest jedną z najczęstszych przyczyn poważnych awarii, na co w niektórych procesach biznesowych absolutnie nie można sobie pozwolić. Dlatego urządzenia klimatyzacyjne do centrów danych (zwanych czasem serwerowniami) muszą cechować się niezawodnością i skutecznością w odbieraniu zysków ciepła niezależnie od panujących warunków (np. temperatury zewnętrznej). Jest to coraz większe wyzwanie – lawinowo rosnąca ilość przetwarzanych danych wymaga większej mocy obliczeniowej urządzeń.

Nowe technologie (np. serwery blade) sprawiają, że w mniejszej przestrzeni można „upakować” więcej mocy obliczeniowej. Przekłada się to na wzrost gęstości mocy szaf z serwerami, a tym samym na ogromne zyski ciepła – mówimy o wysokiej gęstości mocy, poczynając od 7 kW na szafę, a w dzisiejszych rozwiązaniach z pojedynczej szafy IT trzeba odprowadzać 15–25 kW, nie są też rzadkością większe zyski (np. 40 kW).

Taki rozwój centrów danych stawia dwa ogromne wyzwania: skuteczne i niezawodne odprowadzenie dużych zysków ciepła (high density) oraz energooszczędność budynku centrów danych, a właściwie optymalne zużycie energii, gdyż oszczędności nie mogą następować kosztem niezawodności. Warto przypomnieć, że konstrukcja agregatów musi przystawać do wymaganego poziomu niezawodności (np. dla centrum danych TIER III i TIER IV według standardów certyfikacyjnych Instytutu Uptime konstrukcja musi zapewniać 99,99% dostępności). Oznacza to w wielu wypadkach konieczność stosowania systemów redundantnych, czyli uzupełnienia każdej szafy klimatyzacyjnej o jej odpowiednik, który w razie awarii może w krótkim czasie przejąć jej zadania. Przykładowo szafy klimatyzacji precyzyjnej Montair z oferty Klima-Therm mają możliwość pracy redundantnej wbudowanej, co pozwala na naprzemienne sterowanie aż 12 jednostkami.

Metody chłodzenia

Do chłodzenia urządzeń w serwerowni stosuje się następujące rozwiązania (są one w ofercie m.in. firmy Vertiv, d. Emerson):

• systemy z wodą lodową – wysokosprawne agregaty wody lodowej i agregaty wykorzystujące free cooling przez cały rok,
• adiabatyczne systemy wody lodowej, np. opatentowane urządzenie Liebert AFC – agregat ze stuprocentowym free coolingiem,
• system odparowania bezpośredniego: „ekonomizer” pompowanego czynnika, szeregowe urządzenia chłodnicze połączone z zewnętrznymi skraplaczami mikrokanałowymi. Mogą one działać z wysoką temperaturą powietrza powrotnego,
• rozwiązanie z free coolingiem ewaporacyjnym – pośredni wymiennik powietrze/powietrze i technologie odparowania w jednym, bez wykorzystania energochłonnych sprężarek.

Najczęściej stosuje się tzw. szafy klimatyzacji precyzyjnej, których sercem jest agregat wody lodowej.

Współczesne szafy – jak np. rozwiązanie Uniflair Schneider Electric – cechują się zintegrowaniem wszystkich elementów elektrycznych i hydraulicznych w jednej obudowie. Możliwa jest fabryczna instalacja m.in. obiegu free coolingu, podstawowych pomp, napędów o zmiennej prędkości czy zbiorników wody. Dzięki takiej koncepcji poziom dostępności jest większy, a rozwiązania takie jak wbudowany automatyczny przełącznik toru zasilania (gwarancja zasilania z dwóch źródeł), przyłącze do dodatkowego zewnętrznego zasilacza UPS czy komunikacja sieciowa bez urządzenia master lub zewnętrznego zmniejsza awaryjność urządzenia.

Przy zastosowaniu „klasycznych” szaf klimatyzacji precyzyjnej z agregatami wody lodowej w strefie HD można zastosować dwa rozwiązania technologiczne:

• klimatyzację in-row (rzędową)
• klimatyzację z nadmuchem pod podłogę.

W rozwiązaniu in-row szafy ustawione są w rzędach z szafami serwerowymi, tworząc tzw. zimne i ciepłe korytarze, które muszą być wyraźnie rozdzielone. Przepływy powietrza w takim rozwiązaniu uzależnione są od rozmieszczenia szaf – bez przerwy technologicznej nie można zatem zmienić ich ustawienia. Rozwiązanie to pochłania także więcej cennej przestrzeni.

W przypadku nadmuchu pod podłogę (musi to być oczywiście odpowiednio wykonana podłoga techniczna) zimne powietrze doprowadzane jest do każdego punktu szafy, natomiast otwarta strefa gorąca stanowi swego rodzaju bufor, przejmujący ciepło podczas ewentualnej awarii klimatyzacji. Wpływa także na bardziej równomierny niż w przypadku klimatyzacji rzędowej rozkład ciepła w samej szafie serwerowej. Różnica temperatury między przodem a tyłem urządzenia jest mniejsza, co dobrze wpływa na jego żywotność, gdyż urządzenia elektroniczne źle znoszą wahania temperatury.

W przypadku stosowania nadmuchu przez podłogę bardzo ważne jest zapewnienie odpowiedniej dystrybucji powietrza. Przykładem może być stosowany przez Fast Group system rozwiązań firmy Tate. Składają się na niego specjalnie zaprojektowane kratki nawiewne Direct Aire (umożliwiają chłodzenie szaf o gęstości ponad 25 kW na jednostkę, podczas gdy dla kratek tradycyjnych wartość ta wynosi ok. 6–7 kW na szafę), które zapewniają, że 93% powietrza wydmuchiwanego przez kratkę (w porównaniu do 50% zapewnianego przez kratkę tradycyjną) trafia na przód szafy serwerowej.

Kolejny produkt to inteligentna przepustnica Smart Aire ze sterownikiem odpowiedzialnym za utrzymanie zadanej temperatury dzięki regulacji ilości nadmuchiwanego powietrza w zależności od zapotrzebowania.

Bardziej zaawansowane rozwiązanie to moduły Power Aire – połączenie specjalnej kratki nawiewnej i w zależności od potrzeb jednego bądź czterech wentylatorów. Całość kontrolowana jest za pomocą regulatora mikroprocesorowego i zestawu czujników temperatury. To rozwiązanie typu plug&play umożliwia skuteczną absorpcję zysków ciepła z szaf o gęstości mocy do 40 kW na jednostkę.

Moduł Power Aire jest też dobrym rozwiązaniem przy modernizacji serwerowni poprzez wprowadzenie do szaf sprzętu o większej gęstości mocy.

Coraz chętniej stosowanym rozwiązaniem w klimatyzacji centrów danych jest chłodzenie adiabatyczne, umożliwiające mniejsze zużycie energii. System chłodzenia adiabatycznego wykorzystuje właściwości chłodzące wody do obniżenia temperatury powietrza wewnątrz komory serwerowej. W komorze takiej szafy serwerowe – odwrotnie niż w chłodzeniu tradycyjnym – ustawione są przodem do siebie, co ułatwia przepływ ciepłego powietrza wymuszany przez wentylator.

• Powietrze przez kanał wywiewny wyprowadzane jest do wymiennika ciepła (krzyżowego) na dachu, co umożliwia odzysk powietrza i skierowanie do serwerowni powietrza ochłodzonego dzięki parowaniu i konwekcji.
• Im wyższa temperatura zewnętrzna, tym większa efektywność chłodzenia, dlatego rozwiązanie to z powodzeniem sprawdza się np. na pustyni, tak jak w serwerowni Facebooka w Oregonie. System bazuje na powietrzu świeżym (100%), z wykorzystaniem chłodzenia i nawilżania ewaporacyjnego.
• Brak agregatu eliminuje wieże chłodnicze, orurowanie, pompy czy automatykę.
• Chłodne powietrze napływa do serwerowni od góry (nie przez podłogę podwyższaną) poprzez kratki żaluzjowe regulujące ilość powietrza.
• Zimne powietrze w komorze mieszania miesza się z powietrzem podgrzanym przez ciepło z serwerów, co umożliwia regulowanie temperatury. Powietrze przechodzi przez filtry, a wentylator ścienny kieruje je do otworów w podłodze, a stamtąd do przestrzeni z serwerami. Podobne rozwiązania można już spotkać w Polsce – pierwszym takim obiektem jest poznańska serwerownia firmy Beyond.

Chłodzenie ewaporacyjne – stosowane przy odpowiednio wysokiej temperaturze – wykorzystuje chłodzące panele celulozowe, po których spływa woda. Do paneli podawane jest powietrze o wysokiej temperaturze (powyżej 21°C) i niskiej wilgotności – im niższa wilgotność, tym efektywniej można schłodzić powietrze, wykorzystując proces ewaporacji. Tak przygotowane powietrze podawane jest przez podłogę serwerowni.

Stosowanie chłodzenia ewaporacyjnego wpływa na obniżenie kosztów przygotowania powietrza – praca wentylatora i woda chłodząca kosztują mniej niż energia pobierana przez sprężarki. Średni koszt wytworzenia 1 kWh odczuwalnej energii chłodniczej może być pięciokrotnie niższy niż dla urządzeń sprężarkowych.

Odważnym rozwiązaniem, bo wymagającym „redundancji” w postaci nie pojedynczych urządzeń, a… całego centrum danych, jest wyeliminowanie jednostek klimatyzacji precyzyjnej na rzecz świeżego powietrza dostarczanego bezpośrednio przez wentylatory nawiewne. Przykładem jest serwerownia firmy Google w Belgii, działająca do momentu, w którym temperatura powietrza zewnętrznego osiąga 27°C. Powyżej tej temperatury centrum danych jest wyłączane i jego zadania przejmuje zupełnie inny obiekt.

Efektywność energetyczna centrów danych

Nowe rozwiązania do chłodzenia centrów danych mają za cel nie tylko uporanie się z dużą gęstością mocy, ale też oszczędne zużycie energii. W data center na zasilanie systemu klimatyzacji przypada ok. 35% mocy. Energoefektywność charakteryzuje PUE (ang. power usage effectiveness) – efektywność zużycia energii, która określa całkowitą energię obiektu odniesioną do energii urządzeń IT. Jest to podstawowy współczynnik, jednoznaczny dla odbiorcy – im jego wartość jest bliższa jedności, tym bardziej efektywne jest centrum danych. W Polsce są obiekty, w przypadku których PUE = 1,1, na świecie można spotkać centra z PUE = 1,07 – tak jak w przypadku opisanego wcześniej centrum Facebooka.

Na zwiększenie efektywności energetycznej serwerowni wpływa wiele czynników. Dzięki nowym rozwiązaniom serwerów, których dostawcy z roku na rok podwyższają dopuszczalne temperatury pracy oraz tolerancję zmienności parametrów, temperatura w serwerowni może być wyższa.

Jeszcze 20 lat temu temperatura nawiewu musiała wynosić ok. 12°C, a obecnie jest to 18–27°C (według zalecenia ASHRAE TC9.9), przy wilgotności nawet 30–70%.

Inżynierowie projektujący serwerownie zwiększają efektywność klimatyzacji poprzez zabudowę, np. uszczelnianie (zamykanie) zimnych korytarzy, aby powietrze ciepłe nie mieszało się z zimnym, lub nadbudowują szafy klimatyzacyjne, by powietrze powracające miało jak najwyższą temperaturę.

Bardzo ważna jest optymalizacja układu chłodzenia. Obok opisanych wcześniej rozwiązań, jak system adiabatyczny czy chłodzenie ewaporacyjne, znaczenie ma stosowanie free coolingu i free coolingu bezpośredniego – nawet w Polsce są aplikacje serwerowe, które działają przez cały rok na pełnym free coolingu, pobierając moc chłodniczą z powietrza zewnętrznego nawet podczas upalnego lata.

Free cooling (który można rozumieć jako „swobodne” lub wręcz „darmowe” chłodzenie) to wydajny sposób redukcji poboru energii przy niskiej temperaturze zewnętrznej. Wykorzystuje się je bezpośrednio, zamiast schładzać za pomocą systemu sprężarkowego z czynnikiem chłodniczym. Oczywiście „darmowość” tego procesu jest umowna – konieczne jest zasilanie wentylatorów, a w przypadku systemów chłodzenia z czynnikiem pośredniczącym także pomp obiegowych.

Najważniejsze z punktu widzenia koncepcji projektowej jest dobranie odpowiedniej temperatury wlotowej, a na tej podstawie zaprojektowanie stosownego systemu sterowania, uwzględniającego filtrację, regulację wilgotności oraz działanie w przypadku zbyt niskiej temperatury. Jeśli free cooling jest zintegrowany z szafą klimatyzacji precyzyjnej, może zapewnić obniżenie rocznego zużycia energii nawet o 30% (dane Schneider Electric, przeciętna wartość dla centrum danych średniej wielkości w Europie).

Ważnym elementem są też odpowiednio efektywne urządzenia chłodnicze oraz stosowanie źródeł odnawialnych. Urządzenia efektywne energetycznie wykorzystują dużą powierzchnię wymiany ciepła, zmniejszają zużycie energii przez wentylatory i sprężarki (oznacza to głównie stosowanie silników elektronicznie komutowanych). Przykładowo w szafach Montair zastosowanie w jednostce wewnętrznej wentylatorów EC Inverter pozwala na zużycie energii mniejsze nawet o 60%. Wentylatory takie dają możliwość nawiewu z góry lub z dołu.

Ciekawym kierunkiem jest też wykorzystanie czynników chłodniczych o wyjątkowo dobrych własnościach – przykładowo w Centrum Badawczym Polskiego Internetu Optycznego, z instalacjami zaprojektowanymi przez firmę Qumak, zastosowano innowacyjny czynnik chłodniczy FREEZIUM (mrówczan potasu), który charakteryzuje się m.in. wysokim ciepłem właściwym.

Jeśli chodzi o źródła alternatywne, pracują na nich na większą skalę głównie serwerownie gigantów wyznaczających trendy, jak Google czy Facebook. Dotyczy to nie tylko źródeł ciepła czy energii (np. coraz chętniej stosowanych paneli fotowoltaicznych), ale i źródła chłodu, np. rozpraszania ciepła w gruncie. Jest to rozwiązanie chętnie stosowane w krajach, gdzie warunki geologiczne są korzystne, a poziom wód gruntowych niski.

Źródłem chłodu mogą być też morza i oceany, jak w przypadku serwerowni Google’a zbudowanej nad Zatoką Fińską i w pełni chłodzonej z wykorzystaniem wody morskiej. Są to jeszcze rozwiązania z pogranicza ciekawostki technologicznej, ale biorąc pod uwagę ogólne trendy w technice, mogą stopniowo zyskiwać na znaczeniu.

Wśród rozwiązań optymalizujących efektywność całego budynku należy także wskazać wykorzystanie ciepła odpadowego z serwerów np. do ogrzewania powierzchni biurowych czy przygotowania c.w.u. w przylegających pomieszczeniach.

Optymalizacja

W przypadku systemu klimatyzacji serwerowni optymalizacja oznacza dostosowanie go do rzeczywistych potrzeb, co niejednokrotnie mija się z wymogiem obniżania kosztów inwestycyjnych czy eksploatacyjnych. Ważniejsze staje się spełnienie wyzwań projektowych i eksploatacyjnych związanych ze specyfiką obiektu. Przykładem może być architektura „1–1” – na jedną jednostkę wewnętrzną przypada jedna jednostka zewnętrzna (skraplacz lub chiller). Takie rozwiązanie nie jest najkorzystniejsze, przeliczając koszty na kW mocy chłodniczej, ale umożliwia niezawodność i skalowalność systemu klimatyzacji (brak elementów centralnych). Na początku inwestycji, co może być ważne w przypadku komercyjnego centrum danych, w którym moc obliczeniowa wynajmowana jest przez klientów zewnętrznych, nie trzeba instalować 100% mocy.

System należy oczywiście dopasować do specyfiki danego budynku oraz – o czym często się nie pamięta – jego otoczenia, np. w centrum miasta nie można swobodnie stosować wszystkich rozwiązań, które sprawdzą się np. na dużej działce w środku pustyni. Należy także podkreślić, że dla prawidłowego funkcjonowania systemu niezbędne są regularne przeglądy wszystkich jego elementów i podzespołów, np. szczelności przewodów chłodniczych czy zużycia filtrów.

Chcesz być na bieżąco? Zapisz się do naszego newslettera!