Chłodzenie centrów danych z wykorzystaniem efektywnych technologii oraz energii odnawialnej

Duża ilość energii dostarczanej do centrum danych zamieniana jest na ciepło powstające w trakcie procesów obliczeniowych. Ciepło to musi zostać usunięte z urządzeń za pomocą chłodzenia. W zakresie chłodzenia powszechnie uznawany jest standard ASHRAE zawierający wytyczne dla temperatur pracy data center. Obecnie w większości centrów danych temperatura nie musi być niższa niż 24–25°C, podczas gdy dwie dekady temu wynosiła ok. 12°C. Tym samym obiekty te mogą obecnie zużywać ponad 40% mniej energii niż wtedy, gdy pierwsze z nich dopiero powstawały. Ciągle jednak przybywa takich instalacji i pomimo że rośnie ich efektywność energetyczna, w skali globalnej pochłaniają one coraz więcej energii. Chłodzenie sprzętu IT wciąż może stanowić od 30 do 40% całkowitego zużycia energii w serwerowniach.

Nowoczesne centra danych to złożone systemy obejmujące budynki, systemy zasilania, bezpieczeństwa, oświetlenia, ochrony ppoż. itd. oraz systemy chłodzenia i wentylacji. Budowa nowej serwerowni zajmuje lata, a jej utrzymanie jest bardzo kosztowne. Z tych powodów dąży się do ich optymalizacji pod kątem efektywności energetycznej. Coraz częściej do tych procesów wykorzystuje się zawansowane symulacje systemów chłodzenia. Prognozy wskazują, że rynek przechowywania danych za trzy lata będzie wart ok. 25 mld dol., w tym w samych Stanach Zjednoczonych ponad 3,5 mld. I już obecnie na projektantów i firmy wykonawcze wywiera się nacisk, by szybciej budowali nowe obiekty temu służące.

Obecnie centra danych są odpowiedzialne za ok. 1% światowej konsumpcji energii elektrycznej, bez uwzględniania wydobycia kryptowalut, na które przypada kolejne ok. 0,5%. Danych i mocy potrzebnej do ich gromadzenia i przetwarzania będzie przybywać. Prognozy wskazują, że za 3 lata nawet połowa światowych danych będzie się znajdować w chmurze, konieczne jest zatem znalezienie dla nich miejsca. Od nowych obiektów oczekuje się optymalizacji wykorzystania całej dostępnej przestrzeni i możliwie efektywnego gospodarowania energią do chłodzenia. Muszą być też zabezpieczone w sferze cyfrowej oraz w zakresie bezpieczeństwa fizycznego – przed pożarem, impulsem elektromagnetycznym czy fizycznym atakiem z zewnątrz. Poszukuje się rozwiązań, które mogą być skalowane i jednocześnie łatwo poddawane modernizacjom.

Obok przyrostu mocy obliczeniowej i wymaganej dla niej przestrzeni najważniejszymi kwestiami dla inwestorów jest wentylacja i chłodzenie układów szaf klimatyzacyjnych. Zmniejszenie zużycia energii przez systemy chłodzenia (to 1/3 zużywanej energii) może zatem znacznie obniżyć koszty operacyjne centrum danych. Coraz częściej już na początku procesu projektowania sięga się po narzędzia symulacyjne i tworzy cyfrowe bliźniaki, tak aby na każdym etapie życia obiektu móc łatwo ocenić wpływ różnych rozwiązań, których zadaniem jest obniżenie zużycia energii i kosztów operacyjnych oraz dopasowanie systemu do zmieniającej się infrastruktury obliczeniowej. Takie podejście do projektowania zmniejsza koszty i znacznie je przyspiesza, co sprawdzono już m.in. w motoryzacji i lotnictwie.

Symulacja umożliwia zidentyfikowanie kilku podejść do zmniejszenia zużycia energii i obniżenia kosztów operacyjnych. Po pierwsze, pozwala na optymalizację układów szaf w celu uniknięcia powstawania gorących punktów. To z kolei umożliwia zmniejszenie zapotrzebowania na energię do pracy wentylatorów, a z drugiej strony obniża ryzyko utraty mocy obliczeniowej lub przedwczesnej awarii z powodu przegrzania. Symulacje różnych konfiguracji urządzeń chłodzących i pomieszczeń w data center, a także algorytmów sterowania pomagają optymalizować przepływy powietrza i wydajność chłodzenia. Pozwalają również przeprowadzić analizy ujawniające ryzyko przyspieszonego zużycia materiałów i awarii oraz powstawania zagrożenia pożarowego. O ile symulacje 3D dla poszczególnych serwerów nie są trudne do przeprowadzenia, to analizy wielkoskalowe dla dużych układów zależą od wielu czynników i zmiennych – począwszy od rozwiązania przepływów powietrza, poprzez komponenty serwerów, po układ pomieszczenia. Wymaga to uwzględnienia zjawisk z zakresu termodynamiki, mechaniki płynów czy elektrotechniki. Można tego dokonać za pomocą zaawansowanego modelowania w systemach 3D CFD, dającego podstawy do podejmowania świadomych decyzji inżynierskich nt. opłacalności energetycznej rozwiązań HVAC.

Kolejnym ważnym zagadnieniem w procesie projektowania systemów chłodzenia data center jest efektywność zarządzania systemem HVAC. Do dyspozycji jest wiele technik chłodzenia, ale najważniejszym czynnikiem jest wydajność i efektywność wynikająca z układu urządzeń – standardem jest lokowanie na przemian zimnych i ciepłych korytarzy. Zimne korytarze mają wloty zimnego powietrza z przodu szaf, a gorące wyloty z tyłu. Gorące powietrze trafia do wlotów klimatyzacji, gdzie jest schładzane, recyrkulowane i odprowadzane do zimnych korytarzy. Rozwiązanie to może obniżyć koszty chłodzenia o 40%. Jest to teoretycznie proste, jednak optymalizacja takiego układu jest złożona i wymaga uwzględnienia wielu czynników, takich jak: odstępy, przepływy, rozmieszczenie czujników, okablowanie, zasilanie awaryjne i ochrona przeciwpożarowa. Ponadto optymalizacja chłodzenia powinna uwzględniać warunki pogodowe, wilgotność i przepływy, a nawet hałas.

Technologie chłodzenia wymagają OZE

Zagrożeniem dla centrów danych są wysokie temperatury i wilgotność. Ich chłodzenie polega na usuwaniu nadmiaru ciepła z powietrza lub jego wymianie na chłodniejsze, głównie za pomocą powietrza i cieczy. Chłodzenie powietrzem to technologia optymalna dla mniejszych centrów danych, z podłogami technicznymi oraz zimnymi i ciepłymi przejściami. Zimne powietrze wypiera gorące, które jest następnie zawracane, schładzane i recyrkulowane. Wspomniane korytarze z gorącym i zimnym powietrzem zwiększają wydajność tych systemów, zapobiegając mieszaniu się gorącego i zimnego powietrza, dzięki czemu system chłodzący może pracować wydajniej [2].

Chłodzenie cieczą to młodsza i bardziej wydajna technologia, która może służyć do schładzania urządzeń o wielkiej gęstości przetwarzania danych. W tej metodzie stosuje się dwa rozwiązania: pierwszym jest chłodzenie zanurzeniowe, polegające na umieszczeniu w układzie zamkniętym urządzenia elektrycznego zanurzonego w płynie dielektrycznym, który pochłania ciepło i oddaje je w postaci pary, a ta się następnie skrapla, schładzając urządzenie. Drugim rozwiązaniem jest bezpośrednie chłodzenie procesora lub płyty głównej za pomocą płynu dielektrycznego dostarczanego przewodem do elementu schładzanego. Płyn podgrzewa się i paruje, uchodząc przewodem, i tym samym odprowadza ciepło.

Zobacz także: Projekt ekologicznego systemu chłodzenia powstaje na Politechnice Wrocławskiej

Centra danych powinny się stać bardziej zrównoważone i przyjazne dla środowiska, korzystając nie tylko z OZE, ale też takich technologii, jak inteligentne systemy zarządzania, wysokowydajne agregaty chłodnicze, napędy o zmiennej częstotliwości, innowacyjne chłodzenie cieczą oraz modelowanie przepływów powietrza w celu zwiększania efektywności energetycznej systemu chłodzenia.

Prowadzone są prace badawcze i wdrożeniowe nad innymi technologiami chłodzenia z wykorzystaniem OZE i sztucznej inteligencji, w tym nad chłodzeniem geotermalnym, chłodzeniem wyparnym i wykorzystującym energię słoneczną. Chłodzenie geotermalne to np. zamknięty układ z czynnikiem wodnym lub płynem chłodniczym w instalacji z agregatem chłodniczym. Rozwiązania takie zastosowano m.in. w centrum danych firmy Iron Mountain w zachodniej Pensylwanii, które zlokalizowane zostało w wyrobisku dawnej kopalni wapienia, 60 m pod ziemią, gdzie znajduje się podziemny zbiornik wodny o powierzchni 35 ha. System chłodzenia wykorzystuje ten zbiornik, a także agregat chłodniczy oraz free cooling (dający dobre efekty w tym klimacie). Instalacja chłodzenia składa się z trzech głównych elementów konstrukcyjnych — pomp w zbiorniku wodnym tłoczących wodę do wymienników ciepła i pomp w instalacji budynku z serwerami, tłoczących ciepło z agregatu do wymiennika.

System pracuje od 2013 roku i był poddawany kilku modyfikacjom, wprowadzającym nowe, coraz bardziej wydajne rozwiązania, w tym w zakresie sterowania i free coolingu. Większość instalacji ma zasoby zimnej wody wystarczające jedynie na kilka minut chłodzenia w razie awarii instalacji z agregatami chłodniczymi, natomiast opisywane centrum dysponuje praktycznie nieograniczonymi jej zapasami. Ponadto wykorzystanie pompy o prostej konstrukcji ze zmiennym przepływem daje większą niezawodność i niższe koszty konserwacji. Zakład współpracuje również z klientami w zakresie najlepszych praktyk stosowanych w szafach serwerowych i wykorzystuje różne rozwiązania do zarządzania powietrzem w celu poprawy efektywności energetycznej, m.in. oprogramowanie na poziomie sztucznej inteligencji do oceny systemów sterowania budynkiem i identyfikacji możliwości oszczędności energii [3]. Obecnie centrum danych Iron Mountain w 100% wykorzystuje energię odnawialną, także dzięki energii elektrycznej z instalacji PV zamontowanej na dachach budynków oraz z turbin wiatrowych.

Przykładem chłodzenia z zastosowaniem OZE są także serwerownie Green Mountain w Norwegii, wykorzystujące m.in. fakt, że 98,9% produkcji energii elektrycznej w tym kraju pochodzi ze źródeł odnawialnych, większość z energii wodnej, oraz sprzyjające warunki klimatyczne dla technologii free cooling [4]. Co więcej, Green Mountain pracuje nad wykorzystaniem ciepła odpadowego w jednym z centrów danych do hodowli 9000 ton pstrąga rocznie, co ma zapewnić 22 mln obiadów w ciągu roku. Technologia ta jest skalowalna i będzie to w 2023 roku największa na świecie hodowla pstrąga na wodach lądowych. Green Mountain’s DC2-Telemark znajduje się zaledwie 800 m od tej hodowli. Oba obiekty połączone zostaną systemem rur – przewodzących ciepłą wodę do hodowli i schłodzoną do data center. Pomysł ten jest promowany jako przełomowy przykład gospodarki o obiegu zamkniętym, gdzie produkcja w jednym przedsiębiorstwie może przynieść korzyści drugiemu z pozytywnym efektem dla środowiska [5].

Innym kierunkiem wykorzystania energii odnawialnej w data center jest wytwarzanie energii elektrycznej w instalacjach PV do zasilania systemów znajdujących się na obszarach o dużym nasłonecznieniu. Dużego potencjału upatruje się także w inteligentnych technologiach, czy raczej sztucznej inteligencji do monitorowania warunków i reagowania w czasie rzeczywistym w celu zapewnienia optymalnych poziomów temperatur i wilgotności. Przykładowo Google już 6 lat temu wykorzystało inteligentne sterowanie temperaturą w centrum danych poprzez zastosowanie swojego produktu DeepMind AI do zmniejszenia zużycia energii chłodniczej o 40% [8].

Eksploatacja i poprawa efektywności energetycznej

W poradnikach i zaleceniach dla branży IT podkreśla się, że rozwiązania, które znajdują zastosowanie w biurach, jak np. mieszanie powietrza gorącego z wprowadzanym chłodnym, nie sprawdzają się w data center. Wskazuje się również, że nie ma uniwersalnego sposobu zarówno na zaprojektowanie, jak i eksploatowanie centrum danych ze względu na możliwe wyjątkowe potrzeby danego inwestora. Sformułowano jednak pewne uniwersalne zasady, pozwalające trwale i wydajnie eksploatować obiekty tego typu [9, 10, 11]:

1. Pierwszą zasadą jest pomiar wydajności energetycznej – bez tych danych nie dysponujemy informacjami o zużywanej energii. Wskaźnik efektywności zużycia energii (PUE) powinien być podawany w oparciu o pomiary przeprowadzane w częstych odstępach czasu przez cały rok.

2. Druga zasada to pomiary przepływów powietrza i oddzielanie powietrza gorącego od zimnego. Przepływ powietrza musi być monitorowany i optymalizowany. Można ograniczać mieszanie się gorącego i zimnego powietrza oraz gorące i zimne przejścia, a nawet zastosować zaślepki nieużywanych otworów w szafie, co zapobiega przepływowi schłodzonego powietrza do miejsc, w których nie znajduje się konieczny do chłodzenia sprzęt. Samodzielne urządzenia klimatyzacyjne (CRAC) w starszych centrach mogą mieć indywidualne elementy sterujące i nastawy, które powodują nadmierne przepływy – można je zmienić. W przypadku CRAC warto sprawdzić, czy zastosowane zostały wentylatory z regulacją prędkości obrotowej i z silnikami EC. Z kolei w centrach mających komory z podłogą podniesioną należy sprawdzać jej szczelność i usuwać zbędne zatory. Niekontrolowany wyciek powietrza z podłogi podniesionej powoduje mniejszy dopływ chłodu do sprzętu, a tym samym dodatkowy wydatek energii na chłodzenie i pracę wentylatorów. Rzędy szaf serwerowych powinny być zorientowane tak, by ich fronty znajdowały się naprzeciwko siebie. Ponadto tyły szaf serwerowych również powinny być zwrócone do siebie, tworząc korytarze gorące (wywiewne) i zimne – mieszaniu się zimnego powietrza z gorącym wydmuchiwanym z tyłu serwerów pomagają zapobiegać kurtyny z lekkiego szkła akrylowego (pleksiglasu). W centrach danych z układami gorących/zimnych korytarzy systemy zabezpieczające mogą zmniejszyć wydatki na energię o 5–10% [12].

3. Trzecią zasadą jest zwiększanie temperatury. Im chłodniej, tym drożej, dlatego warto szukać wyższego roboczego poziomu temperatury, przy którym praca jest efektywna i bezpieczna. Większość nowego sprzętu IT toleruje podwyższone temperatury, na co zwracają uwagę m.in. wytyczne ASHRAE. Amerykańskie źródła podają, że każdy wzrost temperatury w serwerowni o 1°F pozwala zaoszczędzić od 4 do 5% kosztów energii [11, 12]. Ponadto coraz częściej sprzęt IT toleruje szersze zakresy wilgotności, co pozwala skrócić czas nawilżania i stosować jego energooszczędne technologie.

4. Czwarta zasada to eksperymenty z alternatywnymi metodami chłodzenia, głównie free coolingiem oraz tzw. ekonomizerami. Użycie ekonomizera (wieży chłodniczej) zamiast agregatu chłodniczego może zmniejszyć koszt wody lodowej nawet o 70%. Z kolei dzięki free coolingowi możliwe jest obniżenie zużycia energii na chłodzenie nawet o 90% [12].

5. Piąta zasada dotyczy poprawy obsługi urządzeń i zastępowania nieefektywnych transformatorów, zasilaczy, napędów i pomp nowymi urządzeniami oraz dopasowanie ich parametrów pracy do faktycznego zapotrzebowania. Przykładowo koszt wymiany wentylatorów w centrach danych eBay na urządzenia o zmiennej prędkości zwrócił się w ciągu 1,6 roku. Natomiast energooszczędne systemy UPS z tzw. trybem ekologicznym minimalizują straty energetyczne i dzięki ekonomicznemu ładowaniu obniżają koszty energii w centrum danych nawet o 2% [12]. Duży potencjał oszczędności mają narzędzia DCIM (Data Center Infrastructure Management) pozwalające na wysoce efektywne wykorzystanie obiektu i sprzętu – mogą obniżyć koszty energii nawet o 30%.

Podsumowanie

Centra danych działają 24 godziny na dobę, 7 dni w tygodniu i 365 dni w roku. Zużywają ponad 100 razy więcej energii elektrycznej niż komercyjne powierzchnie biurowe o tej samej powierzchni. Ich potencjał oszczędzania energii jest zatem duży, tym bardziej że zmieniają się wymagania dotyczące urządzeń IT w zakresie maksymalnej temperatury i zakresu wilgotności, stale też przybywa doświadczeń z eksploatacji.

Literatura

1. Kulik Katarzyna, Szafy klimatyzacji precyzyjnej w nowoczesnych centrach danych, „Rynek Instalacyjny” 11/2020, rynekinstalacyjny.pl

2. https://www.techtarget.com/searchdatacenter/tip/Data-center-cooling-systems-and-technologies-and-how-they-work

3. https://betterbuildingssolutioncenter.energy.gov/showcase-projects/iron-mountain-data-centers-geothermal-cooling-system

4. https://greenmountain.no/data-centers/cooling/

5. https://greenmountain.no/land-based-trout-farm-will-use-data-center-waste-heat/

6. https://www.techtarget.com/searchdatacenter/tip/How-to-calculate-data-center-cooling-requirements

7. https://www.ashrae.org/news/hvacrindustry/2019-update-to-standard-90-4

8. https://www.deepmind.com/blog/deepmind-ai-reduces-google-data-centre-cooling-bill-by-40

9. https://semiengineering.com/improving-energy-and-power-efficiency-in-the-data-center/

10. https://www.hitachiaircon.com/newsroom/en/news/what-is-the-importance-of-data-center-cooling

11. https://www.facilitiesnet.com/datacenters/article/8-Ways-Data-Centers-Can-Improve-Energy-Efficiency--19375

12. https://www.energystar.gov/products/16_more_ways_cut_energy_waste_data_center