Teraźniejszość i przyszłość, czyli najbardziej efektywne i bezpieczne systemy chłodzenia szaf serwerowych okiem eksperta

Współczesna rzeczywistość technologiczna

Nie da się ukryć, że obecny świat to świat technologii informatycznych, obejmujący systemy łączności, transmisji, składowania i przetwarzania danych. Spotykamy się z nimi praktycznie na każdym kroku, począwszy od trzymanego w ręku telefonu i spoczywającego na kolanach czy biurku komputera, szafach sterowniczych z automatyką zapewniającą pracę niezbędnych dla nas urządzeń, a na zespołach szaf serwerowych w Data Center kończąc. Jako zwykli użytkownicy coraz mniej zastanawiamy się, a może tak naprawdę nawet nie chcemy wiedzieć, na czym zachodzące w naszym otoczeniu procesy polegają, a całą swoją uwagę skupiamy na tym, by to, czego używamy, było efektywne i bezpieczne.

Co zatem oznacza dla nas pojęcie „efektywny”?

Potocznie można powiedzieć „mała kasa – maksymalny efekt”. Inwestując środki, staramy się wydawać je w sposób racjonalny. Poddajemy analizie nasze potrzeby i szukamy rozwiązania, które je spełni przy możliwie niskich nakładach na wykonanie, a następnie będzie tanie w eksploatacji. Oszczędzamy surowce, oszczędzamy energię, ale czy chodzi tylko o oszczędzanie?

I tu przechodzimy do drugiego członu zawartego w tytule artykułu, czyli jak pojmujemy „bezpieczeństwo”?

Bezpieczeństwo, poczucie bezpieczeństwa, to inaczej otoczenie opieką, zapewnienie właściwych warunków, gotowość do unikania i eliminacji występujących zagrożeń zewnętrznych i wewnętrznych.

Dla urządzeń technicznych będzie to zapewnienie odpowiedniego środowiska i parametrów pracy, zapobieganie występowaniu usterek i awarii. Pojawiają się tutaj takie określenia jak zachowanie ciągłości funkcjonowania, bezpieczne przechowywanie i bezpieczny dostęp do danych, backup, redundancja, nadmiarowość, dywersyfikacja, Disaster Recovery Center, ośrodek zapasowy. Szczególnego znaczenia nabierają takie terminy jak niezawodność, trwałość, odporność, dostosowanie, a także monitorowanie i nadzór, ostrzeganie o stanach alarmowych czy raportowanie pracy.

Przekładając wyżej opisane cechy na systemy chłodzenia szaf serwerowych, sięgnijmy jeszcze na chwilę do historii tych systemów. Nie, nie sięgniemy tu do zamierzchłych czasów, bo tam nie znajdziemy dobrych przykładów. Zacznijmy od lat czterdziestych ubiegłego stulecia.

Krótki rys historyczny technologii komputerowej i systemów chłodzenia

Zapoznając się z historią rozwoju systemów przetwarzania danych, możemy zaobserwować, jaki wpływ ma technologia informatyczna na rozwój systemów chłodzenia, a jednocześnie ocenić obecnie wdrażane rozwiązania – czy są to rozwiązania nowe, czy tylko powtórzone z wykorzystaniem nowych materiałów i komponentów pozwalających m.in. na precyzyjną regulację wydajności mocy chłodniczej i przepływu powietrza, czy zapewnienie 100% szczelności połączeń stosowanych w instalacjach chłodzenia bezpośredniego bądź instalacji obsługujących Data Center.

Lata 40., 50. i 60. XX wieku

Pierwszy komputer o nazwie ENIAC, w zależności od źródeł, pojawił się w 1941 lub 1945 roku, zawierał ok. 5000 lamp elektronowych i zajmował powierzchnię 140-160 m². Jako system chłodzenia wykorzystano obieg powietrza.

Kolejna generacja komputerów konstruowanych w latach 1959-1964 to urządzenia, w których zastosowano pierwsze podzespoły półprzewodnikowe. Tranzystory nie wymagały jeszcze specjalnych układów chłodzenia, kanałowe instalacje wentylacyjne dostarczały do urządzeń czyste powietrze, głównie przez wzgląd na zastosowanie wrażliwych na czynniki takie jak kurz czy pył pamięci ferromagnetyczne i terminalne z monitorami teleskopowymi. Postępujące z roku na rok stopniowe upakowanie w komputerach coraz większej liczby tranzystorów spowodowało konieczność odprowadzania wydzielanego przez nie ciepła. Zaczęto stosować pierwsze instalacje chłodzące, które podłączano do już istniejących w budynkach instalacji – klimatyzacji biurowej (w biurowcach) lub klimatyzacji przemysłowej procesów technologicznych (w zakładach produkcyjnych).

Kiedy w roku 1965 do budowy komputerów wprowadzono układy scalone, konieczne było zastosowanie dedykowanych instalacji chłodzących, opartych o chłodzenie powietrzne, czyli zorganizowany ruch powietrza przez pomieszczenia z maszynami obliczeniowymi. Na ten okres przypada też wdrożenie do stosowania podniesionej podłogi, która, poza przestrzenią do prowadzenia okablowania i instalacji zasilających, służyła również jako droga doprowadzająca schłodzone powietrze do urządzeń komputerowych.

Rok 1965 jest też bardzo istotny ze względu na wprowadzenie przez IBM do maszyn obliczeniowych bezpośredniego chłodzenia wodą. Polegało to na tym, że woda lodowa była dostarczana bezpośrednio do międzypłytowych wymienników ciepła instalowanych pomiędzy kartami z układami scalonymi w tzw. stosach. Woda lodowa dostarczana pierwotnie z instalacji chłodzącej budynku (a następnie ze względu na konieczność separacji zanieczyszczeń, poprzez układ wymiennika pośredniego i zespół pompowy) podawana była do ww. stosów, skąd, po odebraniu ciepła wracała do wymiennika pośredniego celem schłodzenia. W tym właśnie momencie pojawiły się pierwsze wydzielone układy chłodzące.

Lata 70. i 80. XX wieku

Następny etap technologiczny to wprowadzenie do budowy komputerów układów mikroprocesorowych i pojawienie się w roku 1971 urządzeń firmy IBM serii 370. Duże upakowanie półprzewodników powodowało coraz większą ilość wydzielanego przez nie ciepła i konieczność jego sprawnego odprowadzenia na zewnątrz urządzenia. Układy wodne były w powszechnym zastosowaniu, a w roku 1987 osiągnęły 92% nasycenia rynku. Równolegle powstawały komputery o wielu jednocześnie pracujących procesorach np. superkomputer wektorowy CRAY 1 wyprodukowany w 1976 roku z własnym dedykowanym wewnętrznym układem chłodzenia natryskowego. Za pomocą układów wodnych odprowadzano ciepło na poziomie do 12,5 W/cm² powierzchni wymiany.

Lata 90. XX wieku

Rok 1993 to przejście kluczowego producenta urządzeń komputerowych z technologii bipolarnej na opartą na technologii unipolarnej technologię CMOS, w wyniku wykorzystania której następuje ograniczenie koniecznego do odprowadzenia ciepła. Producenci odchodzą od chłodzenia bezpośredniego za pomocą wody na rzecz chłodzenia powietrzem. Szerokie zastosowanie mają szafy klimatyzacyjne, które w obiegach chłodzących wykorzystują sprężarkowe układy freonowe (tzw. bezpośrednie odparowanie) oraz układy nawilżania powietrza zapobiegające powstawaniu uszkodzeń wywołanych elektrostatyką.

Lata od roku 2000

Rok 2000 to dalszy rozwój systemów chłodzących opartych na przepływie powietrza. To również rozwój rozwiązań chłodzenia cieczą o niskiej temperaturze wynoszącej 5°C doprowadzanej do płyt chłodzących montowanych bezpośrednio do procesora (Model Fujitsu GS8900).

Od tego momentu obserwuje się gwałtowny przyrost gęstości mocy obliczeniowej i powstawanie kolejnych generacji urządzeń komputerowych. Od systemów chłodzących oczekuje się skalowalności i elastycznego dostosowania do aktualnych wymagań sprzętowych. Jednocześnie cykl życia sprzętu komputerowego (tzw. moralne zużycie) wynosi 3-5 lat, podczas gdy cykl życia dedykowanych pomieszczeń, serwerowni i ich technicznego wyposażenia, to 15-20 lat.

Obserwuje się dynamiczny rozwój i wdrażanie różnorodnych rozwiązań chłodniczych:

• opartych na wodnych systemach bezpośrednich
• szafy klimatyzacji precyzyjnej
• szafy i moduły Inrow montowane pomiędzy urządzeniami komputerowymi
• obudowy rackowe ze zintegrowanymi układami chłodzącymi

Wszystkie te systemy produkują lub są zasilane w chłód, w zależności od potrzeb i możliwości, przez:

• instalacje freonowe, określane terminem „bezpośrednie odparowanie” (DX),
• wykorzystanie czynnika chłodniczego jako chłodzącego z przesuniętym punktem odparowania,
• wykorzystanie wody lodowej (CW),
• wykorzystanie wody chłodzącej – pośredni freecooling (GE), wykorzystujący niską temperaturę zewnętrzną do schłodzenia czynnika chłodzącego powietrze obiegowe w pomieszczeniu
• zastosowanie skojarzonych systemów freecoolingowych, wykorzystujących dodatkowo ciepło odpadowe do ogrzewania innych instalacji w budynku

Teraźniejszość

Odnosząc się do obecnych czasów, a mamy rok 2024, na rynku dostępnych jest szereg technologii chłodzenia szaf serwerowych. Pozwala to na właściwe podejście do doboru/zaprojektowania systemu chłodzenia pod konkretne potrzeby sprzętu komputerowego pracującego w układzie klasycznej serwerowni, rozwiązań z jednostkami wirtualnymi czy rozwiązań chmurowych.

Potrzeby sprzętu zostały opisane wytycznymi środowiskowymi w formie standardów, norm i zaleceń producentów, takich jak np. standaryzacja ASHRAE. Metody zapewnienia odpowiedniego standardu bezpieczeństwa uwzględniającego ciągłość funkcjonowania, redundancję, niezawodność zostały określone np. standardami UPTIME INSTITUTE, normami stosowanymi w Stanach Zjednoczonych, np. TIA-942 czy europejskimi np. PN/EN 50600.

Równolegle odpowiednie departamenty w Stanach Zjednoczonych i Unii Europejskiej opracowały i wdrażają wytyczne i regulacje nakładające na producentów i użytkowników systemów chłodzenia obowiązek zapewnienia nie tylko ochrony sprzętu komputerowego, ale przede wszystkim ochronę środowiska, ochronę zasobów naturalnych niezbędnych do życia przyszłych pokoleń (Rozporządzenie Parlamentu Europejskiego nr 1791 z 13 września 2023 roku).

Bazując na omówionych powyżej zagadnieniach i mając świadomość o powszechnej dostępności niezbędnego do stworzenia Data Center sprzętu, wyposażenia i instalacji oraz dostępności oprogramowania do doboru i konfiguracji poszczególnych systemów i instalacji, można dojść do przekonania, że takie systemy projektować może każdy. Czy aby na pewno?

Prześledźmy, zaczynając od najprostszego, dobór rozwiązań do konkretnych potrzeb.

Przykład 1
Szafa serwerowa np. zastosowana jako obudowa do układu sterowania, systemu monitorowania, BMS w zakładzie przemysłowym, niewymagającego utrzymania konkretnych warunków temperaturowych.

Mały pobór energii elektrycznej, stąd małe obciążenie cieplne. Można zastosować wentylator filtrujący (wentylator z modułem filtrującym) np. Wentylatory filtrujące Blue e+*. Dobór wielkości wykona za nas oprogramowanie, ale czy oprogramowanie podpowie nam, czy zastosować wentylator tłoczący powietrze do wnętrza szafy, czy wyciągający powietrze z szafy?

Tu z pomocą przychodzi doświadczenie i wiedza ekspercka. To ona wskaże, czy dane warunki posadowienia szafy w środowisku zapylonym wymuszą tłoczenie powietrza do środka i zachowanie hermetyzacji poprzez stworzenie nadciśnienia, aby zanieczyszczenia nie przenikały przez nieszczelności obudowy. A może, gdy ilość ciepła jest tak duża, trzeba je „wyrzucić” na zewnątrz, a jednocześnie zapewnić szczelność, zastosować dwa wentylatory filtrujące ze skojarzoną automatyką pozwalającą na jednoczesne spełnienie zakładanych warunków?     

Przykład 2
Szafa serwerowa np. serii VX IT* jako obudowa rozbudowanych układów sterowania, zarządzania, punktów dostępowych, switchy i rejestratorów, gdzie wydzielana ilość ciepła nie pozwala na zastosowanie wentylatora lub zespołu wentylatorów, a ze względu na zanieczyszczenie otoczenia wymagana jest hermetyzacja.

Tu katalogi i oprogramowanie producenta podpowiedzą zastosowanie urządzenia chłodzącego, separującego obieg powietrza w szafie z obiegiem powietrza w pomieszczeniu.

W zależności od wielkości obciążenia cieplnego będą to urządzenia pasywne z wymiennikiem pośrednim i zespołem wentylatorów lub urządzenia aktywne wykorzystujące efekt „rurki ciepła”, sprężarkowe układy freonowe np. Liquid Cooling Unit LCU DX*, czy wymienniki woda-powietrze np. Liquid Cooling Unit LCU CW* zasilane z zewnętrznych układów wody lodowej. Te urządzenia chłodzące wykonane są w formie zabudowy na drzwiach, np. klimatyzator do zabudowy naściennej Blue e+ IT*, lub jako „czapki” np. klimatyzator dachowy Blue e+ IT*, czy podstawy szaf oraz moduły montowane obok szaf sterujących połączone z szafą w miejscu panelu bocznego.

O właściwym doborze poza wspomnianym oprogramowaniem decyduje analiza rozkładu wyposażenia technologicznego w szafie miejsca posadowienia, wymagane warunki obsługowe oraz możliwość odprowadzenia ciepła z otoczenia szafy serwerowej.   

Przykład 3
Szafa lub zespół szaf serwerowych np. serii VX, TX Cable Net*, zainstalowane w pomieszczeniach typu:

• Meet-Me-Room – pomieszczenie zawierające punkty styku/podłączenia zewnętrznych instalacji telekomunikacyjnych dostawców usług telekomunikacyjnych z instalacjami komunikacyjnymi budynku
• Server Room – pomieszczenie ze sprzętem komputerowym realizującym funkcje zbierania, przetwarzania i transmisji danych niebędące serwerownią
• Pomieszczenie dostępowe – MDF/IDF, zawierające główne/pośrednie punkty dystrybucyjne łączące serwerownię z istniejącym okablowaniem strukturalnym budynku i terminalami operatorskimi/komputerami na stanowiskach pracy i urządzeń współpracujących np. z drukarkami.

Ze względu na ograniczone parametry pracy (zachowanie stałej temperatury i czystości powietrza) powszechnie stosuje się rozwiązania typowe dla klimatyzacji komfortu – jednostki klimatyzacyjne określane jako typu „split”. Jest to typowe rozwiązanie budżetowe. Właściwe jest zastosowanie profesjonalnych rozwiązań przez wykorzystanie hermetycznych obudów z wbudowanym systemem chłodzenia np. Liquid Cooling Package LCP Rack DX, LCP Rack DX/FC* lub szaf klimatyzacji precyzyjnej określanych jako „over” lub „upflow”, które, nawiewając schłodzone powietrze od góry urządzenia, zasysają je ponownie frontem. Urządzenia te nie wymagają podniesionej podłogi i mogą być wyposażone w układy freonowe (DX) lub być zasilane wodą lodową z instalacji budynkowej.

Jedna z istotnych cech tego rozwiązania, jakim jest zastosowanie redundantnych urządzeń chłodniczych, zapewniających utrzymanie warunków środowiskowych w czasie awarii jednego z urządzeń, stanowi konieczność przeprowadzenia dogłębnej analizy. Dopiero na jej podstawie doboru urządzeń można dokonać w oparciu o katalogi czy oprogramowanie producenta.

Przykład 4
Zespoły szaf serwerowych np. serii VX, TX Colocation rack* w pomieszczeniach serwerowni wypełnione są sprzętem komputerowym – serwerami, macierzami dyskowymi, switchami. Bez względu na wielkość pomieszczenia, zasady posadowienia szaf serwerowych i lokalizacji w nich sprzętu zawsze są, a w zasadzie powinny być, takie same.

Szafy serwerowe ustawiane są z zachowaniem zasady ciepłych i zimnych korytarzy np. z wykorzystaniem tzw. elementów systemowych do separacji stref*. Tam, gdzie cała serwerownia jest wypełniona, stosuje się zabudowę zimnego korytarza, co pozwala na zachowanie stałej temperatury nawiewu i zapewnienie równomiernego rozdziału powietrza. Dla serwerowni niewypełnionych z częścią przeznaczoną na zabudowę dowolną stosuje się zabudowę ciepłego korytarza. Pozwala to na instalację szaf serwerowych o małej gęstości w dowolnej konfiguracji użytkownika. Zasadę zabudowy ciepłego korytarza stosuje się również dla serwerowni bez podniesionej podłogi.

Mając już zaplanowaną lokalizację szaf, tras kablowych, systemów ochrony ppoż., można przystąpić do wyboru systemu klimatyzacji oraz urządzeń klimatyzacyjnych i instalacji z osprzętem. Tym razem należy dążyć do zachowania wszystkich obowiązujących norm i standardów, ze szczególnym uwzględnieniem bezpieczeństwa, parametrów środowiskowych i zasad redundancji z analizą tzw. one point failure, czyli eliminacji pojedynczego punktu awarii systemu chłodzenia i pozostałych systemów serwerowni. System klimatyzacji musi być niezawodny, energooszczędny i wyposażony w opomiarowanie niezbędne do właściwej eksploatacji.

Preferowane rozwiązana to woda lodowa, systemy freecoolingowe oparte na wykorzystaniu wody (mieszanki glikolu zapobiegającej zamarzaniu instalacji w ujemnych temperaturach zewnętrznych) czy specjalizowane freecolingowe układy chłodnicze napełnione ekologicznymi czynnikami chłodniczymi. Po zamknięciu tych etapów można przystąpić do doboru urządzeń z wykorzystaniem oprogramowania producenta np. RiTherm* i danych pobranych z platformy internetowej „PARTcommunity”.

Dla małych gęstości będą to szafy klimatyzacji precyzyjnej, dla dużych – szafy Inrow np. Liquid Cooling Rack/Package/Inline LCP Rack CW/CWG* zabudowywane w korytarzach razem z szafami serwerowymi czy kubaturowe systemy chłodzenia. Niestety, tym razem na katalogach i oprogramowaniu producenta dobór i projektowanie się nie kończy.

Po doborze i rozmieszczeniu urządzeń klimatyzacyjnych wewnątrz serwerowni z wykorzystaniem oprogramowania producenta, ale również współpracujących z nimi systemami zewnętrznymi odprowadzenia ciepła, należy przeprowadzić komputerową analizę przepływu powietrza przez serwerownię z uwzględnieniem występowania i eliminacji „hot spotów” – miejsc, w których może następować przegrzanie sprzętu komputerowego. To samo wykonuje się dla urządzeń zewnętrznych z uwzględnieniem róży wiatrów i lokalnych warunków pogodowych. Dopiero po pozytywnym potwierdzeniu prawidłowości rozwiązań można przystąpić do realizacji.

Opisane przykłady chłodzenia szaf serwerowych pozwoliły zobrazować, jak głęboko trzeba sięgać z analizą najprostszych rozwiązań i jak dużą ilość zależności należy wziąć pod uwagę przy większych systemach.

Ale czy to wszystko? Jak się okazuje, jednak nie.

W skali Świata 1,40% wyprodukowanej energii elektrycznej jest „pożerane” przez data center. Zakładając średnie zużycie energii przez systemy chłodzące data center na poziomie 30,00% w odniesieniu do całego data center, stanowi to 0,45% globalnego zużycia energii. Odzyskanie tej części tej energii w znaczącym stopniu ograniczyłaby tzw. głód energetyczny gospodarstw domowych na planecie.

Wprowadzane w ostatnim okresie Dyrektywy Unijne, za którymi podąża prawodawstwo polskie, nałoży kolejne warunki do spełnienia przez serwerownie, a co za tym idzie systemy chłodzące/klimatyzacyjne. Będzie to konieczność ponownego wykorzystania ciepła odprowadzanego z Data Center, zwanego ciepłem odpadowym, do atmosfery oraz znacząca redukcja energii elektrycznej zużywanej w drodze eksploatacji systemów klimatyzacyjnych i chłodniczych.

Współczynniki takie jak efektywność czy wykorzystanie ciepła będą ustawowo raportowane na zasadach obecnie obowiązujących audytów energetycznych. Wymusi to powrót do stosowania na szeroką skalę chłodzenia wodnego urządzeń serwerowych bez udziału sprężarkowo-freonowych układów chłodniczych i wszelkich ich odmian z zastosowaniem dielektryków jako substancji pośrednich. Standardem stanie się podniesienie temperatury pracy systemów komputerowych do wartości umożliwiających zastosowanie wody odprowadzającej ciepło do systemów skojarzonych, instalacji grzewczych i ciepłej wody użytkowej.  

Kilka słów podsumowania

Mówiąc o najbardziej efektywnych i bezpiecznych systemach chłodzenia szaf serwerowych, nie sposób pominąć jasnego sprecyzowania tych pojęć, co się za nimi kryje, jakie znaczenie ma efektywność, którą za chwilę wszystkie Data Center będą raportować, czy bezpieczeństwo tak ważne w kontekście systemów chłodzenia nie wpływa na ograniczenie efektywności.

Kończąc zarys obecnie stosowanych systemów chłodzenia szaf serwerowych i wchodzących w ciągu najbliższych lat rozwiązań, skoncentrowaliśmy się na potrzebach dotychczas znanych technologii układów przetwarzania danych. Na tych samych zasadach i z wykorzystaniem tych samych, rozwijanych i unowocześnionych technologii, pracują serwery wirtualne, serwery obsługujące sztuczną inteligencję (AI), czy serwery chmurowe (Cloud). Sztuczna inteligencja nie jest rozwiązaniem sprzętowym, lecz algorytmem, tak samo przeniesienie oprogramowania do chmury nie oznacza likwidacji serwerów naziemnych. To, z czym podczas realizacji procesu chłodzenia trzeba będzie się zmierzyć, to nowe rozwiązania sprzętu komputerowego – zastosowanie innych podzespołów oraz rozwój komputerów kwantowych.

W komputerach kwantowych wykorzystywana jest trzecia zasada termodynamiki, gdzie podstawą jest utrzymanie cząstek na ściśle wyznaczonym poziomie energetycznym, a nadmiarowe ciepło może zniszczyć dane przechowywane w komputerze. W komputerach kwantowych wykorzystywana jest trzecia zasada termodynamiki, gdzie podstawą jest utrzymanie cząstek na ściśle wyznaczonym poziomie energetycznym, a nadmiarowe ciepło może zniszczyć dane przechowywane w komputerze. Nie wchodząc w szczegóły techniczne, mówimy tu o konieczności chłodzenia do bardzo niskich temperatur zbliżonych do zera absolutnego. Procesu takiego na obecnym etapie technicznym wykonać się jeszcze nie da. Problem ten skomentował LLuis Masanes z University College London: „Tu już nie chodzi o usuwanie energii z systemu. Tutaj idzie o usunięcie nieoznaczoności"[1]. Czy będzie to w zasięgu obecnych projektantów, czy ekspertów? Czas pokaże.

*zamieszczone oznaczenia urządzeń referencyjnych na przykładzie Palety Produktów Rittal