Uziemienie i połączenia wyrównawcze w serwerowni: jak działają i jakie błędy psują sieć

W skrócie: uziemienie odprowadza niebezpieczne prądy do ziemi, a połączenia wyrównawcze (bonding) utrzymują wszystkie metalowe elementy instalacji na tym samym potencjale. W infrastrukturze IT opisują to normy PN-EN 50310 i ISO/IEC 30129 (w USA ANSI/TIA-607), a dla Data Center norma PN-EN 50600-2-2, która wymaga w salach IT lokalnej siatki połączeń wyrównawczych (mesh-BN) obejmującej szafy, ramy i trasy kablowe. S. Frank Waterer, inżynier elektryk Schneider Electric i IEEE Fellow, ocenia, że około 70% problemów z systemami dystrybucji zasilania ma bezpośredni lub pośredni związek z uziemieniem i połączeniami wyrównawczymi. Poprawny system jest zaprojektowany, widoczny do kontroli i prowadzi prądy zakłóceniowe z dala od sprzętu. Osobny „czysty” uziom dla IT to mit: wszystkie uziomy budynku łączy się w jeden układ.

Awaria, której nie widać w żadnym logu

Sieć działa, pomiary okablowania przeszły, a mimo to raz na jakiś czas pojawiają się błędy transmisji, restartujące się porty albo urządzenia uszkodzone po burzy. Zanim ktokolwiek pomyśli o uziemieniu, wymienione zostaną wkładki, kable krosowe i pół konfiguracji przełącznika.

Połączenia wyrównawcze to najmniej widoczna warstwa infrastruktury: kilkadziesiąt przewodów w kolorze zielono-żółtym, kilka szyn i trochę osprzętu. Na tle kosztów całej serwerowni to drobiazg, a od jego jakości zależy, czy przepięcie z sieci zasilającej przejdzie obok sprzętu, czy przez niego.

Uziemienie a połączenia wyrównawcze: dwa zadania, nie jedno

Te pojęcia bywają używane zamiennie, a opisują różne funkcje:

• Uziemienie (earthing) to połączenie instalacji z ziemią. Rozprasza w gruncie energię udarów, na przykład z wyładowań atmosferycznych, i stabilizuje potencjał instalacji względem ziemi. W typowym układzie TN prąd zwarcia doziemnego wraca do źródła przewodem ochronnym PE, nie przez grunt, dlatego dla zadziałania zabezpieczeń ciągłość przewodów ochronnych jest ważniejsza niż sama rezystancja uziomu. To przede wszystkim ochrona ludzi i budynku.
• Połączenia wyrównawcze (bonding) to łączenie ze sobą metalowych elementów: szaf, koryt, drabinek, konstrukcji, obudów. Cel jest jeden: ten sam potencjał na wszystkim, czego można dotknąć i do czego podłączony jest sprzęt.

Prąd płynie tylko tam, gdzie istnieje różnica potencjałów. Jeżeli między dwiema szafami albo dwoma końcami ekranu kabla różnicy nie ma, niechciany prąd nie ma powodu płynąć. Całe projektowanie połączeń wyrównawczych sprowadza się do tej zasady.

Mapa norm: co czytać w Europie, a co przyszło z USA

Sporo wiedzy o uziemieniach w IT pochodzi z amerykańskich publikacji i standardów, dlatego przy czytaniu materiałów producentów przydaje się mapa odpowiedników:

Terminologia jest wspólna po obu stronach oceanu: CBN (common bonding network) to wspólna sieć połączeń wyrównawczych całego budynku, mesh-BN to jej zagęszczona, oczkowa odmiana w pomieszczeniach IT, a IBN (isolated bonding network) to specjalna topologia z jednym kontrolowanym punktem połączenia, spotykana głównie w obiektach operatorskich zasilanych napięciem stałym.

Czego wymaga EN 50600 w serwerowni i Data Center

Norma PN-EN 50600-2-2 (dystrybucja energii) nie wymyśla własnych zasad uziemiania, tylko odsyła do EN 50310 i zaostrza wymagania tam, gdzie chodzi o sale IT. Najważniejsze zapisy:

• Siatka, nie gwiazda. W salach IT i pomieszczeniach telekomunikacyjnych system połączeń wyrównawczych ma mieć postać lokalnej sieci oczkowej (mesh-BN) zgodnej z EN 50310. Gęsta siatka minimalizuje różnice potencjałów i zakłócenia elektromagnetyczne.
• Wszystko podłączone. Szafy, ramy i stelaże muszą być włączone do tej siatki, a trasy kablowe (koryta, drabinki) mają zachowywać ciągłość elektryczną i być częścią układu wyrównawczego.
• Podłoga techniczna pod kontrolą. Powierzchnia podłogi podniesionej powinna mieć określoną rezystancję względem uziemienia (badanie wg EN 1081), żeby ograniczyć ryzyko wyładowań elektrostatycznych. Konkretne wartości daje EN 50310: przy powierzchni chroniącej przed wyładowaniami rezystancja d.c. między wierzchem podłogi a siatką ochronną ma mieścić się w przedziale od 1 MΩ do 10 MΩ.
• Monitoring prądu różnicowego. Norma wymaga ciągłego monitorowania prądu na połączeniu przewodu ochronnego z neutralnym (RCM). Rosnący prąd w tym miejscu to wczesny sygnał problemów z instalacją.
• Integracja z ochroną odgromową. Przy wyższych klasach ochrony układ wyrównawczy współpracuje z systemem odgromowym zaprojektowanym wg EN 62305.

Liczby, którymi mierzy się poprawny układ

EN 50310 nie kończy się na zasadach, podaje wartości, które da się sprawdzić miernikiem. To zestaw, którym warto przejść własną serwerownię:

Ostatni wiersz bywa zaskoczeniem: przy prądach udarowych liczy się impedancja, nie sam przekrój, dlatego długa i wąska taśma przestaje spełniać swoje zadanie. Z tego samego powodu norma przy wysokich częstotliwościach preferuje płaskie taśmy i oploty zamiast okrągłych linek.

Pięć zasad dobrego systemu

Amerykańska praktyka Data Center (TIA-942, materiały Panduit) opisuje pięć zasad, które dobrze streszczają wymagania niezależnie od kontynentu:

1. System ma być zamierzony. Zaprojektowany jak każda inna instalacja, nie „jakoś wyjdzie przy okazji”. Jest tak dobry, jak jego najsłabsze połączenie.
2. System ma być weryfikowalny wzrokowo. Każdy element da się obejrzeć podczas przeglądu: od obudowy urządzenia, przez szafę, po szynę i przewód do siatki.
3. System ma być właściwie zwymiarowany. Przekroje przewodów i szyn dobiera projektant według norm, nie według zawartości szuflady na budowie.
4. System ma prowadzić prądy z dala od sprzętu. Każda szafa łączy się bezpośrednio z siecią wyrównawczą. Łączenie szaf łańcuszkiem sprawia, że podczas przepięcia cały rząd szaf staje się drogą dla prądu udarowego. W Europie to nie jest dobra praktyka, tylko wymóg: EN 50310 (pkt 7.5.1.1) mówi wprost, że szaf, ram i stelaży nie wolno łączyć szeregowo, a każda ma mieć własny, dedykowany przewód wyrównawczy.
5. Wszystko, co metalowe, jest podłączone. Szafy, drabinki, koryta, podłoga techniczna, rury. Każdy niepodłączony element metalowy to potencjalna różnica potencjałów, czyli droga dla niechcianego prądu.

Bonding szafy i toru ekranowanego: łańcuch musi być ciągły

Poprawne wyrównanie potencjałów to warunek pracy okablowania ekranowanego, o którym pisaliśmy przy okazji wyboru między systemem ekranowanym a nieekranowanym. Ekran chroni tylko wtedy, gdy tworzy ciągłą, uziemioną drogę od urządzenia do urządzenia. W praktyce ten łańcuch wygląda tak:

1. Ekran kabla (folia lub oplot) jest zakończony w module ekranowanym z pełnym stykiem 360 stopni.
2. Moduł łączy się elektrycznie z metalowym panelem krosowym.
3. Panel jest przykręcony do szafy śrubami bondującymi: gwint formujący czyści otwór z lakieru, a ząbkowany łeb przebija powłokę panelu, dając kontakt metal-metal.
4. Szafa, pod warunkiem zachowania ciągłości między jej skręcanymi elementami, łączy się przewodem z szyną lub siatką wyrównawczą. Na przewodzie końcówka zaprasowywana zamiast zacisku śrubowego bezpośrednio na żyle: zacisk dokręcony na gołym przewodzie luzuje się z czasem od wibracji i płynięcia miedzi, a końcówka prasowana, przykręcona śrubą, trzyma latami.
5. Zdejmowane części szafy, czyli drzwi, panele boczne i dach, dostają własne przewody wyrównawcze zakończone szybkozłączem, żeby dało się je odpiąć przy serwisie i wpiąć z powrotem.

Wyrwanie jednego ogniwa unieważnia cały łańcuch. Najczęściej pęka on w miejscach, których nie widać: między skręcanymi, lakierowanymi sekcjami szafy albo na panelu przykręconym zwykłymi śrubami przez warstwę farby.

Ekran z jednej czy z obu stron?

Przy poprawnie wykonanym wspólnym układzie wyrównawczym ekran łączy się z masą na obu końcach toru. Zasady przyłączania ekranów opisuje EN 50174-2, do której EN 50310 wprost odsyła: ekran ma być zakończony w każdym punkcie zakończenia toru, ze stykiem 360 stopni (pkt 5.3.6.3), a przyłączenie na obu końcach daje dodatkową skuteczność ekranowania wobec pól wysokiej częstotliwości (pkt 4.7.1.2). Ta sama norma zwraca uwagę, że przy ekranie połączonym jednostronnie pętla i tak potrafi się domknąć przez podłączone urządzenia. Uziemienie jednostronne to praktyka awaryjna na okoliczność instalacji, w których nie da się zapewnić wspólnego potencjału obu końców; ogranicza ryzyko pętli, ale kosztem skuteczności ekranowania. Czy problem pętli w ogóle istnieje, można sprawdzić pomiarem: multimetrem True RMS (mierzącym rzeczywistą wartość skuteczną) mierzy się napięcie między ekranowanym modułem gniazda a stykiem ochronnym gniazda zasilającego na stanowisku. Wynik poniżej 1 V oznacza układ w porządku; 1 V lub więcej wskazuje na pętlę uziemienia (próg opisany w załączniku D do J-STD-607-A). Pomiar odbywa się przy czynnej instalacji zasilającej, więc powinien go wykonać elektryk z uprawnieniami kwalifikacyjnymi (SEP E), miernikiem o kategorii pomiarowej co najmniej CAT III. Rozwiązaniem nie jest odcinanie ekranu, tylko połączenie systemów zasilających do wspólnego układu uziomowego. Sama EN 50310 progu napięciowego nie podaje, weryfikuje układ inaczej: pomiarem rezystancji d.c. metodą dwupunktową, miernikiem prądu przemiennego spełniającym EN 61557-4 lub EN 61557-5, a przed pomiarem ciągłości wykonuje się test napięciowy, żeby wykluczyć prądy błądzące.

Mit osobnego, „czystego” uziemienia dla IT

W starszych obiektach wciąż można spotkać osobny uziom „komputerowy”, odizolowany od instalacji elektrycznej budynku, w intencji ochrony sprzętu przed zakłóceniami. Taki układ jest sprzeczny z wymaganiami połączeń wyrównawczych HD 60364 (część 5-54), według których uziomy i części przewodzące budynku schodzą się na głównej szynie uziemiającej (GSU), i fizycznie groźny: dwa niepołączone uziomy to gotowa różnica potencjałów. Sam mit wziął się z dawnych zaleceń producentów komputerów i amerykańskiego „isolated ground” z NEC, który zresztą też nie oznacza osobnego uziomu, tylko osobny przewód ochronny prowadzony do wspólnego punktu. Przy wyładowaniu atmosferycznym lub zwarciu potencjały obu układów rozjeżdżają się o kilowolty, a wyrównanie następuje przez pierwszą dostępną drogę, na przykład przez ekran kabla i port urządzenia.

Wszystkie uziomy budynku (elektryczny, odgromowy, telekomunikacyjny) muszą być ze sobą połączone w jeden układ. Wyjątkiem inżynierskim, a nie zaprzeczeniem tej zasady, jest topologia IBN stosowana w obiektach operatorskich: tam sprzęt również jest połączony ze wspólną siecią budynku, tylko w jednym, kontrolowanym punkcie. W komercyjnych serwerowniach standardem pozostaje CBN z lokalną siatką mesh.

Jedenaście błędów, które wychodzą w audytach

1. Infrastruktura jest, podłączeń nie ma. Szyny na ścianach, siatka pod podłogą i ani jedna szafa podpięta. Właściciel ma poczucie, że uziemienie „jest zrobione”, a ochrony nie ma żadnej.
2. Szafy połączone łańcuszkiem zamiast każda bezpośrednio do siatki lub szyny. EN 50310 (pkt 7.5.1.1) zabrania tego wprost. Ten sam zakaz obejmuje jednostki klimatyzacji, za to koryta i drabinki w pomieszczeniu objętym siatką wolno łączyć szeregowo między sobą.
3. Połączenia przez lakier. Zwykła śruba z podkładką na malowanej blasze nie tworzy połączenia elektrycznego. Potrzebny osprzęt przebijający powłokę albo oczyszczenie do metalu i pasta antyoksydacyjna. Norma stawia sprawę zerojedynkowo: farbę usuwa się ze wszystkich powierzchni styku połączeń wyrównawczych, chyba że producent szafy gwarantuje ciągłość elektryczną skręcanych elementów.
4. Zaciski śrubowe bezpośrednio na żyle zamiast końcówek zaprasowywanych na przewodach wyrównawczych; dokręcone na gołym przewodzie z czasem luzują się i połączenie degraduje.
5. Brak ciągłości tras kablowych. Odcinki koryt i drabinek łączone niesystemowo albo przez powłoki malarskie przestają być częścią układu wyrównawczego. Jeżeli producent trasy deklaruje ciągłość elektryczną złączek wg EN 61537, mostki wyrównawcze są potrzebne tylko w miejscach przerw: na dylatacjach, elementach malowanych i wstawkach.
6. Osobny uziom dla IT opisany wyżej.
7. Szafa „uziemiona” cienką linką na wsuwkę. Konektor wsuwany i przypadkowy przekrój nie przenoszą prądów udarowych i luzują się przy pierwszym ruchu w szafie. Przekroje podaje norma: minimum 4 mm² dla szafy do 21 U i minimum 16 mm² powyżej 21 U, a przy przewodzie dłuższym niż 6 m dokłada się kolejne żyły 4 mm². Zakończenie to końcówka prasowana, nie wsuwka.
8. Urządzenia sieciowe bez własnego bondingu. Poleganie wyłącznie na przewodzie ochronnym w kablu zasilającym; producenci sprzętu przewidują na obudowie punkt uziemienia, który łączy się krótkim przewodem z listwą lub szyną szafy.
9. Końcówki jednootworowe tam, gdzie powinny być dwuotworowe. Końcówka na jednej śrubie potrafi się obrócić i poluzować; dwuotworowa blokuje rotację, dlatego w połączeniach uziemiających Data Center stosuje się końcówki dwuotworowe, testowane wg NEBS Level 3. EN 50310 dopuszcza w połączeniach do szyn wyrównawczych wyłącznie zgrzewanie egzotermiczne albo prasowane złącza dwuotworowe, ewentualnie metodę o równoważnej odporności na wibracje i starzenie.
10. Oksydacja połączeń. Powierzchnia oczyszczona z lakieru, ale bez pasty antyoksydacyjnej, utlenia się i rezystancja połączenia rośnie z miesiącami. Pasta wchodzi na każde połączenie przygotowane do gołego metalu. Norma idzie dalej i wymaga, żeby stykające się materiały miały względem siebie potencjał elektrochemiczny nie większy niż 300 mV, bo to on napędza korozję galwaniczną.
11. Brak przeglądów. Poluzowane i skorodowane połączenia, przewody przecięte przy przebudowach, brak etykiet. Załącznik A do EN 50310 jest normatywny i wymaga oględzin wszystkich połączeń do szyn pod kątem mechaniki i korozji oraz pomiaru prądów cęgami na przewodach łączących szyny z siecią i z głównym zaciskiem uziemiającym. Częstotliwość norma wiąże z harmonogramem pozostałych przeglądów elektrycznych, warunkami środowiskowymi i tempem dokładania sprzętu; w praktyce raz w roku, a po każdej większej zmianie w serwerowni kontrola obejmuje także nowe elementy metalowe.

Osprzęt, który te błędy eliminuje

Większość powyższych błędów bierze się z improwizacji: szafę uziemia się tym, co akurat leży w skrzynce. W projektach stosujemy dedykowany osprzęt uziemiający, w naszym przypadku system Panduit StructuredGround, który dostarczamy jako dystrybutor. Zdjęcia pochodzą z materiałów Panduit.

• Zestawy uziemiające do szaf i ram: listwa uziemiająca, przewody 16 mm² z końcówkami dwuotworowymi, śruby gwintotworzące i pasta antyoksydacyjna w jednym komplecie (UL, CSA), z zielono-żółtą izolacją VW-1.
• Końcówki prasowane dwuotworowe z oknem inspekcyjnym: zaprasowanie na żyle plus dwie śruby, zero rotacji; złącza spełniają kryteria NEBS Level 3, a okno pozwala sprawdzić, czy żyła weszła do końca.
• Śruby gwintotworzące i osprzęt przebijający lakier: kontakt metal-metal bez skrobania farby i wiercenia; gwint sam czyści otwór, ograniczając ilość opiłków.
• Uchwyty z zębami do drabinek i tras siatkowych: zęby przebijają powłokę przęsła i dają ciągłość trasy, a jumper 16 mm² łączy sekcje między sobą.
• Porty ESD i oznaczenia: gniazdo opaski antystatycznej z przodu i z tyłu szafy oraz zielone oznaczniki, dzięki którym cały układ pozostaje weryfikowalny wzrokowo.

Najczęstsze pytania o uziemienie infrastruktury IT

Czy serwerownia potrzebuje osobnego uziomu?

Nie. Wszystkie uziomy budynku muszą tworzyć jeden połączony układ. Osobny, odizolowany uziom „komputerowy” jest sprzeczny z wymaganiami połączeń wyrównawczych HD 60364-5-54 i niebezpieczny: przy wyładowaniu lub zwarciu różnica potencjałów między układami wyrównuje się przez sprzęt IT.

Czy ekran okablowania uziemiać z jednej czy z obu stron?

Przy poprawnym wspólnym układzie wyrównawczym z obu stron. Wymagania dla ekranów zawiera EN 50174-2, do której odsyła EN 50310: ekran ma być zakończony w każdym punkcie zakończenia toru (pkt 5.3.6.3), a połączenie na obu końcach daje dodatkową skuteczność wobec pól wysokiej częstotliwości (pkt 4.7.1.2). Uziemienie jednostronne stosuje się wyjątkowo, gdy nie można zapewnić wspólnego potencjału obu końców toru, kosztem skuteczności ekranowania.

Jak sprawdzić, czy w instalacji jest pętla uziemienia?

Multimetrem True RMS: pomiar napięcia między ekranowanym modułem gniazda teleinformatycznego a stykiem ochronnym gniazda zasilającego na tym samym stanowisku. Wynik 1 V lub więcej wskazuje na pętlę; rozwiązaniem jest połączenie systemów zasilających do wspólnego układu uziomowego, nie odcinanie ekranu. Pomiar przy czynnej instalacji powinien wykonać elektryk z uprawnieniami (SEP E), miernikiem kategorii co najmniej CAT III.

Jaki przekrój ma mieć przewód uziemiający szafę rack?

Według EN 50310 minimum 4 mm² dla szafy o wysokości do 21 U i minimum 16 mm² dla wyższej. Jeżeli przewód przekracza 6 m długości, norma wymaga dołożenia kolejnych żył 4 mm². Każda szafa ma własny przewód do siatki lub szyny, łączenie szaf szeregowo jest zabronione.

Które normy opisują uziemienie i połączenia wyrównawcze w IT?

W Europie PN-EN 50310 (budynki z IT) oraz PN-EN 50600-2-2 dla Data Center, na poziomie międzynarodowym ISO/IEC 30129, w USA ANSI/TIA-607 i TIA-942. Fundament bezpieczeństwa elektrycznego to PN-HD 60364, a ochronę odgromową opisuje PN-EN 62305.

Kiedy ostatnio ktoś oglądał Wasze uziemienia?

DCNART audytuje połączenia wyrównawcze w serwerowniach i Data Center: od siatki pod podłogą, przez ciągłość tras kablowych, po bonding pojedynczych szaf i paneli. Jako dystrybutor Panduit dostarczamy też kompletne systemy uziemień StructuredGround, od szyn i przewodów po osprzęt przebijający lakier.

Jeżeli nikt nie potrafi powiedzieć, kiedy układ wyrównawczy w Waszej serwerowni był ostatnio sprawdzany, napisz do nas. Przejdziemy instalację połączenie po połączeniu i pokażemy, co wymaga poprawy, zanim zweryfikuje to pierwsza burza.

Grafika główna tego artykułu jest ilustracją poglądową wygenerowaną przez AI.