Jak začínáme stavět první stejnosměrně napájené datacentrum v Česku

Článek vyšel pro server Lupa.cz

V několika článcích se na Lupě budu věnovat tématu stavby vlastního datacentra na zelené louce. Hodlám se zabývat podrobnějším postupem, technickými souvislostmi, legislativním postupem a zajímavostmi, se kterými se lze při stavbě této technické nemovitosti setkat. My tímto procesem znovu procházíme a jsme na jeho začátku. Tentokrát jsme zvolili na české poměry unikátní koncept.

Když jsme začali ve vshosting~ před šesti lety vymýšlet datacentrum ServerPark DC1, neměli jsme zkušenosti se stavbou ničeho, ani rodinného domku. Zvolili jsme tehdy nejvíce konzervativní technologický postup, abychom se vyvarovali neúspěchu čistě z důvodu, že projekt nezvládneme technicky zkoordinovat.

Nyní nastal čas, kdy potřebujeme druhé datacentrum, a to jak z kapacitních, tak strategických důvodů. U nového projektu DC2 jdeme cestou opačnou než v případě datacentra prvního. Volíme postup, který nám zajistí provoz datacentra bez všech rizikových prvků, jež stojí za drtivou většinou výpadků datacenter v Česku, a také s obrovským snížením nákladů jak na straně investice, tak na straně následného provozu a údržby. V dnešním článku tedy popíšu podrobnější byznysové zadání celého projektu.

Jednoúčelová stavba

Většina nových datových center vzniká jako architektonicky „hezká“ budova. Rozumím tomu, že i technická budova může být krásná na pohled. Datové centrum však není stanice metra v centru města a neschází se v něm větší množství lidí. A pokud ano, jde o technické pracovníky.

Nové datové centrum jsme tak pojali technicky racionálně a půjde ze všech aspektů primárně o účel maximální spolehlivosti bez zbytečného vynaložení nákladů na estetickou část. Zohledňujeme i to, že půjde o plně automatizované datacentrum pouze pro interní servery (nikoliv tedy pro umístění serverů zákazníků) s minimálním počtem technických pracovníků na místě.

V praxi si lze nové datové centrum představit z vnějšku jako železobetonovou kostku, případně porostlou zelení, bude-li to nutné z legislativních důvodů pro splnění kvót poměru zastavitelnosti a zeleně. Využít lze prefabrikované díly (pravděpodobně preferovaná varianta z důvodu kvality betonu a ceny), nebo použít litý beton pro větší „monolitičnost“ se vstupem s pancéřovými dveřmi sloužícími současně jako nákladní vstup.

Díky účelu budovy odpadají další nákladné prvky jako většina oken, toalet a podobně. Absence většiny oken navíc přispívá k větší bezpečnosti před atmosférickou elektřinou a budovu lze pojmout jako „Faradayovu klec“. Další nespornou výhodou je jednoduchost celé konstrukce. Budova bude navíc vybavena několikanásobnou izolací střechy a přítomností vody jen v jednom bodě budovy bez ohrožení jakékoliv technologie při havárii.

Pro kompaktnost budovy a bezpečnostní hledisko (ale i cenu) jsme kalkulací došli k výpočtu, že je rovněž vhodnější umístit diesel generátory do budovy (odpadá vyhřívání generátorů v zimě a nutnost pořizovat kapotáž nebo kontejner) a stejně je efektivnější umístit trafostanice do budovy.

První stejnosměrné datacentrum v Česku

Jako první v Česku jsme se rozhodli pro plné stejnosměrné napájení. Nejde však o žádný převratný vynález, mnoho let tento koncept úspěšně provozují Google, Facebook a další. V konečném důsledku jsou servery napájeny stejnosměrně. Historicky byly v minulosti telekomunikační ústředny v datacentrech napájeny napětím 48 V DC. Toto napětí bývá v některých datacentrech k dispozici dodnes.

Pokud se podíváme na aspekt spolehlivosti, je většina výpadků datacenter po světě způsobena manipulací v rozvodně (většinou lidský faktor, není ale výjimkou ani technologický faktor selhání automatiky řízení) nebo na UPS.

Střídavé napájení je z tohoto pohledu náročnější na přepínání zdrojů, aby se tyto zdroje nepotkaly „proti sobě“, případně na fázování napájení dieselů. V UPS dochází ke konverzi ze střídavého na stejnosměrné (baterie jsou stejnosměrné) a následně opět ke konverzi na střídavé napětí. Nespornou výhodou je tak spolehlivost, jelikož stejnosměrné napájení umožňuje paralelní řazení napájecích zdrojů včetně záložních baterií bez zbytečných složitostí a rizik.

V datovém centru DC2 tak bude za trafostanicemi a diesel generátory (ty budou mít klasický střídavý výstup 400 V třífázově) usměrňovač na 326 V DC do společného výstupu jedné napájecí větve do napájecího zdroje pro 250 serverů. Každý server bude napájen ze dvou takových větví. Z tohoto zdroje je již vedeno klasické ATX napájecí napětí (+3,3 V DC, +5 V DC, +5 V SB, –5 V DC, +12 V DC, –12 V DC).

Vyšší stejnosměrné napětí sníží příliš vysoké proudy, které by tekly při „tradičnějších“ 48 V DC, což by znamenalo větší investici do kabeláže a přípojnic (více mědi znamená více peněz). Souvisí s tím značná prostorová úspora vzhledem k menším nárokům na prostory rozvoden. Společnými zdroji se dosáhne rovněž nižší energetické ztráty a snížení investičních nákladů (doufáme, v řádu nižších desítek milionů korun).

Práce na vlastních serverech

Značnou nevýhodou stejnosměrného napájení je zejména absence běžných serverů a dalších zařízení, které by bylo možné tímto způsobem snadno přímo napájet. Neplánujeme používat servery tradičních značek od běžných výrobců. Souvisí s tím jednak zbytečný náklad a také prostorová neefektivita v případě, že potřebujete zajistit maximální penetraci reálného výkonu (nikoliv jen počtu serverů) v rámci prostoru.

V této souvislosti jsme se rozhodli pustit se do přípravy vlastního konceptu serverů za použití běžných technologií (CPU, disky, RAM, základní desky). K novému datovému centru přistupujeme jako ke snaze vyrobit „kapacitu výkonu“ pro naše cloudové služby, tedy pro virtualizaci a kontejnerizaci, a pro managed služby.

Náš tým musí vyrobit vlastní řešení projektu rozvaděče (nepůjde tedy o klasické 19“ ani 21“ racky) pro 250 serverů, respektive osazených základních desek, které budou napájeny ze společných zdrojů. Půjde o velký „blade server“ s osmi tisíci jádry a téměř 13 TB RAM. Do datového sálu se těchto „bladů“ vejde 80 a budou osazovány postupně. Na bližší konstrukci a snad i první fotky „proof of concept“ vzorku se zaměřím v některém z dalších článků.

Chlazení a vyšší teploty

Chlazení se podílí nejvyšší měrou na efektivitě datacentra a je spolu s energetikou jedním ze dvou základních faktorů určující spolehlivost datacentra. Většina datacenter jde cestou chlazení přímým výparem. Známe to všichni – máme to v autech, v lednici, v domácí klimatizaci.

Větší datová centra volí složitější cestu chlazení pomocí směsi vody a ethylenglykolu, která má ale řadu rizik a nepatří mezi nejefektivnější varianty. Chlazení olejem jsme zavrhli jako z našeho pohledu příliš experimentální a logisticky omezující variantu, byť z pohledu efektivity půjde o jedno z nejefektivnějších řešení, o čemž nás přesvědčovali už kolegové ve Spojených státech i ve Vídni, kde jsme si systém chlazení olejem před pár lety prohlíželi.

DC2 se snažíme koncipovat jako efektivní. I díky vlastní konstrukci serverů předpokládáme možnost použití vyšších teplot (idea je 35+ °C). To nám umožní při použití freecoolingu minimalizovat počet hodin v nejteplejších letních dnech, ve kterých bude potřeba „přichlazování“ pomocí přímého výparu. Ideálně se tomu chceme vyhnout.

Na stole jsou varianty přímého a nepřímého vzduchového freecoolingu. Přímým freecoolingem dosáhneme výrazně lepší účinnosti (PUE), ovšem použití přímého freecoolingu v průmyslových oblastech, ve kterých bychom rádi DC2 postavili (výběrem lokality se budu zabývat v dalším článku), komplikuje použití přímého freecoolingu kvalita ovzduší (zanášení filtrů a podobně).

Varianta nepřímého freecoolingu je z tohoto pohledu lepší, ovšem za cenu horší účinnosti. Oproti přímému výparu bude ale stále účinnost takového chlazení výrazně zajímavá (nepřímým freecoolingem a přímým výparem bude v koeficientu efektivity PUE rozdíl cca 0,3). Účinnost nepřímého freecoolingu se vylepšuje adiabatickým předchlazením, ideálně za použití nashromážděné dešťové vody, která nevyžaduje úpravu tvrdosti.

Hašení pro nepravděpodobné situace

Byť považuji požár v datacentru za silně nepravděpodobný (minimum hořlavých materiálů), požár v datacentru České pošty ukazuje, že není nereálný. Naše DC2 bude disponovat hašením FM-200 (pro datový sál). Případně obdobným, dle legislativních možností, FM-200 pro nové instalace a technologické prostory rozvoden, generátorů a trafostanic. Ty budou zabezpečeny „hrubějším“ a efektivnějším hašením CO2.

Klíčové prvky 2 x N

Všechny klíčové prvky budou dvakrát N a zajistíme oddělitelnost jednotlivých prvků z pohledu vnějších vlivů (požár a podobně).

Jinak aktuálně procházíme verifikací našich myšlenek. A to jak s projektanty jednotlivých profesí, tak s provozovateli koncepčně podobných datacenter mimo Českou republiku. Chceme získat informace o provozních zkušenostech a pracujeme na „proof of concept“ vlastního hardwaru.

Paralelně s tím jednáme o vhodném pozemku, čemuž se budu věnovat v dalším článku. Následně nás čeká příprava projektové dokumentace pro první legislativní stupeň – tedy dokumentace pro vydání územního rozhodnutí.

Damir Špoljarič