Damir Špoljarič

Článek vyšel pro server Lupa.cz

V několika článcích se na Lupě budu věnovat tématu stavby vlastního datacentra na zelené louce. Hodlám se zabývat podrobnějším postupem, technickými souvislostmi, legislativním postupem a zajímavostmi, se kterými se lze při stavbě této technické nemovitosti setkat. My tímto procesem znovu procházíme a jsme na jeho začátku. Tentokrát jsme zvolili na české poměry unikátní koncept.

Když jsme začali ve vshosting~ před šesti lety vymýšlet datacentrum ServerPark DC1, neměli jsme zkušenosti se stavbou ničeho, ani rodinného domku. Zvolili jsme tehdy nejvíce konzervativní technologický postup, abychom se vyvarovali neúspěchu čistě z důvodu, že projekt nezvládneme technicky zkoordinovat.

Nyní nastal čas, kdy potřebujeme druhé datacentrum, a to jak z kapacitních, tak strategických důvodů. U nového projektu DC2 jdeme cestou opačnou než v případě datacentra prvního. Volíme postup, který nám zajistí provoz datacentra bez všech rizikových prvků, jež stojí za drtivou většinou výpadků datacenter v Česku, a také s obrovským snížením nákladů jak na straně investice, tak na straně následného provozu a údržby. V dnešním článku tedy popíšu podrobnější byznysové zadání celého projektu.

Jednoúčelová stavba

Většina nových datových center vzniká jako architektonicky „hezká“ budova. Rozumím tomu, že i technická budova může být krásná na pohled. Datové centrum však není stanice metra v centru města a neschází se v něm větší množství lidí. A pokud ano, jde o technické pracovníky.

Nové datové centrum jsme tak pojali technicky racionálně a půjde ze všech aspektů primárně o účel maximální spolehlivosti bez zbytečného vynaložení nákladů na estetickou část. Zohledňujeme i to, že půjde o plně automatizované datacentrum pouze pro interní servery (nikoliv tedy pro umístění serverů zákazníků) s minimálním počtem technických pracovníků na místě.

V praxi si lze nové datové centrum představit z vnějšku jako železobetonovou kostku, případně porostlou zelení, bude-li to nutné z legislativních důvodů pro splnění kvót poměru zastavitelnosti a zeleně. Využít lze prefabrikované díly (pravděpodobně preferovaná varianta z důvodu kvality betonu a ceny), nebo použít litý beton pro větší „monolitičnost“ se vstupem s pancéřovými dveřmi sloužícími současně jako nákladní vstup.

Díky účelu budovy odpadají další nákladné prvky jako většina oken, toalet a podobně. Absence většiny oken navíc přispívá k větší bezpečnosti před atmosférickou elektřinou a budovu lze pojmout jako „Faradayovu klec“. Další nespornou výhodou je jednoduchost celé konstrukce. Budova bude navíc vybavena několikanásobnou izolací střechy a přítomností vody jen v jednom bodě budovy bez ohrožení jakékoliv technologie při havárii.

Pro kompaktnost budovy a bezpečnostní hledisko (ale i cenu) jsme kalkulací došli k výpočtu, že je rovněž vhodnější umístit diesel generátory do budovy (odpadá vyhřívání generátorů v zimě a nutnost pořizovat kapotáž nebo kontejner) a stejně je efektivnější umístit trafostanice do budovy.

První stejnosměrné datacentrum v Česku

Jako první v Česku jsme se rozhodli pro plné stejnosměrné napájení. Nejde však o žádný převratný vynález, mnoho let tento koncept úspěšně provozují Google, Facebook a další. V konečném důsledku jsou servery napájeny stejnosměrně. Historicky byly v minulosti telekomunikační ústředny v datacentrech napájeny napětím 48 V DC. Toto napětí bývá v některých datacentrech k dispozici dodnes.

stejnosměrně napájené datacentrum
Schéma jedné z větví

Pokud se podíváme na aspekt spolehlivosti, je většina výpadků datacenter po světě způsobena manipulací v rozvodně (většinou lidský faktor, není ale výjimkou ani technologický faktor selhání automatiky řízení) nebo na UPS.

Střídavé napájení je z tohoto pohledu náročnější na přepínání zdrojů, aby se tyto zdroje nepotkaly „proti sobě“, případně na fázování napájení dieselů. V UPS dochází ke konverzi ze střídavého na stejnosměrné (baterie jsou stejnosměrné) a následně opět ke konverzi na střídavé napětí. Nespornou výhodou je tak spolehlivost, jelikož stejnosměrné napájení umožňuje paralelní řazení napájecích zdrojů včetně záložních baterií bez zbytečných složitostí a rizik.

V datovém centru DC2 tak bude za trafostanicemi a diesel generátory (ty budou mít klasický střídavý výstup 400 V třífázově) usměrňovač na 326 V DC do společného výstupu jedné napájecí větve do napájecího zdroje pro 250 serverů. Každý server bude napájen ze dvou takových větví. Z tohoto zdroje je již vedeno klasické ATX napájecí napětí (+3,3 V DC, +5 V DC, +5 V SB, –5 V DC, +12 V DC, –12 V DC).

Vyšší stejnosměrné napětí sníží příliš vysoké proudy, které by tekly při „tradičnějších“ 48 V DC, což by znamenalo větší investici do kabeláže a přípojnic (více mědi znamená více peněz). Souvisí s tím značná prostorová úspora vzhledem k menším nárokům na prostory rozvoden. Společnými zdroji se dosáhne rovněž nižší energetické ztráty a snížení investičních nákladů (doufáme, v řádu nižších desítek milionů korun).

Práce na vlastních serverech

Značnou nevýhodou stejnosměrného napájení je zejména absence běžných serverů a dalších zařízení, které by bylo možné tímto způsobem snadno přímo napájet. Neplánujeme používat servery tradičních značek od běžných výrobců. Souvisí s tím jednak zbytečný náklad a také prostorová neefektivita v případě, že potřebujete zajistit maximální penetraci reálného výkonu (nikoliv jen počtu serverů) v rámci prostoru.

vývoj vlastních serverů pro nové datacentrum

V této souvislosti jsme se rozhodli pustit se do přípravy vlastního konceptu serverů za použití běžných technologií (CPU, disky, RAM, základní desky). K novému datovému centru přistupujeme jako ke snaze vyrobit „kapacitu výkonu“ pro naše cloudové služby, tedy pro virtualizaci a kontejnerizaci, a pro managed služby.

Náš tým musí vyrobit vlastní řešení projektu rozvaděče (nepůjde tedy o klasické 19“ ani 21“ racky) pro 250 serverů, respektive osazených základních desek, které budou napájeny ze společných zdrojů. Půjde o velký „blade server“ s osmi tisíci jádry a téměř 13 TB RAM. Do datového sálu se těchto „bladů“ vejde 80 a budou osazovány postupně. Na bližší konstrukci a snad i první fotky „proof of concept“ vzorku se zaměřím v některém z dalších článků.

Chlazení a vyšší teploty

Chlazení se podílí nejvyšší měrou na efektivitě datacentra a je spolu s energetikou jedním ze dvou základních faktorů určující spolehlivost datacentra. Většina datacenter jde cestou chlazení přímým výparem. Známe to všichni – máme to v autech, v lednici, v domácí klimatizaci.

Větší datová centra volí složitější cestu chlazení pomocí směsi vody a ethylenglykolu, která má ale řadu rizik a nepatří mezi nejefektivnější varianty. Chlazení olejem jsme zavrhli jako z našeho pohledu příliš experimentální a logisticky omezující variantu, byť z pohledu efektivity půjde o jedno z nejefektivnějších řešení, o čemž nás přesvědčovali už kolegové ve Spojených státech i ve Vídni, kde jsme si systém chlazení olejem před pár lety prohlíželi.

DC2 se snažíme koncipovat jako efektivní. I díky vlastní konstrukci serverů předpokládáme možnost použití vyšších teplot (idea je 35+ °C). To nám umožní při použití freecoolingu minimalizovat počet hodin v nejteplejších letních dnech, ve kterých bude potřeba „přichlazování“ pomocí přímého výparu. Ideálně se tomu chceme vyhnout.

Na stole jsou varianty přímého a nepřímého vzduchového freecoolingu. Přímým freecoolingem dosáhneme výrazně lepší účinnosti (PUE), ovšem použití přímého freecoolingu v průmyslových oblastech, ve kterých bychom rádi DC2 postavili (výběrem lokality se budu zabývat v dalším článku), komplikuje použití přímého freecoolingu kvalita ovzduší (zanášení filtrů a podobně).

Varianta nepřímého freecoolingu je z tohoto pohledu lepší, ovšem za cenu horší účinnosti. Oproti přímému výparu bude ale stále účinnost takového chlazení výrazně zajímavá (nepřímým freecoolingem a přímým výparem bude v koeficientu efektivity PUE rozdíl cca 0,3). Účinnost nepřímého freecoolingu se vylepšuje adiabatickým předchlazením, ideálně za použití nashromážděné dešťové vody, která nevyžaduje úpravu tvrdosti.

Hašení pro nepravděpodobné situace

Byť považuji požár v datacentru za silně nepravděpodobný (minimum hořlavých materiálů), požár v datacentru České pošty ukazuje, že není nereálný. Naše DC2 bude disponovat hašením FM-200 (pro datový sál). Případně obdobným, dle legislativních možností, FM-200 pro nové instalace a technologické prostory rozvoden, generátorů a trafostanic. Ty budou zabezpečeny „hrubějším“ a efektivnějším hašením CO2.

Klíčové prvky 2 x N

Všechny klíčové prvky budou dvakrát N a zajistíme oddělitelnost jednotlivých prvků z pohledu vnějších vlivů (požár a podobně).

Jinak aktuálně procházíme verifikací našich myšlenek. A to jak s projektanty jednotlivých profesí, tak s provozovateli koncepčně podobných datacenter mimo Českou republiku. Chceme získat informace o provozních zkušenostech a pracujeme na „proof of concept“ vlastního hardwaru.

Paralelně s tím jednáme o vhodném pozemku, čemuž se budu věnovat v dalším článku. Následně nás čeká příprava projektové dokumentace pro první legislativní stupeň – tedy dokumentace pro vydání územního rozhodnutí.

Damir Špoljarič

Během 16 let jsme provedli úspěšnou migrací stovky klientů. Pomůžeme i vám.

  1. Domluvte se na konzultaci

    Stačí nám zanechat kontakt. Obratem se vám ozveme.

  2. Bezplatný návrh řešení

    Nezávazně probereme, jak vám můžeme pomoct. Navrhneme řešení na míru.

  3. Profesionální realizace

    Připravíme vám prostředí pro bezproblémovou migraci dle společného návrhu.

Zanechte nám svůj e-mail nebo telefon

Nebo nás kontaktujte napřímo

+420 246 035 835 V provozu 24/7
konzultace@vshosting.cz
Zkopírovat
Obratem se vám ozveme
Pouze do konce června!
PRVNÍ MĚSÍC ZDARMA JEN DO 30.6.
Nechte si na e-mail poslat slevu na Windows hosting.
Pouze do konce června!
PRVNÍ MĚSÍC ZDARMA JEN DO 30.6.
Nechte si na e-mail poslat slevu na Windows hosting se správou.
PŘIDEJTE SE K ÚSPĚŠNÝM FIRMÁM
Ušetřete si čas a napište si o nezávazný audit vašeho technického řešení zdarma.
Ušetřete si čas a napište si o nezávazný audit vašeho technického řešení zdarma.
PŘIDEJTE SE K ÚSPĚŠNÝM FIRMÁM
NÁVRH INFRASTRUKTURY ZDARMA
Nechte si od našich expertů ZCELA ZDARMA A NEZÁVAZNĚ navrhnout serverovou infrastrukturu s kompletní správou. Stačí zanechat svůj e-mail.
Nechte si od našich expertů ZCELA ZDARMA A NEZÁVAZNĚ navrhnout serverovou infrastrukturu s kompletní správou. Stačí zanechat svůj e-mail.
NÁVRH INFRASTRUKTURY ZDARMA
AKCE NA HOSTING JEN DO KONCE MĚSÍCE
Managed server na míru a o 20 % levněji! Zanechte NEZÁVAZNĚ e-mail a nepropásněte šanci na slevu.
Managed server na míru a o 20 % levněji! Zanechte NEZÁVAZNĚ e-mail a nepropásněte šanci na slevu.
AKCE NA HOSTING JEN DO KONCE MĚSÍCE
BEZPLATNÁ KONZULTACE a návrh infrastruktury
Nepropásněte šanci na konzultaci i návrh infrastruktury ZDARMA. Stačí zanechat e-mail.
Nepropásněte šanci na konzultaci i návrh infrastruktury ZDARMA. Stačí zanechat e-mail.
BEZPLATNÁ KONZULTACE a návrh infrastruktury
FREE CONSULTATION and infrastructure design
Don’t miss out on getting a consultation and infrastructure design for FREE. Just leave your email below.
Don’t miss out on getting a consultation and infrastructure design for FREE. Just leave your email below.
FREE CONSULTATION and infrastructure design
Pouze do konce června!
NENECHTE SI UTÉCT MIMOŘÁDNOU AKCI
Nechte si zcela nezávazně poslat slevu na Windows řešení.
Pouze do konce června!
NENECHTE SI UTÉCT MIMOŘÁDNOU AKCI
Nechte si zcela nezávazně poslat slevu na Windows řešení.
TENTO WEBINÁŘ JIŽ PROBĚHL

Chcete dostat zprávu o další webináři? 

Zanechte svůj e-mail.

TENTO WEBINÁŘ JIŽ PROBĚHL
AKCE NA HOSTING JEN DO KONCE MĚSÍCE
Managed server na míru a o 20 % levněji! Zanechte NEZÁVAZNĚ e-mail a nepropásněte šanci na slevu.
Managed server na míru a o 20 % levněji! Zanechte NEZÁVAZNĚ e-mail a nepropásněte šanci na slevu.
AKCE NA HOSTING JEN DO KONCE MĚSÍCE
Pouze do konce měsíce!
NENECHTE SI UTÉCT MIMOŘÁDNOU AKCI
Nechte si zcela nezávazně poslat slevu na Windows řešení.
Pouze do konce měsíce!
NENECHTE SI UTÉCT MIMOŘÁDNOU AKCI
Nechte si zcela nezávazně poslat slevu na Windows řešení.
Pouze do konce měsíce!
NENECHTE SI UTÉCT MIMOŘÁDNOU AKCI
Nechte si zcela nezávazně poslat poukaz na návrh Kubernetes řešení na míru.
Pouze do konce měsíce!
NENECHTE SI UTÉCT MIMOŘÁDNOU AKCI
Nechte si zcela nezávazně poslat poukaz na návrh Kubernetes řešení na míru.
Dozvěděli jste se vše, co vás zajímalo?
Pojďme se pobavit o privátním cloudu na hardwaru HPE. Stačí nám na sebe zanechat kontakt.
Zajímá Vás VMware privátní cloud na špičkovém hardwaru HPE?
Zanechte nám kontakt a můžeme se o něm pobavit více.
JAK PŘIPRAVIT E-SHOP NA VÁNOČNÍ SEZÓNU

Zveme vás na online webinář
Jak připravit e-shop na vánoční sezónu s Ondřejem Flídrem, seniorním infrastrukturním administrátorem vshostingu.

Kdy: 28. 7. 2022 v 11 hodin
Kde: Online
Za kolik: Zdarma

WEBINÁŘ
JAK PŘIPRAVIT E-SHOP NA VÁNOČNÍ SEZÓNU
WEBINÁŘ
Máme 16 let unikátního know-how. Náš tým zkušených administrátorů vám ušije řešení přesně na míru.
Windows řešení od top expertů na spravovaný hosting
Máme 16 let unikátního know-how. Náš tým zkušených administrátorů vám ušije řešení přesně na míru.
Windows řešení od top expertů na spravovaný hosting
Jsme největší experti na managed služby na trhu
Ušetřete si čas, napište si o nezávazný audit vašeho technického řešení zdarma nebo se jen s námi pobavte o možnostech.
Ušetřete si čas, napište si o nezávazný audit vašeho technického řešení zdarma nebo se jen s námi pobavte o možnostech.
Jsme největší experti na managed služby na trhu