vshosting~ zažívá v první čtvrtletí 2019 růstový boom. Obchodní tým plní plán na více než 200 % a za první tři měsíce získal vshosting~ více nových klientů než loňský rok za celé první pololetí. Mezi novými klienty je například Japonský gigant, mj. i vlastník českého Prazdroje, firma Asahi nebo velké e-shopy jak Eyerim, Brasty, Průša Research a mnoho dalších. S tím se však objevila potřeba rozšířit kapacitu datacentra. Podívejte se, co se bude jak rozšiřovat, a na pár provozních zajímavostí k tomu.

Datacentrum ServerPark

Poslední rok jsme se snažili minimalizovat nárůst počtu fyzických serverů, mimojiné s ohledem na zvyšování ceny silové elektrické energie. Přesto díky mnoha novým klientům musíme navýšit i počet fyzických serverů. Současně realizujeme již třetí instanci cloudu pro cloud managed servery a další centrální CEPH uložiště o kapacitě až několik set TB v SSD v režimu N+2.

Datacentrum ServerPark bylo původně koncipováno na 150 racků s kapacitou až 8000 serverů. Tato kapacita je rozdělena do tří etap, přičemž první dvě etapy jsou již absolutně plné a třetí etapu budeme brzy realizovat. Drobnými inovacemi se nám podařilo plánovanou kapacitu rozšířit na cca 158 racků.

Z pohledu energetiky je ServerPark projektován na 1 MW (1000 kW) čisté spotřeby serverů. Na chlazení datacentra je plánováno až 12 x 100kW chladících jednotek v režimu N+2, tedy teoretických 1,2 MW čistého chladícího výkonu. Realita nicméně ukazuje, že díky rozdělení studené a teplé části datacentra (část, kde servery nasávají vzduch o garantované teplotě a vlhkosti a části, kde servery „vyfukují“ teplý vzduch) a velkému rozdílu těchto teplot (čím větší rozdíl takové teploty, tím efektivnější chlazení) je reálný výkon jednotek o cca 15-20 % větší, než udává výrobce. Zálohu napájení datacentra zajišťují modulární UPS o výkonu pro zálohování až 2 MW v režimu 2xN, generátory o celkovém výkonu 3 MVA v režimu 2xN a trafostanice.

Jdeme na třetí etapu

Budova je dispozičně koncipována pro všechny 3 etapy, a to včetně prvků jako je systém automatického hašení inertním plynem nebo zabezpečovací systém. Pro plné osazení všech technologických částí datacentra nás čeká instalace další části rozvodny, dalších modulárních UPS systémů a postupné osazování chladících jednotek podle toho, jak rychle se nová etapa bude plnit novými servery.

Největší oříšek bývá již tradičně instalace desítek silových 185mm2 měděných kabelů mezi místnostmi rozvoden, UPS, generátory a trafostanicemi a místností s bateriemi. „Chuťovkou“ je i instalace dalších rozvaděčů na vysoké napětí 22000 V a osazování traf a generátorů za pomocí jeřábů. Vše se provádí samozřejmě bezpečně a za provozu. Projektová dokumentace již počítá s plným osazením budovy a jde tedy o relativně snadný úkol. Tímto procesem jsme si již jednou prošli při osazování druhé etapy ServerParku.

Zajímavostí je, že oproti předpokladu a energetickým výpočtům při projektování datacentra je reálná spotřeba cca poloviční. Je to způsobeno zejména použitím moderních nových technologií a prakticky výhradně SSD disků. Jinými slovy – energetické i chladící možnosti datacentra jsou poměrně hodně naddimenzované.

Bezpečnost na prvním místě

Hlavní prioritou vshosting~ při provozu datacenter je provozní bezpečnost. Podřizujeme tomu naprosto vše. Všimněte si proto ne příliš standardní redundance 2xN (dvojnásobný počet aktivních prvků) či N+2 (dva záložní aktivní prvky). Znamená to pro nás výrazně větší investici, ale snažíme se tím minimalizovat riziko výpadku na naprosté minimum.

ServerPark je tak připraven i na celopražský blackout díky nadstandardní zásobě nafty. Kvůli zvýšení bezpečnosti se datacentrum nachází mimo hlavní silniční a železniční tahy a je umístěno v řízeném letovém prostoru armády ČR (MCTR Kbely).

Tímto zdaleka nekončíme

Další etapou ServerParku získáme čas pro stavbu našeho druhého datacentra, ServerPark DC2 :-). Tam bude důraz na provozní bezpečnost stejně velký, avšak datacentrum bude z pohledu kapacity cca 3x větší a bude využívat unikátní technologie (kompletně stejnosměrně napájení, vlastní konstrukce serverů, 3 typy kombinovaného freecoolingu bez běžného využívání tradičního chlazení).

Jaké další technologické novinky chystáme? Úspěšně jsme zprovoznili CDN lokality v Seville a Bukurešti a chystáme i další. Kromě evropských lokalit se bude brzy realizovat i první POP v Asii, konkrétně v Singapuru. Intenzivně rovněž pracujeme na realizaci dalšího 100Gbps propojení s dalším globálním operátorem.

Chcete se dozvědět víc o našem datacentru? Vše se dočtete v našem článku Technické zázemí.

Článek vyšel pro server Lupa.cz

V několika článcích se na Lupě budu věnovat tématu stavby vlastního datacentra na zelené louce. Hodlám se zabývat podrobnějším postupem, technickými souvislostmi, legislativním postupem a zajímavostmi, se kterými se lze při stavbě této technické nemovitosti setkat. My tímto procesem znovu procházíme a jsme na jeho začátku. Tentokrát jsme zvolili na české poměry unikátní koncept.

Když jsme začali ve vshosting~ před šesti lety vymýšlet datacentrum ServerPark DC1, neměli jsme zkušenosti se stavbou ničeho, ani rodinného domku. Zvolili jsme tehdy nejvíce konzervativní technologický postup, abychom se vyvarovali neúspěchu čistě z důvodu, že projekt nezvládneme technicky zkoordinovat.

Nyní nastal čas, kdy potřebujeme druhé datacentrum, a to jak z kapacitních, tak strategických důvodů. U nového projektu DC2 jdeme cestou opačnou než v případě datacentra prvního. Volíme postup, který nám zajistí provoz datacentra bez všech rizikových prvků, jež stojí za drtivou většinou výpadků datacenter v Česku, a také s obrovským snížením nákladů jak na straně investice, tak na straně následného provozu a údržby. V dnešním článku tedy popíšu podrobnější byznysové zadání celého projektu.

Jednoúčelová stavba

Většina nových datových center vzniká jako architektonicky „hezká“ budova. Rozumím tomu, že i technická budova může být krásná na pohled. Datové centrum však není stanice metra v centru města a neschází se v něm větší množství lidí. A pokud ano, jde o technické pracovníky.

Nové datové centrum jsme tak pojali technicky racionálně a půjde ze všech aspektů primárně o účel maximální spolehlivosti bez zbytečného vynaložení nákladů na estetickou část. Zohledňujeme i to, že půjde o plně automatizované datacentrum pouze pro interní servery (nikoliv tedy pro umístění serverů zákazníků) s minimálním počtem technických pracovníků na místě.

V praxi si lze nové datové centrum představit z vnějšku jako železobetonovou kostku, případně porostlou zelení, bude-li to nutné z legislativních důvodů pro splnění kvót poměru zastavitelnosti a zeleně. Využít lze prefabrikované díly (pravděpodobně preferovaná varianta z důvodu kvality betonu a ceny), nebo použít litý beton pro větší „monolitičnost“ se vstupem s pancéřovými dveřmi sloužícími současně jako nákladní vstup.

Díky účelu budovy odpadají další nákladné prvky jako většina oken, toalet a podobně. Absence většiny oken navíc přispívá k větší bezpečnosti před atmosférickou elektřinou a budovu lze pojmout jako „Faradayovu klec“. Další nespornou výhodou je jednoduchost celé konstrukce. Budova bude navíc vybavena několikanásobnou izolací střechy a přítomností vody jen v jednom bodě budovy bez ohrožení jakékoliv technologie při havárii.

Pro kompaktnost budovy a bezpečnostní hledisko (ale i cenu) jsme kalkulací došli k výpočtu, že je rovněž vhodnější umístit diesel generátory do budovy (odpadá vyhřívání generátorů v zimě a nutnost pořizovat kapotáž nebo kontejner) a stejně je efektivnější umístit trafostanice do budovy.

První stejnosměrné datacentrum v Česku

Jako první v Česku jsme se rozhodli pro plné stejnosměrné napájení. Nejde však o žádný převratný vynález, mnoho let tento koncept úspěšně provozují Google, Facebook a další. V konečném důsledku jsou servery napájeny stejnosměrně. Historicky byly v minulosti telekomunikační ústředny v datacentrech napájeny napětím 48 V DC. Toto napětí bývá v některých datacentrech k dispozici dodnes.

Pokud se podíváme na aspekt spolehlivosti, je většina výpadků datacenter po světě způsobena manipulací v rozvodně (většinou lidský faktor, není ale výjimkou ani technologický faktor selhání automatiky řízení) nebo na UPS.

Střídavé napájení je z tohoto pohledu náročnější na přepínání zdrojů, aby se tyto zdroje nepotkaly „proti sobě“, případně na fázování napájení dieselů. V UPS dochází ke konverzi ze střídavého na stejnosměrné (baterie jsou stejnosměrné) a následně opět ke konverzi na střídavé napětí. Nespornou výhodou je tak spolehlivost, jelikož stejnosměrné napájení umožňuje paralelní řazení napájecích zdrojů včetně záložních baterií bez zbytečných složitostí a rizik.

V datovém centru DC2 tak bude za trafostanicemi a diesel generátory (ty budou mít klasický střídavý výstup 400 V třífázově) usměrňovač na 326 V DC do společného výstupu jedné napájecí větve do napájecího zdroje pro 250 serverů. Každý server bude napájen ze dvou takových větví. Z tohoto zdroje je již vedeno klasické ATX napájecí napětí (+3,3 V DC, +5 V DC, +5 V SB, –5 V DC, +12 V DC, –12 V DC).

Vyšší stejnosměrné napětí sníží příliš vysoké proudy, které by tekly při „tradičnějších“ 48 V DC, což by znamenalo větší investici do kabeláže a přípojnic (více mědi znamená více peněz). Souvisí s tím značná prostorová úspora vzhledem k menším nárokům na prostory rozvoden. Společnými zdroji se dosáhne rovněž nižší energetické ztráty a snížení investičních nákladů (doufáme, v řádu nižších desítek milionů korun).

Práce na vlastních serverech

Značnou nevýhodou stejnosměrného napájení je zejména absence běžných serverů a dalších zařízení, které by bylo možné tímto způsobem snadno přímo napájet. Neplánujeme používat servery tradičních značek od běžných výrobců. Souvisí s tím jednak zbytečný náklad a také prostorová neefektivita v případě, že potřebujete zajistit maximální penetraci reálného výkonu (nikoliv jen počtu serverů) v rámci prostoru.

V této souvislosti jsme se rozhodli pustit se do přípravy vlastního konceptu serverů za použití běžných technologií (CPU, disky, RAM, základní desky). K novému datovému centru přistupujeme jako ke snaze vyrobit „kapacitu výkonu“ pro naše cloudové služby, tedy pro virtualizaci a kontejnerizaci, a pro managed služby.

Náš tým musí vyrobit vlastní řešení projektu rozvaděče (nepůjde tedy o klasické 19“ ani 21“ racky) pro 250 serverů, respektive osazených základních desek, které budou napájeny ze společných zdrojů. Půjde o velký „blade server“ s osmi tisíci jádry a téměř 13 TB RAM. Do datového sálu se těchto „bladů“ vejde 80 a budou osazovány postupně. Na bližší konstrukci a snad i první fotky „proof of concept“ vzorku se zaměřím v některém z dalších článků.

Chlazení a vyšší teploty

Chlazení se podílí nejvyšší měrou na efektivitě datacentra a je spolu s energetikou jedním ze dvou základních faktorů určující spolehlivost datacentra. Většina datacenter jde cestou chlazení přímým výparem. Známe to všichni – máme to v autech, v lednici, v domácí klimatizaci.

Větší datová centra volí složitější cestu chlazení pomocí směsi vody a ethylenglykolu, která má ale řadu rizik a nepatří mezi nejefektivnější varianty. Chlazení olejem jsme zavrhli jako z našeho pohledu příliš experimentální a logisticky omezující variantu, byť z pohledu efektivity půjde o jedno z nejefektivnějších řešení, o čemž nás přesvědčovali už kolegové ve Spojených státech i ve Vídni, kde jsme si systém chlazení olejem před pár lety prohlíželi.

DC2 se snažíme koncipovat jako efektivní. I díky vlastní konstrukci serverů předpokládáme možnost použití vyšších teplot (idea je 35+ °C). To nám umožní při použití freecoolingu minimalizovat počet hodin v nejteplejších letních dnech, ve kterých bude potřeba „přichlazování“ pomocí přímého výparu. Ideálně se tomu chceme vyhnout.

Na stole jsou varianty přímého a nepřímého vzduchového freecoolingu. Přímým freecoolingem dosáhneme výrazně lepší účinnosti (PUE), ovšem použití přímého freecoolingu v průmyslových oblastech, ve kterých bychom rádi DC2 postavili (výběrem lokality se budu zabývat v dalším článku), komplikuje použití přímého freecoolingu kvalita ovzduší (zanášení filtrů a podobně).

Varianta nepřímého freecoolingu je z tohoto pohledu lepší, ovšem za cenu horší účinnosti. Oproti přímému výparu bude ale stále účinnost takového chlazení výrazně zajímavá (nepřímým freecoolingem a přímým výparem bude v koeficientu efektivity PUE rozdíl cca 0,3). Účinnost nepřímého freecoolingu se vylepšuje adiabatickým předchlazením, ideálně za použití nashromážděné dešťové vody, která nevyžaduje úpravu tvrdosti.

Hašení pro nepravděpodobné situace

Byť považuji požár v datacentru za silně nepravděpodobný (minimum hořlavých materiálů), požár v datacentru České pošty ukazuje, že není nereálný. Naše DC2 bude disponovat hašením FM-200 (pro datový sál). Případně obdobným, dle legislativních možností, FM-200 pro nové instalace a technologické prostory rozvoden, generátorů a trafostanic. Ty budou zabezpečeny „hrubějším“ a efektivnějším hašením CO2.

Klíčové prvky 2 x N

Všechny klíčové prvky budou dvakrát N a zajistíme oddělitelnost jednotlivých prvků z pohledu vnějších vlivů (požár a podobně).

Jinak aktuálně procházíme verifikací našich myšlenek. A to jak s projektanty jednotlivých profesí, tak s provozovateli koncepčně podobných datacenter mimo Českou republiku. Chceme získat informace o provozních zkušenostech a pracujeme na „proof of concept“ vlastního hardwaru.

Paralelně s tím jednáme o vhodném pozemku, čemuž se budu věnovat v dalším článku. Následně nás čeká příprava projektové dokumentace pro první legislativní stupeň – tedy dokumentace pro vydání územního rozhodnutí.

Damir Špoljarič