In 2009 schreef ik een uitgebreid stuk over datacenter temperatuur. De afgelopen jaren heb ik dit onderwerp ook diverse keren behandeld op congressen. Gezien de ontwikkelingen op dit gebied de laatste maanden; tijd voor een update.
Algemeen kunnen we stellen dat computer apparatuur best wel wat kan hebben. Kijk eens naar de PC die ergens onder je bureau al jaren trouw staat te draaien. Als we die open maken zitten ze meestal vol met stof. Ook is de lucht circulatie meestal niet al te best, zo weg gestopt tussen allemaal spullen. Als we naar game consoles kijken zien we dat hardware helemaal veel kan hebben. De uiterst krachtige PlayStation 3 of XBOX 360 zijn uitgevoerd met een kleine ventilator en weg gestopt in een kastje onder de TV. Zo gaf ook James Hamilton (Amazon) aan in 2010:
[youtube=http://www.youtube.com/watch?v=kHW-ayt_Urk&w=448&h=252&hd=1]
(Bedoelde stuk vanaf 20min:15sec, de rest van de video is ook erg de moeite waard overigens…)
De hoofd reden om koeling toe te passen in het datacenter zijn de eisen van de IT hardware leverancier. Deze eisen zijn terug te vinden in de garantie voorwaarde. Zodra je buiten de aangegeven bandbreedte opereert, vervalt je garantie. De vraag is hoe groot de veiligheids marge is die door de advocaten van de hardware leverancier is ingebouwd. Mensen, zoals Christian Belady, die in de ontwikkeling van hardware hebben gewerkt merkten al eerder op:
As a former server designer, I know that server vendors “sandbag” their hardware. Sandbagging refers to the practice of knowing you can do more but holding back to hedge your risks; in reality, I believe that manufacturers can take greater risks in their operating environments and still achieve the same reliability levels.
Verandering aan de horizon.
ASHRAE is altijd aardig richting gevend geweest als het aankomt op datacenter temperatuur. Vooral hun Technical Committee (TC) 9.9 (Mission Critical Facilities, Technology Spaces and Electronic Equipment), is een bonte verzameling aan datacenter specialisten, eind gebruikers en hardware leveranciers die bepalend zijn voor een aantal ‘standaarden’ binnen de datacenter industrie.
TC9.9 heeft een bonte verzameling aan boeken gepubliceerd, waar onder “Thermal Guidelines for Data Processing Environments”. In dit boek word ook de bandbreedte voor datacenter temperatuur behandeld, en de inhoud word door alle grote IT leveranciers onderschreven. In de eerste editie van dit boek was de grens op 25C voor de inlet-temperatuur gesteld. In 2008 kwam er een update waarbij de grens op 27C gesteld werd.
Versie 3 komt over een aantal dagen (begin maart 2011) beschikbaar en hier in zal de bandbreedte weer opgerekt worden. Wederom ondersteund door alle grote IT leveranciers. Zoals het persbericht vermeld, word naast de hogere temperatuur er ook rekening gehouden met (oudere) legacy systemen die dit niet ondersteunen.
The third edition will be equally groundbreaking in that it will enable compressorless cooling (all cooling through economizers) in many applications. Accomplishing this has been a challenge since major tradeoffs (equipment size, equipment cost and operating cost) surface above a certain temperature threshold. This challenge is complicated because the threshold is not the same for all the manufacturers.
“Different locations, applications and business philosophies make it ineffective to force all equipment to be capable of the same high temperature tolerance (in some cases higher thresholds would negatively impact the return on investment),” Beaty said. “To address this, the third edition creates multiple server classes and therefore provides freedom of choice. This is particularly important since the thermal guidelines are used throughout the world.”
Deze update door TC9.9 is ook duidelijk een antwoord op de groeiende trend bij grotere datacenter eigenaren om zelf de temperatuur grenzen op te zoeken. Yahoo nam deze stap al in hun
‘Yahoo Computing Coop’ waarbij men volledig passief koelt en hogere temperaturen gebruikt. eBay nam samen met DatacenterPulse dit nog een stap verder door een datacenter in Phoenix te bouwen, met een gemiddelde van 38C in de zomer, en deze volledig van vrije koeling te voorzien. Ook hierbij werden hogere temperaturen voor de IT systemen gebruikt.
Buiten de grenzen.
Veel van de innovatieve ideeën komen door het denken buiten de bestaande oplossingen en vooral jezelf af te vragen waarom dingen zijn zoals ze zijn. Als we zien dat hogere temperaturen en bijvoorbeeld stof maar een marginaal effect heeft op de beschikbaarheid van het systeem en we zien dat er grote winsten te halen zijn door anders (of niet) te koelen zou je een radicale stap kunnen nemen: je systemen buiten de garantie grens laten draaien.
Zodra je buiten de grens komt (nu meestal 35C), vervalt je garantie. Dit betekend dat je niet meer bij de leverancier kunt aankloppen als je systeem stuk is. Als je echter zelf een paar extra systemen op de plank legt ter vervanging van je defecte systeem, is je probleem ook snel opgelost. Daarnaast kun je met de leverancier onderhandelen over een inkoop korting voor deze systemen aangezien je de garantie niet nodig hebt. Zoals eerder gezegd kent de garantie voorwaarde een hele grote veiligheids marge en blijken systemen een stuk robuuster.
Dit idee is een kwestie van kosten en risico berekening.
Integratie en meten
Extreme temperatuur of niet, het goed meten en vastleggen van de (inlet) temperaturen in het datacenter is een must. Dit geeft je inzicht in de effecten van het verhogen van de temperatuur en het totale warmte beeld dat dit oplevert voor je datacenter.
Ondanks het feit dat bijvoorbeeld server systemen tegenwoordig een garantie grens kennen van 35C, heb ik diverse discussies met engineers van grote IT leveranciers gehad over het feit dat het ‘te warm’ zou zijn in een datacenter dat afgeregeld was rond de 25C. Het goed meten en vastleggen van temperatuur kan je dus ook redden in dit soort garantie discussies.
Voor de ontwerpen van Yahoo en eBay zien we dat men maximaal steunt op de integratie tussen IT systemen en het fysieke datacenter. Door deze keten goed op elkaar af te stemmen kan de echte winst gehaald worden. Denk hierbij aan de discussie: als de temperatuur omhoog gaat –> gaat de server fan harder draaien, waar door de energie afname om hoog gaat (zi
e vorige blog). De oplossing hier voor word dus niet alleen gezocht in fan-less server ontwerpen maar vooral in de integratie tussen de keten delen.
Warm is best wel eng…
Van ASHRAE mogen we al enige tijd hoger dan 21C. Ook de leveranciers voorwaarde staan ons niet in de weg om hoger te gaan. Daarnaast zijn er diverse onderzoeken die zelfs laten zien dat het nog veel extremer kan met 35C+. De realiteit is dat maar weinig datacentra echt naar hogere temperaturen gaan; de meeste blijven hangen rond de 20 – 22C.
Ik kan me voorstellen dat bedrijven zich niets aan trekken van een ‘groen imago’ of ‘maatschappelijk verantwoord zijn’. Door hun ICT-ers en facilitair personeel echter niet te stimuleren om te kijken naar datacenter temperatuur en het verhogen daar van laten deze bedrijven financiële besparingen liggen. En dat is toch iets was aantrekkelijk moet zijn voor elke organisatie in deze tijd van economische crisis…
Meer:
De vraag: als de inlet temperatuur van servers naar 27C of hoger gaat (in de koude gang), dan word de achter kant (warme gang) wel heel erg warm (40+). Daar kan ik dan niet fatsoenlijk meer werken zonder een zwembroek.