Datacenter temperatuur.. de uitdaging

Temperatuur in het datacenter; het blijft de gemoederen aardig bezig houden. Op zich logisch, want een aardig deel van de energie behoefte van een datacenter gaat richting de koeling en het leveren van de juiste temperatuur aan de aanwezige ICT apparatuur. Maar… wat is die juiste temperatuur ?

De meeste datacenters worden op dit moment afgeregeld op 20 a 21C lucht voor de server (de ‘inlet temperature’). Deze temperatuur is gekozen op basis van de ASHRAE boeken en richtlijnen van de afgelopen jaren, en het generieke idee dat de IT hardware leveranciers dit zouden eisen. In augustus 2008 bracht ASHRAE een update uit voor deze temperatuur eisen met een maximum van 27C inlet temperatuur. Dit was een wijziging op de oude richtlijn van maximum 25C.

Als we kijken naar de temperatuurs eisen van de leveranciers, in de garantie voorwaarde, zien we het volgende:

Apparaat	‘inlet’ temperatuur range
Dell PowerEdge r805	10C – 35C
Cisco Nexus 5000	0C – 40C
Sun SPARC Enterprise M9000	5C – 32C
NetApp FAS 6000	10C – 40C
HP DL380	10C – 35C
HP BL460c	10C – 35C
HP BL685c	10C – 35C

Uit elke categorie IT systemen heb ik enkele waarde genomen; netwerk, opslag, server (oud, rackmount en blade). De gemiddelde tijd tussen falen (MTBF) waarde voor deze systemen wordt altijd berekend op de hoogste waarde (bijvoorbeeld 35C voor een HP DL380). Hier mee wordt duidelijk dat 27C op zich dus helemaal niet extreem is.

Temperatuur en verhoging

Als we kijken naar de impact van temperatuur verhoging, denken we meteen aan winst; minder koelen, betekend minder geld uitgeven aan energie. Er zijn echter een aantal zaken die de aandacht vragen bij het verhogen van temperatuur:

• Ventilatoren in de IT systemen zullen soms harder moeten werken om de systemen op de juiste temperatuur te houden. Dit betekend dat ze meer lawaai zullen produceren. Ook zal het betekenen dat er meer energie gevraagd zal worden aan de IT zijde van de energie voorziening om deze ventilatoren harder te laten werken.
• De ‘warme gang’ zal nog warmer worden. Het verschil tussen de warme en koude gang in het datacenter kan oplopen tot 15 – 20C. De warme gang kan met het verhogen van de inlet temperatuur  oplopen tot 57C+. Niet echt een prettige werkomgeving dus…
• Het datacenter bestaat niet uit apparatuur van 1 leverancier of type. Omdat de temperatuur eisen per IT systeem verschillen, moet men de temperatuur ontwikkeling binnen het datacenter goed in de gaten houden. Denk hier bij ook aan het verschil tussen de bovenkant en de onderkant van het rack. (Afhankelijk van de koel methode, is de onder kant van het rack +/- 2C koeler dan de bovenzijde)
• Verhogen van de temperatuur heeft ook zijn effect op luchtvochtigheidswaarde in het datacenter. Er kan condensatie optreden en extra energie benodigd zijn voor de ontvochtiger en bevochtiger in het datacenter.

Het verhogen van de temperatuur brengt effecten met zich mee. De temperatuur kan omhoog, maar het moet wel met beleid.

Temperatuur en ventilatoren.

Zoals gezegd heeft de verhoging van inlet temperatuur voor de server als mogelijk gevolg dat de ventilator in de server harder gaat draaien en dit meer energie kost. Dit is bepaald in het ontwerp van de server en de firmware; een sensor meet de binnen komende temperatuur en regelt de ventilator snelheid. Per server ontwerp en leverancier verschilt de plaats van de sensor.

In de afgelopen jaren zijn de servers alleen maar kleiner geworden. We gingen naar ‘pizza dozen’ (1U servers) en blades. Het ontwerp van deze systemen brengt ook met zich mee dat de ventilatoren kleiner zijn geworden. Hoe kleiner de ventilator, hoe harder deze moet draaien en hoe meer herrie. Dit is een al oude ‘PC tweakers’ wijsheid. Om die reden weten de echt enthousiaste PC gebruikers al lang hun weg te vinden naar ventilatoren van 12cm of groter… lekker stil en toch koel !

Leveranciers van hardware voor deze ‘tweakers’ proberen met steeds betere ontwerpen te komen voor een grote ventilator op bijvoorbeeld de CPU. Als we naar servers kijken, zijn daar ook voldoende mogelijkheden om naar grotere ventilatoren te gaan. Waarom enkele kleine ventilatoren per server, als we ook een heel rack servers kunnen bedienen met een paar grote? Dergelijke methodieken doen nu ook hun intrede in de server wereld;

• De Google server (fan-less)
• SGI CloudRack C2
• Clustered Systems (cold plate)

In het huidig server ontwerp is ook een hoop winst te behalen door de ICT leveranciers, door bijvoorbeeld de firmware aan te passen. Uit recente testen tijdens de DatacenterPulse Chill Off 2, blijkt bijvoorbeeld dat de ventilatoren onnodig harder gaan draaien bij hogere inlet temperaturen. De echt warme onderdelen binnen de server (CPU, RAM, disk) zaten nog ruim binnen de marge, toen de firmware al wel besloot om de ventilator harder te laten draaien. Dit kan bijvoorbeeld ook aan de positie van de temperatuur sensor liggen binnen het server ontwerp.

Meer info over server ontwerp en koeling is te vinden in deze presentatie, gegeven tijdens het Intel Developer Forum 2009.

Temperatuur schommeling.

Recent publiceerde Michael Manos een goed verhaal over temperatuur schommeling in het datacenter. Over het algemeen word er gezegd in de datacenter wereld, dat snelle temperatuurswisseling niet goed is voor de levensduur van deze systemen. Het uitvallen van een koelsysteem kan leiden tot het snel oplopen van de datacenter temperatuur. Het daarna ‘kick starten’ van additionele koelsystemen om de temperatuur weer onder controle te krijgen kan leiden tot het snel dalen van de temperatuur. Dit snel stijgen en dalen zorgt voor uitzetten en krip van o.a. de printplaat in het IT systeem en hier door zou deze defect kunnen raken of de levensduur verkort.

Het aardige is echter dat de garantie voorwaarde van de IT leveranciers hier niets over roept en informatie over dit fenomeen zeer schaars is;

The only place where something like this is “documented” in any way is in the ASHRAE THermal Guidelines book. Since the group that wrote this book included all of the major server vendors, it must have been created with some type of justifiable reason. It states that the “maximum rate of temperature change is 5 degress C (9 degrees F) per hour.

Vijf graden Celsius per uur is echter niet echt een snelle stijging en daling te noemen. In vele datacenter contract stukken blijkt een clausule opgenomen/geëist waar in deze temperatuur schommeling is opgenomen;

For those of you who have not encountered this before its a provision between hosting customer and hosting provider (most often required by the customer)  that usually looks something like this:

If the ambient temperature in the data center raises 3 degrees over the course of 10 (sometimes 12, sometimes 15) minutes, the hosting provider will need to remunerate (reimburse) the customer for thermal shock damages experienced by the computer and electronics equipment.  The damages range from flat fees penalties to graduated penalties based on the value of the equipment.

Aan de clausule word een schadevergoeding gekoppeld. De vraag is waar op deze gebaseerd is ? Bij een temperatuur stijging van 3 graden in 10 minuten; met hoeveel maanden word de levensduur van de apparatuur verkort ?

Ook is het aardig om hier bij het IT virtualisatie concept aan te halen:

Bij de virtualisatie van IT systemen wel men graag dynamisch met de IT reken kracht om gaan en deze pas aanzetten (en energie laten verbruiken) als dit echt nodig is. Hier voor zijn inmiddels diverse technieken beschikbaar van leveranciers als VMware. Deze kunnen bijvoorbeeld tijdens de piek momenten van een dag (‘s morgens inloggen en ‘s avonds uitloggen) server systemen op- en afschakelen. Tijdens testen hier mee loopt de temperatuur rond blade servers wel meer als 3C op binnen 10 minuten.

Daar waar iedereen blijft roepen dat we 21C lucht aan ICT systemen moeten aanbieden, roept ook iedereen dat 3 graden stijgen of dalen binnen 10 (of 12, of 15min) niet mag in het datacenter. Beide zonder dat we de garantie voorwaarde van de ICT leverancier schenden of er bewezen is dat de betrouwbaarheid van de systemen geschaad word. De datacenter wereld kent zo zijn mythes… 😐

Temperatuur en kabels

Zoals eerder aangegeven kan de temperatuur aan de achterzijde van het rack nogal oplopen. Aan deze achterzijde bevinden zich over het algemeen de kabels die servers en netwerk/storage switches met elkaar verbind. Koper en glaskabels zorgen hier voor. Kabels zijn er in diverse uitvoeringen en kwaliteit, maar voor alle kabels geldt: hoe hoger de temperatuur, hoe groter de weerstand in de kabel. Deze weerstand zorgt er voor dat het signaal in de kabel moelijker van A naar B kan.

Balanced twisted-pair cables used in premises applications are expected to operate under avariety of environmental conditions. One concern is the attenuation increase at higher cable temperatures (above 20 °C [68 °F]).

……

All twisted-pair cables are referenced in the cabling standards at 20 °C +/- 3 °C. For adjustment purposes, the attenuation is reduced by a factor of 0.2 percent per degree Celsius for temperatures above 20 °C for screened cables, and 0.4 percent per degree Celsius for all frequencies and for all temperatures up to 40 °C, then by 0.6 percent per degree Celsius for all frequencies and for all temperatures from 40 °C to 60 °C for all unscreened cables. (Bron: BICSI TDMM v11)

Voor telecommunicatie kabels zijn diverse normen en enkele van deze normen beschrijven de parameters waar binnen de kabels werken en getest worden. Op deze manier kan men garanties afgeven over de te behalen snelheden (100mb, 1GB, 10GB en nu in ontwikkeling 40&100GB).

Zowel koper als glas word getest bij 20C. Bij verhoging van de temperatuur moet gerekend worden met de weerstand factor. In het bovenstaande voorbeeld: koper CAT5e kabel 0,2% per graden Celsius boven de 20C.

Voor de meeste kabels en normen geld dat men tot een een maximum van 60C test en garanties afgeeft. Hier boven moet men rekening houden met dusdanig veel signaal verlies, dat de communicatie ernstig verstoord raakt.

De kabel leveranciers hebben dus ook nog even wat werk te doen voor de datacenter omgeving. Bij een temperatuur van 55C (en stijgend..) aan de achterzijde van het rack is er weinig ruimte tot de bovenkant van de marge.

Temperatuur en vrije koeling

Het verhogen van de temperatuur in het datacenter geeft geweldige kansen voor het toepassen van vrijekoeling.

Voor veel plaatsen in de wereld zou een setpoint van 35C in het datacenter betekenen dat er gekoeld zou kunnen worden met de buitenlucht met behulp van diverse vrijekoelingstechnieken.

The Green Grid heeft recent een kaart en analyse tool uitgebracht voor het berekenen van de winst met vrije koeling. Deze houd ook rekening met verhoogde inlet temperaturen voor IT systemen.

Zie ook IBM distinguished scientist en voormalig ASHRAE chairman Roger Schmidt in een video over vrije koeling:

http://link.brightcove.com/services/player/bcpid33551242001?bclid=33547488001&bctid=33576827001

Temperatuur en de toekomst

Het mag duidelijk zijn dat men nog een aardige weg te gaan heeft. De basis van veel van deze onderzoeken en mogelijkheden is risico; als het risico op uitval van IT apparatuur verhoogd word, word de kans kleiner dat de leverancier garanties zal geven en daarmee de kans kleiner dat de eindgebruiker de apparatuur op deze temperatuur zal gebruiken.

Onderzoeken zoals die van Microsoft (de datacenter ‘tent’) en Intel (buitenlucht direct naar binnen) geven aan dat IT apparatuur veel meer kan hebben dan waar de leveranciers garanties voor afgeven.

Er liggen veel mogelijkheden in het heden:

• Verhogen van de temperatuur tot 27C (of de leverancier max 35C). Dit in stapjes, in combinatie met energie en hotspot meting, tot de juiste balans bereikt word tussen energie afname en datacenter temperatuur.
• Selectie van IT hardware. Blades zijn misschien niet altijd de beste keuze, zek
  er niet als men toch al virtualisatie inzet. Virtualisatie maakt je veel meer hardware onafhankelijk dan je ooit had kunnen vermoeden… Kijk bijvoorbeeld eens naar de ‘fan-less’ server ontwerpen die op de markt zijn.
• De inzet van vrije koeling methode geeft veel mogelijkheden. Dit blijkt uit het onderzoek van The Green Grid.
• Denk ‘out of the box’: praat met je IT hardware leverancier over het verleggen van de grens voor de garantie voorwaarde. En als dat niet lukt of ver genoeg gaat… hoe erg is het om garantie voorwaarde te overschrijden ? Welke reële risico’s brengt dit met zich mee en welke zijn voor jou business acceptabel ?

en in de toekomst:

• Het toepassen van de ETSI EN 300 019 standaard op ICT apparatuur, zou een mooie stap zijn. Deze ondersteund 0 tot 40C als inlet temperatuur en word gehanteerd in de telecom sector. (zie ook NEBS)
• Fanless server ontwerpen moeten aangemoedigd worden. In de komende maanden zal DatacenterPulse hier met diverse server leveranciers over praten en aandacht aan besteden.

Meer leesvoer over dit onderwerp:

• Green Data Center Blog – Data Center Myth – Thermal/Temperature Shock
• DatacenterKnowledge – Will Server Warranties Get Hotter, Too? & Raise the Temperature
• Perspectives – 32C (90F) in the Data Center & Next Point of Server Differentiation: Effiiciency at Very High Temprature
• Loosebolts – Data Center Junk Science: Thermal Shock Cooling Shock
• DatacenterPulse – IT Fan & ASHRAE