JanWiersma.com

Datacenter temperatuur–revisited

In 2009 schreef ik een uitgebreid stuk over datacenter temperatuur. De afgelopen jaren heb ik dit onderwerp ook diverse keren behandeld op congressen. Gezien de ontwikkelingen op dit gebied de laatste maanden; tijd voor een update.

Algemeen kunnen we stellen dat computer apparatuur best wel wat kan hebben. Kijk eens naar de PC die ergens onder je bureau al jaren trouw staat te draaien. Als we die open maken zitten ze meestal vol met stof. Ook is de lucht circulatie meestal niet al te best, zo weg gestopt tussen allemaal spullen. Als we naar game consoles kijken zien we dat hardware helemaal veel kan hebben. De uiterst krachtige PlayStation 3 of XBOX 360 zijn uitgevoerd met een kleine ventilator en weg gestopt in een kastje onder de TV. Zo gaf ook James Hamilton (Amazon) aan in 2010:

[youtube=http://www.youtube.com/watch?v=kHW-ayt_Urk&w=448&h=252&hd=1]

(Bedoelde stuk vanaf 20min:15sec, de rest van de video is ook erg de moeite waard overigens…)

De hoofd reden om koeling toe te passen in het datacenter zijn de eisen van de IT hardware leverancier. Deze eisen zijn terug te vinden in de garantie voorwaarde. Zodra je buiten de aangegeven bandbreedte opereert, vervalt je garantie. De vraag is hoe groot de veiligheids marge is die door de advocaten van de hardware leverancier is ingebouwd. Mensen, zoals Christian Belady, die in de ontwikkeling van hardware hebben gewerkt merkten al eerder op:

As a former server designer, I know that server vendors “sandbag” their hardware. Sandbagging refers to the practice of knowing you can do more but holding back to hedge your risks; in reality, I believe that manufacturers can take greater risks in their operating environments and still achieve the same reliability levels.

Verandering aan de horizon.TC99_Books_Staggered_Large_2

ASHRAE is altijd aardig richting gevend geweest als het aankomt op datacenter temperatuur. Vooral hun Technical Committee (TC) 9.9 (Mission Critical Facilities, Technology Spaces and Electronic Equipment), is een bonte verzameling aan datacenter specialisten, eind gebruikers en hardware leveranciers die bepalend zijn voor een aantal ‘standaarden’ binnen de datacenter industrie.

TC9.9 heeft een bonte verzameling aan boeken gepubliceerd, waar onder “Thermal Guidelines for Data Processing Environments”. In dit boek word ook de bandbreedte voor datacenter temperatuur behandeld, en de inhoud word door alle grote IT leveranciers onderschreven. In de eerste editie van dit boek was de grens op 25C voor de inlet-temperatuur gesteld. In 2008 kwam er een update waarbij de grens op 27C gesteld werd.

Versie 3 komt over een aantal dagen (begin maart 2011) beschikbaar en hier in zal de bandbreedte weer opgerekt worden. Wederom ondersteund door alle grote IT leveranciers. Zoals het persbericht vermeld, word naast de hogere temperatuur er ook rekening gehouden met (oudere) legacy systemen die dit niet ondersteunen.

The third edition will be equally groundbreaking in that it will enable compressorless cooling (all cooling through economizers) in many applications.  Accomplishing this has been a challenge since major tradeoffs (equipment size, equipment cost and operating cost) surface above a certain temperature threshold.  This challenge is complicated because the threshold is not the same for all the manufacturers.

“Different locations, applications and business philosophies make it ineffective to force all equipment to be capable of the same high temperature tolerance (in some cases higher thresholds would negatively impact the return on investment),” Beaty said. “To address this, the third edition creates multiple server classes and therefore provides freedom of choice.  This is particularly important since the thermal guidelines are used throughout the world.”

Deze update door TC9.9 is ook duidelijk een antwoord op de groeiende trend bij grotere datacenter eigenaren om zelf de temperatuur grenzen op te zoeken. Yahoo nam deze stap al in hun

‘Yahoo Computing Coop’ waarbij men volledig passief koelt en hogere temperaturen gebruikt. eBay nam samen met DatacenterPulse dit nog een stap verder door een datacenter in Phoenix te bouwen, met een gemiddelde van 38C in de zomer, en deze volledig van vrije koeling te voorzien. Ook hierbij werden hogere temperaturen voor de IT systemen gebruikt.

Buiten de grenzen.

Veel van de innovatieve ideeën komen door het denken buiten de bestaande oplossingen en vooral jezelf af te vragen waarom dingen zijn zoals ze zijn. Als we zien dat hogere temperaturen en bijvoorbeeld stof maar een marginaal effect heeft op de beschikbaarheid van het systeem en we zien dat er grote winsten te halen zijn door anders (of niet) te koelen zou je een radicale stap kunnen nemen: je systemen buiten de garantie grens laten draaien.

Zodra je buiten de grens komt (nu meestal 35C), vervalt je garantie. Dit betekend dat je niet meer bij de leverancier kunt aankloppen als je systeem stuk is. Als je echter zelf een paar extra systemen op de plank legt ter vervanging van je defecte systeem, is je probleem ook snel opgelost. Daarnaast kun je met de leverancier onderhandelen over een inkoop korting voor deze systemen aangezien je de garantie niet nodig hebt. Zoals eerder gezegd kent de garantie voorwaarde een hele grote veiligheids marge en blijken systemen een stuk robuuster.

Dit idee is een kwestie van kosten en risico berekening.

Integratie en meten

Extreme temperatuur of niet, het goed meten en vastleggen van de (inlet) temperaturen in het datacenter is een must. Dit geeft je inzicht in de effecten van het verhogen van de temperatuur en het totale warmte beeld dat dit oplevert voor je datacenter.

Ondanks het feit dat bijvoorbeeld server systemen tegenwoordig een garantie grens kennen van 35C, heb ik diverse discussies met engineers van grote IT leveranciers gehad over het feit dat het ‘te warm’ zou zijn in een datacenter dat afgeregeld was rond de 25C. Het goed meten en vastleggen van temperatuur kan je dus ook redden in dit soort garantie discussies.

Voor de ontwerpen van Yahoo en eBay zien we dat men maximaal steunt op de integratie tussen IT systemen en het fysieke datacenter. Door deze keten goed op elkaar af te stemmen kan de echte winst gehaald worden. Denk hierbij aan de discussie: als de temperatuur omhoog gaat –> gaat de server fan harder draaien, waar door de energie afname om hoog gaat (zi
e vorige blog
). De oplossing hier voor word dus niet alleen gezocht in fan-less server ontwerpen maar vooral in de integratie tussen de keten delen.

Warm is best wel eng…

Van ASHRAE mogen we al enige tijd hoger dan 21C. Ook de leveranciers voorwaarde staan ons niet in de weg om hoger te gaan. Daarnaast zijn er diverse onderzoeken die zelfs laten zien dat het nog veel extremer kan met 35C+. De realiteit is dat maar weinig datacentra echt naar hogere temperaturen gaan; de meeste blijven hangen rond de 20 – 22C.

Ik kan me voorstellen dat bedrijven zich niets aan trekken van een ‘groen imago’ of ‘maatschappelijk verantwoord zijn’. Door hun ICT-ers en facilitair personeel echter niet te stimuleren om te kijken naar datacenter temperatuur en het verhogen daar van laten deze bedrijven financiële besparingen liggen. En dat is toch iets was aantrekkelijk moet zijn voor elke organisatie in deze tijd van economische crisis…

Meer:

Share

GreenGrid bijeenkomst A’dam.. meer afkortingen..

Afgelopen week was er in Amsterdam de jaarlijkse EMEA Green Grid Tech Forum. Tijdens deze bijeenkomst worden nieuwe ontwikkelingen gedeeld met leden en niet-leden (in de ochtend).green-grid

De afgelopen jaren is de Green Grid vooral bezig geweest met het neerzetten van PUE en de ontwikkelingen daar rond om. Hier is men redelijk succesvol in geweest en dat smaakt naar meer. Voor de komende jaren gaat de focus op enkele andere zaken liggen;

Communicatie rond de voordelen van ICT, waarbij deze ingezet kan worden om de milieubelasting van een organisatie te verlagen. Dit is de ‘IT-for-Green’ benadering, waarbij bijvoorbeeld video conferencing het aantal kilometers per auto en vliegtuig verlaagt en derhalve bij draagt aan een lagere CO2 uitstoot.

Men is ook van plan om tenminste 2 nieuwe eenheden te introduceren; Carbon Usage Effectiveness (CUE) en de Water Usage Effectiveness (WUE), zoals ook aangekondigd in recent persbericht:

The new metrics, called Carbon Usage Effectiveness (CUE) and the upcoming Water Usage Effectiveness (WUE), are joining The Green Grid’s widely-used Power Usage Effectiveness (PUE) metric. All are designed to help IT, facilities, and sustainability organizations across the globe optimize their data centers.

Hierbij is het goed om te zien dat men water verbruik als een belangrijke factor gaat zien rond duurzame datacentra. Het nadeel is wel dat er weer mee afkortingen en maateenheden worden geïntroduceerd.

Tijdens de bijeenkomst werd er echter ook nog een ander balletje opgegooid: Het mag duidelijk zijn dat duurzaamheid verder gaat dan de energie efficiëntie waar Green Grid zich tot nu toe op heeft gericht. Uiteindelijk is de totale duurzaamheid, maar ook CO2 uitstoot, iets van de gehele keten van de IT omgeving.

Om de efficiëntie daar van beter in beeld te brengen, kwam men met het idee voor een Data Center Maturity Model. Dit model werd bedacht door Harkeeret (Harqs) Singh, die in het bestuur van de Green Grid zit. Dit idee lijkt nu geadopteerd te worden door Green Grid.

Maturity_Model_05082010

Het model kent op dit moment 5 niveaus van volwassenheid en diverse categorieën die getoetst kunnen worden. In de komende tijd word het model verder door ontwikkeld op basis van feedback van de Green Grid leden.

— update 9 dec 2010 —
De presentaties van de bijeenkomst zijn beschikbaar:

The Green Grid Overview
EMEA Activities
Interxion End User Presentation
Microsoft End User Presentation
Harmonizing Global Metrics for Data Centre Energy Efficiency
Data Centre Maturity Model

Share

Het datacenter naar zee

In 2008 kondigde International Data Security (IDS) aan om schepen in te zetten als datacenter locaties. Deze week komen ze met het bericht dat ze een Proof Of Concept (POC) gaan uitvoeren.

De ideeën voor een datacenter op zee zijn niet nieuw. Zeker gezien het patent wat Google hier op aanvroeg in 2007. (zie plaatje).

Hierbij word vooral ingezet op het gebruik van zee water; als koelwater voor de IT systemen en voor het genereren van elektra via golfslag.

Nu hebben wij als Nederlanders al een hele lange relatie met de zee en het bedenken van creatief gebruik van de zee. Voor elektra opwekking zijn dus diverse (Nederlandse) oplossingen beschikbaar.

In 2006 testen de TU Delft de aandrijving van een citruspers op het strand van Scheveningen, onder het motto ‘Energie uit golven’

De firma Ecofys werkt aan hun Wave Rotor concept, waarbij de kracht van de zee word om gezet in energie.

Ook in het buitenland word er al enige jaren gewerkt aan energie opwekking uit zee:

Tijdens de conferentie Clean Energy Power in januari 2006 in Berlijn was één van de themabijeenkomsten speciaal gewijd aan het opwekken van energie uit de zee. Het was indrukwekkend om te zien met hoeveel inzet of ‘Begeisterung’ Duitse ingenieurs en universiteiten werken aan het onderzoek naar de mogelijkheden om energie op te wekken uit zee: in vrijwel alle projecten over de wereld hebben Duitse ingenieurs op de een of ander manier wel een aandeel.

(Bron: Verslag conferentie Clean Energy Power in januari 2006 in Berlijn – http://www.twanetwerk.nl/default.ashx?DocumentId=5967)

De vraag is hoe wetgeving zal om gaan met ‘het datacenter op zee’. De discussie rond de locatie van data is aardig aangezwengeld door de Cloud ontwikkelingen, en deze oplossing maakt het nog interessanter. Op zo’n 22km uit de kust eindigt het territoriale water en is het VN-zeerechtverdrag van toepassing.

Meer:

Share

Microsoft’s holistische blik…

Microsoft heeft een nieuw whitepaper uitgebracht genaamd A Holistic Approach to Energy Efficiency in Datacenters.

In het document onderschrijven ze de manier waar op DatacenterPulse naar het datacenter kijkt en die ik eerder heb beschreven in Groene applicaties ? Integratie !

But just improving PUE should not be an organization’s goal. The real goal is to eliminate waste and pack as much
compute capability in the available power budget. PUE can be a useful indicator of energy efficiency, but it can also
mislead you if used blindly. Take for example a scenario in which the fans in a server can be removed without impacting
its performance. The elimination of fan power reduces the IT power (fan power is part of IT power), improves energy
efficiency, but it also increases the PUE!

De Microsoft mensen (voornamelijk Global Foundation Services (GFS)) verdienen credits voor hun werk en openheid hier over.

Meer:

Share

Groene applicaties ? Integratie !

In de datacenter wereld zijn we al enige tijd bezig met energie efficiëntie. Er worden gezamenlijke normen ontwikkeld zoals Power Usage Effectiveness (PUE). De kunst in het datacenter is dan om zo veel mogelijk energie voor de IT apparatuur beschikbaar te hebben en zo weinig mogelijk te ‘verliezen’ in koeling, verlichting, UPS en andere facilitaire voorzieningen.

Er is een constante race gaande om deze PUE zo klein mogelijk te maken. Er ontstond zelfs een hele PUE ‘oorlog’, aangevoerd door de marketing afdelingen van diverse grote datacenter aanbieders. Deze race levert hele goede innovatie op, maar richt zich alleen op het fysieke datacenter.

Deze PUE zegt helemaal niets over het verbruik van de IT apparatuur zelf; een server kan energie verbruiken en ondertussen geen nuttig werk staan te verrichten (‘idle’ zijn). Ook kunnen de applicaties die op de systemen in het datacenter draaien, ontzettend inefficiënt geschreven zijn en daar door veel energie verbruiken.

Het hebben (en behouden) van een goede PUE betekend dus niet automatisch dat men ook Groen is. Zeker niet als we ook aspecten als grondstof verbruik, recycling en afvoer van afval stoffen (denk aan verpakkingsmaterialen voor servers) en water verbruik (denk aan koelinstallaties) meenemen.

Dat het bekijken van het geheel in plaats van het (sub)optimaliseren van delen handiger is, is iets wat ik al langer verkondig in presentaties en artikelen. Hier voor hanteer ik meestal de DCP Stack;

090924-dc-stack-1.4

Deze toont de gehele keten, die noodzakelijk is om waarde te leveren aan de organisatie. Ook zien we dan de onderlinge afhankelijkheden. (Dit word ook wel de holistische datacenter blik genoemd.)

De IT zijde van de DCP Stack (Platform en hoger) beleven dynamische tijden met virtualisatie en Cloud technieken. Deze dynamiek heeft ook zijn uitwerking op de onderliggende lagen; het fysieke datacenter.

Zo komt men met technieken om virtuele servers dynamisch te verplaatsen van de ene naar de andere fysieke server (VMotion genaamd bij VMware). Hier door ontstaat de mogelijkheid om tijdens dal uren fysieke servers uit te schakelen; deze staan dan toch niets te doen. (VMware Distributed Power Management – Youtube Video).

Hiermee krijgen we een dynamisch IT datacenter, waarbij collecties van servers op- en afschakelen en daar mee ook een zeer dynamische warmte last gaan genereren. Daarbij zou communicatie tussen de IT omgeving en het fysieke datacenter handig zijn; de IT omgeving kan een voorwaarschuwing afgeven naar het koelsysteem bij het opschakelen van een grote collectie servers.

Continue with reading

Share

Werken aan eenheid rond PUE…

Op 13 januari 2010 kwam onder leiding van de US Department Of Energy (DOE) een bont gezelschap bij elkaar:

  • 7×24 Exchange
  • ASHRAE
  • The Green Grid:
  • Silicon Valley Leadership Group
  • U.S. Department of Energy Save Energy Now Program
  • U.S. Environmental Protection Agency’s ENERGY STAR Program
  • U.S. Green Building Council
  • Uptime Institute

Doel was consensus te vinden rond het meten van energie efficiëntie. Naar aanleiding van deze bijeenkomst werd een overeenkomst gesloten om op dit gebied samen te werken en te komen tot een standaard.

In navolging van deze overeenkomst werd in april aangekondigd dat diverse overheids en standaarden organisaties ook aangehaakt zijn en gezamenlijk werken aan de wereldwijde normering van PUE:

Parties to the agreement include segments of the U.S. Department of Energy, as well as the U.S. Environmental Protection Agency’s (EPA’s) Energy Star program, Japan’s Ministry of Economy, the European Union Code of Conduct, and various industry groups, such as the before-mentioned Green Grid and the Green IT Promotion Council of Japan. The agreement specifies power usage effectiveness (PUE) as the industry standard for energy efficiency measurement.

Zie ook: The Green Grid in een persbericht hier over.

Hier mee heeft deze samenwerking de potentie om een wereldwijde standaard voor PUE neer te zetten.

De vraag is; wat gaat Nederland doen ? Gaat bijvoorbeeld ICT~Office (samen met TNO) door met de ontwikkeling van de Nederlandse EUE ? Of zoeken we aansluiting bij de internationale initiatieven.

DatacenterPulse is aangesloten bij het internationale initiatief, via de samenwerkingsovereenkomst met The Green Grid en de samenwerking met Silicon Valley Leadership Group.

Meer over de samenwerking aan een energie efficiëntie norm:

DatacenterJournal.

Persbericht van EnergyStar.gov

Share

Bijna.. maar niet helemaal… ASHRAE 90.1

Recent heeft ASHRAE een update uitgebracht van hun 90.1 Standaard. Deze standaard behandeld de energie efficiëntie voor (kantoor) gebouwen in de USA en is nu bijgewerkt voor datacentra. Net als in Nederland, krijg een norm of standaard pas waarde zodra er een referentie met een stuk wetgeving ontstaat. Diverse staten in de USA kennen wetgeving met een referentie naar de ASHRAE 90.1 Standard. Zo zijn er bouwwetgevingen die verplichten dat men voldoet aan de 90.1 bij nieuwbouw in diverse staten.

Het deel rond datacentra doet nogal wat stof opwaaien;

the standard dictates which types of cooling methods must be used. For example, the standard requires data centers to use economizers — systems that use ambient air for cooling.

Het schrijft dus duidelijk voor welke technologie er gebruikt moet worden.

Het mag ook duidelijk zijn dat het voorschrijven van een bepaalde technologie in plaats van het beschrijven van een te behalen KPI waarde. (bijvoorbeeld PUE/EUE) ontwikkeling en innovatie in de weg kan staan. Het vastleggen van een technologie (zoals economizers) zorgt er voor dat andere technologieën buiten gesloten worden.

Diverse US datacenter eigenaren reageren hier gezamenlijk op:

In many cases, economizers are a great way to cool a data center (in fact, many of our companies’ data centers use them extensively), but simply requiring their use doesn’t guarantee an efficient system, and they may not be the best choice. Future cooling methods may achieve the same or better results without the use of economizers altogether. An efficiency standard should not prohibit such innovation.

Ondertekenaars van dit antwoord op de ASHRAE 90.1 update zijn geen kleine jongens:

  • Chris Crosby, Senior Vice President, Digital Realty Trust
  • Hossein Fateh, President and Chief Executive Officer, Dupont Fabros Technology
  • James Hamilton, Vice President and Distinguished Engineer, Amazon
  • Urs Hoelzle, Senior Vice President, Operations and Google Fellow, Google
  • Mike Manos, Vice President, Service Operations, Nokia
  • Kevin Timmons, General Manager, Datacenter Services, Microsoft

Dit zijn organisaties die de afgelopen jaren gedurfde experimenten hebben uitgevoerd om hun datacenter energie efficiënter te maken en hebben daar mee een forse invloed gehad op de datacenter markt.

Deze zelfde invloed word door sommige ook toegedicht aan leden van ASHRAE bij het opstellen van de 90.1

one assumption is this group who are active in ASHRAE brought up the energy efficiency issue early on, and ASHRAE stakeholders, most likely vendors who make economizers saw an opportunity to make specific equipment a requirement of energy efficiency data centers.  I could be wrong, but it would explain why an organization who sets standards would choose to specify equipment instead of performance.

Iets wat goed mogelijk is, aangezien standaarden commissies vaak gevuld zijn met leveranciers en consultants en vaak maar een handje vol eind gebruikers. Dit is o.a. de reden voor de overeenkomst tussen GreenGrid en DatacenterPulse,

Het stellen van ambitieuze normen word aangemoedigd door de grote datacenter eigenaren. Het stellen van een ambitieuze norm zorgt voor extra innovatie, omdat men gedwongen word om de norm te halen;

As leaders in the data center industry, we are committed to aggressive energy efficiency improvements, but we need standards that let us continue to innovate while meeting (and, hopefully, exceeding) a baseline efficiency requirement set by the ASHRAE standard.

Meer:

Share

Nederlandse BREEAM (voor datacenters?)

In de zoektocht naar goede datacenter certificering en classificering komt de laatste tijd steeds meer LEED langs.

LEED staat voor Leadership in Energy and Environmental Design en is ontwikkeld door U.S. Green Building Council (USGBC) en geeft een standaard voor duurzaam bouwen en ontwikkelen. Inmiddels zijn er enkele datacenters met de hoogst mogelijke LEED certificering; Platinum.

Een overzicht staat op DatacenterKnowledge: LEED Platinum Data Centers

Uit Engeland komt de BREEAM certificering; BRE Environmental Assessment Method.  Deze is op sommige vlakken een tegenhanger van LEED. James Parker vergeleek de twee (BREEAM or LEED):

There is a lot of hype about the battle between BREEAM and LEED in the UK, but this seems to be unfounded. Both seem happy to co-exist and each has their niche areas or countries. They are even borrowing each other’s ideas as they grow.

BREEAM will probably always come out on top in the UK, simply because it is imbedded in the system. Government departments require BREEAM ratings of all their buildings; most local authorities require BREEAM as part of planning approval for developments over a certain size.

Once projects are underway that aim to be zero carbon, the likes of BREEAM or LEED may have developed to become the global default methods of assessment.

 

Continue with reading

Share

Waarom eindgebruikers er niet ‘voor gaan’

Het afgelopen jaar was ik aanwezig op het congres Week van de Koude met als subtitel ‘hoe houdbaar is koeling in 2020 ?’ Dit was een breed congres waar koel methode van supermarkt tot datacenter aan bod kwam.

Opvallend was de reactie uit de zaal op bepaalde datacenter onderwerpen. Vooral omdat het grootste deel van het publiek geen datacenter eigenaar was, maar uit de leverancier/consultant hoek kwam. Je zou verwachten dat deze mensen op de hoogte zijn van de laatste technische en wettelijke ontwikkeling. Innovatie zou volop in beeld moeten zijn… en dat was het niet… Er waren zeer conservatieve geluiden te horen en mensen die aangaven ‘ja maar… we moeten toch 21C lucht aanbieden met een bepaalde luchtvochtigheid’.

Ik luisterde met verbazing, tot dat de datacenter collega van Telecity met zijn presentatie begon en de opmerking maakte ‘ik kan niet te ver afwijken en te ver gaan in de ASHRAE normen omdat de klanten daar niet om vragen..’

En hij heeft gelijk… als je business aan de concurrent verliest omdat je klant ouderwetse eisen stelt… ga je ‘conservatief’ bouwen.

Continue with reading

Share