Cloud – Page 2 – JanWiersma.com

German companies ask for Internet border patrol.

In the last year multiple companies started serving German customers out of Germany based datacenter locations.

There seems to be a specifically strong sentiment around security & privacy with German companies after the Edward Sonwden leaks. The kneejerk reaction is to mandate that servers should sit within German borders, as that would take any security & privacy concern away. Cloud providers are now starting to follow this customer demand.

Interestingly this reaction is more sentiment driven as there is no legal ground to request this. Especially as more and more German companies are putting this in place as a default policy, regardless of what type of data (privacy sensitive or not…)

Looking at the Federal Data Protection Act (Bundesdatenschutzgesetz in German) (“BDSG”) it states that certain transfer of data (like personal data) outside of the EU needs to be reported and approved and Data controllers must take appropriate technical and organizational measures against unauthorized or unlawful processing and against accidental loss or destruction of, or damage to, personal data. Nothing says servers need to be in Germany.

Looking at other EU countries, Germany seems to be the only country where organizations express such behavior. The only next inline could be Switzerland.

Continue with reading

CIO’s plukken vruchten van server innovaties

Op de afgelopen CIO dag (Nov 25&26) in Amsterdam werd ook ‘The big data center book’ uitgereikt. Hier in werden de Data center & cloud trends voor 2013 & 2014 toegelicht.

Mijn artikel in dit boek beschreef de trends in server hardware innovaties;

Naarmate onze datacenters groter worden en de eisen van webscale- en cloudproviders de markt overnemen, worden servers meer en meer slechts een component van een grotere machine. Hoewel componenten waardevol kunnen zijn, zijn zij niet langer het hele systeem en als zodanig kan hun waarde niet los gezien worden van het datacenter waarin zij gehuisvest zijn. De efficientie van het component wordt daarmee belangrijker dan het bezitten van ‘coole features’. Wat zijn de actule ontwikkelingen die moeten zorgen voor een lager energieverbruik van servers ?

Het volledige artikel is hier te vinden.

Where is the rack density trend going ?…

When debating capacity management in the datacenter the amount of watts consumed per rack is always a hot topic.

Years ago we could get away with building datacenters that supported 1 or 2 kW per rack in cooling and energy supply. The last few years demand for racks around 5-7kW seems the standard. Five years ago I witnessed the introduction of blade servers first hand. This generated much debate in the datacenter industry with some claiming we would all have 20+ kW racks in 5 years. This never happened… well at least not on a massive scale…

So what is the trend in energy consumption on a rack basis ?

Readers of my Dutch datacenter blog know I have been watching and trending energy development in the server and storage industry for a long time. To update my trend analysis I wanted to start with a consumption trend for the last 10 years. I could use the hardware spec’s found on the internet for servers but most published energy consumption values are ‘name-plate ratings’. Green Grid’s whitepaper #23 states correctly:

Regardless of how they are chosen, nameplate values are generally accepted as representing power consumption levels that exceed actual power consumption of equipment under normal usage. Therefore, these over-inﬂated values do not support realistic power prediction

I have known HP’s Proliant portfolio for a long time and successfully used their HP Power Calculator tools (now: HP Power Advisor). They display the nameplate values as well as power used at different utilizations and I know from experience these values are pretty accurate. So; that seems as good starting point as any…

I decide to go for 3 form factors:

1U servers (or pizzabox servers)
Blade servers. Selecting basic x86 systems
Density Optimized servers. These can be defined as;

..minimalist server designs that resemble blades in that they have skinny form factors but they take out all the extra stuff that hyperscale Web companies like Google and Amazon don’t want in their infrastructure machines because they have resiliency and scale built into their software stack and have redundant hardware and data throughout their clusters….These density-optimized machines usually put four server nodes in a 2U rack chassis or sometimes up to a dozen nodes in a 4U chassis and have processors, memory, a few disks, and some network ports and nothing else per node.[They may include low-power microprocessors]

For the 1U server I selected the HP DL360. A well know mainstream ‘pizzabox’ server. For the blade servers I selected the HP BL20p (p-class) and HP BL460c (c-class). The Density Optimized Sever could only be the recently introduced (5U) HP Moonshot.

For the server configurations guidelines:

Single power supply (no redundancy) and platinum rated when available.
No additional NICs or other modules.
Always selecting the power optimized CPU and memory options when available.
Always selecting the smallest disk. SSD when available.
Blade servers enclosures

Pass-through devices, no active SAN/LAN switches in the enclosures
No redundancy and onboard management devices.
C7000 for c-class servers
Converted the blade chassis power consumption, fully loaded with the calculated server, back to power per 1U.

Used the ‘released’ date of the server type found in the Quickspec documentation.
Collected data of server utilization at 100%, 80%, 50%. All converted to the usage at 1U for trend analysis.

This resulted in the following table:

Server type	Year	CPU Core count	CPU type	RAM (GB)	HD (GB)	100% Util (Watt for 1U)	80% Util (Watt for 1U)	50% Util (Watt for 1U)
HP BL20p	2002	1	2x Intel PIII	4	2x 36	328.00
HP DL360	2003	1	2x Intel PII	4	2x 18	176.00
HP DL360G3	2004	1	2x Intel Xeon 2,8Ghz	8	2x 36	360.00
HP BL20pG4	2006	1	2x Intel Xeon 5110	8	2x 36	400.00	&n bsp;
HP BL460c G1	2006	4	2x Intel L5320	8	2x 36	397.60	368.80	325.90
HP DL360G5	2008	2	2x Intel L5240	8	2x 36	238.00	226.00	208.00
HP BL460c G5	2009	4	2x Intel L5430	8	2x 36	368.40	334.40	283.80
HP DL360G7	2011	4	2x Intel L5630	8	2x 60 SSD	157.00	145.00	128.00
HP BL460c G7	2011	6	2x Intel L5640	8	2x 120 SSD	354.40	323.90	278.40
HP BL460c Gen8	2012	6	2x Intel 2630L	8	2x 100 SSD	271.20	239.10	190.60
HP DL360e Gen8*	2013	6	2x Intel 2430L	8	2x 100 SSD	170.00	146.00	113.00
HP DL360p Gen8*	2013	6	2x Intel 2630L	8	2x 100 SSD	252.00	212.00	153.00
HP Moonshot	2013	2	Intel Atom S1260	8	1x 500	177.20	172.40	165.20

* HP split the DL360 in to a stripped down version (the ‘e’) and an extended version (the ‘p’)

And a nice graph (click for larger one):

The graph shows an interesting peak around 2004-2006. After that the power consumption declined. This is mostly due to power optimized CPU and memory modules. The introduction of Solid State Disks (SSD) is also a big contributor.

Obviously people will argue that:

the performance for most systems is task specific
and blades provide higher density (more CPU cores) per rack,
and some systems provide more performance and maybe more performance/Watt,
etc…

Well; datacenter facility guys couldn’t care less about those arguments. For them it’s about the power per 1U or the power per rack and its trend.

With a depreciation time of 10-15years on facility equipment, the datacenter needs to support many IT refresh cycles. IT guys getting faster CPU’s, memory and bigger disks is really nice and it’s even better if the performance/watt ratio is great… but if the overall rack density goes up, than facilities needs to supp
ort it.

To provide more perspective on the density of the CPU/rack, I plotted the amount of CPU cores at a 40U filled rack vs. total power at 40U:

Still impressive numbers: between 240 and 720 CPU cores in 40U of modern day equipment.

Next I wanted to test my hypotheses, so I looked at a active 10.000+ server deployment consisting of 1-10 year old servers from Dell/IBM/HP/SuperMicro. I ranked them in age groups 2003-2013, sorted the form factors 1U Rackmount, Blades and Density Optimized. I selected systems with roughly the same hardware config (2 CPU, 2 HD, 8GB RAM). For most age groups the actual power consumption (@ 100,80,50%) seemed off by 10%-15% but the trend remained the same, especially among form factors.

It also confirmed that after the drop, due to energy optimized components and SSD, the power consumption per U is now rising slightly again.

Density in general seemed to rise with lots more CPU cores per rack, but at a higher power consumption cost on a per rack basis.

Let’s take out the Cristal ball

The price of compute & storage continues to drop, especially if you look at Amazon and Google.

Google and Microsoft have consistently been dropping prices over the past several months. In November, Google dropped storage prices by 20 percent.

For AWS, the price drops are consistent with its strategy. AWS believes it can use its scale, purchasing power and deeper efficiencies in the management of its infrastructure to continue dropping prices. [Techcrunch]

If you follow Jevons Paradox then this will lead to more compute and storage consumption.

All this compute and storage capacity still needs to be provisioned in datacenters around the world. The last time IT experienced growth pain at the intersection between IT & Facility it accelerated the development of blade servers to optimize physical space used. (that was a bad cure for some… but besides the point now..) The current rapid growth accelerated the development of Density Optimized servers that strike a better balance between performance, physical space and energy usage. All major vendors and projects like Open Compute are working on this with a 66.4% year over year in 4Q12 growth in revenue.

Blades continue to get more market share also and they now account for 16.3% of total server revenue;

"Both types of modular form factors outperformed the overall server market, indicating customers are increasingly favoring specialization in their server designs" said Jed Scaramella, IDC research manager, Enterprise Servers "Density Optimized servers were positively impacted by the growth of service providers in the market. In addition to HPC, Cloud and IT service providers favor the highly efficient and scalable design of Density Optimized servers. Blade servers are being leveraged in enterprises’ virtualized and private cloud environments. IDC is observing an increased interest from the market for converged systems, which use blades as the building block. Enterprise IT organizations are viewing converged systems as a method to simplify management and increase their time to value." [IDC]

With cloud providers going for Density Optimized and enterprise IT for blade servers, the market is clearly moving to optimizing rack space. We will see a steady rise in demand for kW/rack with Density Optimized already at 8-10kW/rack and blades 12-16kW/rack (@ 46U).

There will still be room in the market for the ‘normal’ rackmount server like the 1U, but the 2012 and 2013 models already show signs of a rise in watt/U for those systems also.

For the datacenter owner this will mean either supply more cooling&power to meet demand or leave racks (half) empty, if you haven’t build for these consumption values already.

In the long run we will follow the Gartner curve from 2007:

With the market currently being in the ‘drop’ phase (a little behind on the prediction…) and moving towards the ‘increase’ phase.

Density Optimized servers (aka microservers) market is booming

IDC starts tracking hyperscale server market

Documentation and disclaimer on the HP Power Advisor

My cloud rules…

Enige tijd geleden, tijdens een verhitte Twitter conversatie tussen cloud guru’s en evangelisten, stelde ik mijn lijst met cloud regels op. Aangezien Twitter nogal ongenuanceerd is met een beperkt aantal karakters volgt hier een samenvatting met wat tekst en uitleg:

Regel 7

Er is veel discussie over cloud definities. Wat is nu wel en wat is nu niet cloud ? De meest gebruikte definitie is die van NIST (pdf).

Echter kijkend naar de ontwikkelingen in de markt en de volwassenheid van de oplossingen , ga ik echter een stapje verder: een generieke definitie van cloud is op dit moment niet relevant.
De scope van o.a. de NIST definitie is op dit moment al erg breed. Met alle ontwikkelingen die er nog komen, zullen we de definitie steeds moeten aanpassen. Over een paar jaar zullen veel van deze ontwikkelingen zo gewoon zijn voor ons dagelijks IT gebruik, dat we het niet meer cloud zullen noemen. Daar waar een ‘definitie’ voor cloud wel van toepassing is, is binnen je eigen organisatie. Dat bevorderd de communicatie tussen bijvoorbeeld IT en de business.
De inhoud van die definitie is opzicht niet eens zo heel relevant, als je maar iets gezamenlijks afspreekt.
Tussen jou en alle leveranciers… tja, daar ga je gedurende de hele cloud hype fase nooit uitkomen. Zodra we in Gartners "Trough of Disillusionment" komen zullen alle marketing afdelingen snel afscheid willen nemen van de cloud term.
Om met de woorden van Simon Wardley te eindigen: Cloud; It’s like computers on the internet, innit?!?

Regel 6

Voordat je cloud computing gaat inzetten als middel, dien je een exit strategie te formuleren. Bij de meeste cloud oplossingen maak je jezelf enigszins afhankelijk van een leverancier of een technologie. Dit is soms omdat er data opslag plaats vind bij de leverancier of wegens het afstemmen van je architectuur of ontwerpen op die van de leverancier.

Je dient dus een plan te hebben om afscheid te kunnen nemen van de cloud leverancier. “Hoe krijg ik mijn data terug?” bijvoorbeeld.

Regel 5

Diverse nieuwe applicatie frameworks geven de mogelijkheid om applicaties te ontwikkelen die minder gevoelig zijn voor de variabele performance van het basis netwerk dat ‘het internet’ heet. Dit is nodig omdat de gebruiker van de applicatie soms de functionaliteit via een mobiele internet verbinding gebruikt en dan weer via een ADSL2 verbinding. Daarnaast levert de manier waar op het internet technisch is uitgelegd altijd variabele performance. De nieuwe technologische mogelijkheden zorgen er voor dat men zich minder druk hoeft te maken over latency. (denk aan video streaming zoals Netflix doet)

Zie ook: http://jwiersma.wordpress.com/2011/01/08/paas-de-toekomst-van-programmeren-1/

Regel 4

Bij het bouwen van cloud applicaties dient men rekening te houden met uitval van software, delen van hardware, complete servers en zelfs complete datacentra. Dit betekend bijvoorbeeld op een juiste manier om gaan met state en stateless.

De nieuwe applicatie framewerken en vooral de PAAS oplossingen die geboden worden, hebben hier voor diverse standaard mogelijkheden.

Zie: http://jwiersma.wordpress.com/2011/01/08/paas-de-toekomst-van-programmeren-1/

Regel 3

Veel IT-ers stappen de cloud wereld in met het idee dat ze hun gedachtegoed, ontwerpen en applicaties zo mee kunnen mee nemen en ‘in de cloud kunnen gooien’. Zo werkt dat echt niet.

Om goed in een cloud omgeving van een leverancier te kunnen werken moet je hun architectuur en ontwerpen goed begrijpen en kunnen toepassen.

Zie:
http://jwiersma.wordpress.com/2011/02/21/mijn-cloud-is-beter-dan-die-van-jou/
http://jwiersma.wordpress.com/2011/04/22/mestvorkknuppels-uit-de-stal-de-cloud-is-down/

Regel 2

Cloud geeft de mogelijkheid om functionaliteit die uitermate gestandaardiseerd is (commodity IT) buiten de organisatie te plaatsen en je te concentreren op zaken die je een voordeel geven op de concurrentie.

Zo levert het hebben van een tekstverwerker of een spreadsheet programma al lang geen voordeel meer op; de concurrentie kan deze ook gewoon kopen en implementeren. De vraag is dus hoeveel geld je moet uitgeven om deze functionaliteit in eigen huis te ontwikkelen en beheren.

Zie:
http://jwiersma.wordpress.com/2010/11/06/en-dan-die-applicatie-naar-de-cloud-toe/
http://jwiersma.wordpress.com/2011/01/31/de-nieuwe-overheid-i-strategie-cloud/ (laatste paragraaf)

Regel 1

Cloud is vooral voor en door de eindgebruiker. Daarbij moet de IT-er vooral de organisatie helpen in te transitie. Een afwerende houding op dat vlak zal cloud computing niet buiten te deur houden en zal de eindgebruiker naar Schaduw-IT drijven.

Deze regel is beschreven in ‘de opkomst van Schaduw-IT’: http://jwiersma.wordpress.com/2011/07/06/de-opkomst-van-schaduw-it/

Dat cloud gedoe… kost mij mijn baan…

Als het om cloud computing gaat zijn vaak (enterprise) IT-ers er als de kippen bij om me te vertellen dat het allemaal toch niet gaat werken, onveilig en onstabiel is. Ik heb vaak grotere discussies met mijn IT vakbroeders dan met de business zijde van de organisatie.

In een recente discussie over de implementatie van cloud computing bromde een IT-er: “dat cloud gedoe… dat kost me nog eens mijn baan…”.

Als je sommige berichten (en marketing) rond cloud mag geloven, heeft hij gelijk. ‘Zet al je IT maar buiten de deur en in de cloud… en je leven word een stuk beter’, lijken deze verhalen te zeggen. Daarbij ‘gaan de kosten flink omlaag, want je hebt geen IT-er meer nodig’.

Als je jaren hebt gewerkt aan de implementatie van een stuk infrastructuur en de optimalisatie daar van, en er komt nu een leverancier langs die met het bovenstaande je levenswerk afdoet als een hobby project… ja, dan zou ik ook boos worden.

Zoals altijd ligt de echte waarheid ergens in het midden. Een kleine voorspelling hoe het de komende jaren gaat uitspelen:

Kleine en startende ondernemingen zullen standaard kiezen voor cloud services en niet meer voor eigen (small business) servers in de meterkast.
Grotere ondernemingen starten met experimenteren met cloud computing. Als eerste zullen hier de SAAS en IAAS services getest worden omdat hier de meeste standaard (commodity) services te vinden zijn. Ook zullen (net als met de start van Virtualisatie) als eerste OTA diensten naar de cloud gaan.
De snelheid van de migratie zal per sector verschillen en waarschijnlijk ook per land of wereld deel. Dit zal voornamelijk samenhangen met wetgeving en voor die sector geldende regels.
Daar waar services niet naar de cloud kunnen, zullen steeds meer CIO’s kiezen voor ‘cloud-in-a-box’ diensten. Daarbij word een bepaalde service, volledig extern beheerd, in het eigen datacenter geplaatst. IAAS services zullen als eerste geschikt zijn voor dit soort modellen.
ICT-Innovatie zal in een hoger tempo nieuwe services en oplossingen leveren. Cloud is hier een motor voor. Veel van die ontwikkelingen zullen ook uit de labs van de cloud services providers zelf komen. Zie: De Formule 1 van ICT.

Dit alles betekend nogal wat voor de ICT-er van nu. Al eerder gaf ik een beschrijving van de impact die PAAS op mijn collega software ontwikkelaars kan hebben. IAAS heeft een mogelijk nog grotere impact op de IT infrastructuur ontwikkelaars en beheerders.

Sommige mensen zien alle veranderingen als een kans en andere als een bedreiging. Feit is echter dat ICT altijd een snel veranderd vakgebied is geweest en zal blijven;

In het begin van mijn ICT carrière begon ik met Windows NT 3.51 aan de workstation kant en Novell NetWare 3.12. Binnen enkele jaren en vele uren aan zelf/avond studie had ik mezelf voorzien van certificaten van Certified Novell Administrator (CNA) tot tig examens verder MCNE. Ik kende werkelijk bijna elk commando uit mijn hoofd met volledige opties en wist blind te navigeren binnen bepaalde menu’s.

Allemaal kennis waar ik 10 jaar later niets meer aan heb… Verandering is de enige constante in het ICT vakgebied.

Nieuwe kansen.

Zolang je bereid bent te veranderen en bijscholen en te gaan voor nieuwe uitdagingen, zijn er een hoop kansen:

Krapte op de arbeidsmarkt; In de komende jaren zullen de baby-boomers met pensioen gaan. Dit geeft mijn generatie de last voor het ophoesten van de pensioen premies, maar geeft ook een hoop krapte op de arbeidsmarkt. Al die mensen die nodig zijn om de cloud services te bouwen, onderhouden en adviseren moeten tenslotte ergens vandaan komen.
Jevons paradox; Zoals ik in een eerder blog al beschreef zorgen de dalende kosten voor opslag en rekenkracht voor een stijgende vraag. Sommige cloud services groeien op dit moment al met 1000-en fysieke servers per maand en deze vraag zal nog explosief blijven groeien. Dit moet allemaal gebouwd en beheerd worden.
Onopgeloste puzzels; Voor ons ICT-ers zijn er nog een hoop onopgeloste uitdagingen. Denk aan het goed kunnen verwerken en beschikbaar maken van grote hoeveelheden data bijvoorbeeld. Dit zijn technologische problemen waarbij we slechts aan de vooravond staan van de oplossing. Zeker hoger in de ICT-stack (of OSI lagen) zijn er nog voldoende uitdagingen te vinden.

In de komende jaren zullen bepaalde banen verdwijnen en zullen er nieuwe ontstaan. Aan de cloud aanbieders kant zal een vraag ontstaan naar mensen die grootschalige, multitendant, infrastructuren kunnen ontwerpen, bouwen en onderhouden. Hierbij zal expertise worden gezocht in parallel processing, virtualisatie, energie management en koeling, security en encryptie, high-speed netwerken en data caching (CDN) en gerelateerde vakgebieden. Daarnaast zal veel software moeten worden herschreven om (efficiënt) te kunnen werken op een cloud platform.

Aan de eindgebruikers kant zal, nu we de transitie maken naar een utility en services model, de vraag naar IT-ers voor het bouwen en onderhouden van in-huis systemen zien afnemen. De vraag naar kennis en skills rond informatie management, proces ontwerp en automation zullen echter toenemen. Er zullen ook nieuwe IT rollen ontstaan. Een ‘(cloud) services broker’ zou een rol kunnen zijn waarbij deze persoon de brug vormt tussen (externe) cloud services en de interne business units. Dit zullen steeds meer regie functies worden. Binnen bedrijven die op dit moment een agressief cloud adoptie beleid toepassen, is die wijziging binnen hun IT afdelingen al te zien; de grote van de IT afdeling neemt af, maar de meer senioren en strategische rollen nemen toe.

Aan beide zijde (cloud aanbieder en afnemer) zal de vraag toenemen voor IT-ers die over de traditionele silo’s heen kunnen denken en ontwerpen. Dit is terug te zien aan de opkomst van DevOps aan de cloud provider kant en de vraag naar cloud/services architecten aan de afnemer kant. Deze vaardigheid, om relaties tussen diverse IT disciplines te kunnen onderscheiden en bouwen, is iets wat ontstaat uit het werken en ervaring op doen in verschillende rollen gedurende je carrière. Met de naderende krapte op de markt, zal er flink gevochten worden om dit senioren ontwerpers/architecten. Zoals Gartner analist Dave Cappuccio opmerkte:

…sit back and think about the most valuable people in the IT organization — those people who always get the projects handed to them, because we know they’ll get things done, regardless. If you look at the strengths they bring to any project, it’s rarely depth of knowledge (the vertical T), but breadth of understanding (all the linkages). Drill-down specialists are available in all disciplines, but the linkag
e masters are hard to find.

(Het gehanteerde T-profiel word ook beschreven in het uitstekende boek: “Leidinggeven aan professionals? Niet doen!” van Mathieu Weggeman.)

Dit alles schetst dus juist een rooskleurig beeld voor de IT-er. Veel kansen om met nieuwe technologie aan de slag te kunnen in omgevingen die groter zijn en worden dan ooit. Het betekend echter wel dat er flink gewerkt moet worden aan het verweven van de juiste skill-sets.

Neem afscheid van het Iejoor complex

Zoals Mike Manos recent aan gaf, hebben veel datacenter managers (en IT-ers) last van het Iejoor complex en gedragen zich als die ‘sombere knuffelezel’ (3:43), als het gaat om cloud computing:

[youtube=http://www.youtube.com/watch?v=GYAEt8y3HHw&w=448&h=252&hd=1]

Dus tijd voor actie en tijd om de kansen te pakken:

[youtube=http://www.youtube.com/watch?v=6VGo-wYSc6w&w=448&h=252&hd=1]

Meer Cloud en werk:

De opkomst van schaduw IT

Zoals ik eerder in presentaties en andere blogs schetste is de technologische wereld om ons heen de afgelopen jaren aardig snel veranderd. De techniek heeft in vele huizen een PC en internet gebracht en tenminste 1 tot enkele mobieltjes, waar van steeds meer met mobiel internet. Deze geleverde techniek is ook gemakkelijker geworden en gebruiksvriendelijker. De iPad is daar een voorbeeld van; eenvoud, gebruiksgemak, mobiel en overal verbinding.

Dit soort ontwikkelingen nemen ook vaak veel zorgen uithanden, die vroeger voor nogal wat uitdagingen zorgde. Met een aantal klikken word er gezorgd voor opslag van je data die altijd en overal (via internet) bereikbaar en toegankelijk is.

De persoonlijke ontwikkeling van mensen op technisch vlak heeft ook sprongen vooruit gemaakt. Het gemak waar mee de jongere generatie om gaat met nieuwe technologie staat in schril contrast tot de angst die veel oudere generaties kende voor technologische producten zoals de PC.

Deze twee trends zetten zich ook voort binnen bedrijven en hun IT voorziening. De afgelopen decennia lag de macht over het IT platform bij de IT afdeling. Deze bepaalde wat er goed was voor de organisatie en wat er wel en niet kon. De controle die de IT afdeling daarbij wilde hebben over de IT middelen stond regelmatig op gespannen voet met gebruiksvriendelijkheid en bruikbaarheid van deze middelen. De meeste eind gebruikers legde zich daarbij neer. Echter niet allemaal; zo heb ik in het begin van mijn IT carrière een jaar lang ‘kat en muis spelletjes’ gespeeld met scholieren om de school PC’s dicht gespijkerd te houden. Dit was een oneindig gevecht en eindigde in een echt onwerkbare situatie. (Daar op besloot ik het PC platform open te laten en aan de eindgebruiker terug te geven… wat uiteindelijk de beste zet bleek…)

Waar vroeger kantoor personeel misschien wel eens dacht “ik neem mijn laptop van thuis mee…”, had je daar niets aan omdat je deze meestal niet aan het bedrijfsnetwerk kon aansluiten. Mobiel internet heeft dat veranderd. Nu je op kantoor met je eigen mobiele internet verbinding aan de slag kunt, op je eigen smartphone/ipad/laptop, staat je weinig meer in de weg. Zo was het interne mail systeem al niet meer toereikend wegens de opgelegde mail quota van 250mb, dus je stuurde alles al door naar je Gmail account. Ook het delen van documenten bleek makkelijker via Dropbox of Google Apps. Contact zoeken met collega’s ? Dat doen we even via Yammer… en het CRM systeem hadden we ook niet meer nodig want Salesforce was beter en sneller bruikbaar. Deze trend word ook wel ‘schaduw-IT’ genoemd.

Cloud computing heeft een extra impuls gegeven aan het bovenstaande scenario. Met behulp van een creditcard kunnen niet alleen SAAS services (zoals beschreven in het stukje hier boven) maar ook IAAS en PAAS services. Bij PAAS services zien we ook de opkomst van eenvoudige programmeer platformen. Het zelf in elkaar zetten van Apps word daar mee ook gemakkelijk gemaakt voor de eind gebruiker.

Cloud computing is daar mee onderdeel van een eindgebruikers revolutie. Logisch dat het door veel IT-ers met achterdocht bekeken word.

De mensen van Centre4Cloud zetten deze revolutie vanuit het oogpunt van de CIO aardig neer; de governance op zijn kop en de macht bij de eindgebruiker:

Uiteraard kan de IT afdeling het gebruik van cloud services verbieden en proberen op die manier maximale controle te houden. Het is echter een utopie om te denken dat dat ook zal lukken. De hoeveelheid cloud services zijn nu al legio en de mogelijkheden zijn bijna onbeperkt. Sinds de eindgebruiker ook de mogelijkheid heeft om zelf een netwerk verbinding mee te nemen (mobiel internet), zijn verbodsmaatregelen bijna on begonnen werk.

De IT-afdeling kan zich daarom beter richten op het faciliteren van de cloud mogelijkheden. Dit door samen met de gebruikers te kijken naar de selectie van de juiste cloud services en de beste manier om deze te integreren met de eigen in-huis ICT.

Dit alles sluit ook aan bij een andere manier van beveiligen van het bedrijfsnetwerk zoals bijvoorbeeld met Jericho concepten. Een aardige parallel hier in is te vinden in het gevecht dat BlackBerry voert op het vlak van enterprise IT, zoals recent in een artikel van Security Week stond:

Employees love choice, flexibility, and fashion. That is why they are buying iPads by the pallet-load. The rise of consumer-grade Post-PC devices means that IT security must say goodbye to standard hardware platforms, sanctioned corporate anti-malware software, and consistently enforced security policies. That is why they are concerned, and why worried IT managers are RIM’s natural target audience.

Seen against the backdrop of consumerization, the PlayBook’s relative success or failure in the enterprise market is nothing less than a referendum on IT’s ability to impose its will as we enter the Post-PC era. The PlayBook device is essentially IT’s last stand. Will safe, IT-sanctioned devices win, or take a back seat to employee and consumer tastes?

Ondertussen in IT-land…

Binnen de IT afdelingen loopt op dit moment de druk op; de budgetten staan onder druk, prestatie is onder de maat en business eigenaren vragen zich af waarom de opslag bij Amazon zoveel goedkoper is dan de eigen opslag…

De IT-ers doen waar ze goed in zijn: consolideren, invoeren van nieuwe technieken als virtualisatie, door voeren van shared service centra… Op zich allemaal niets nieuws onder de zon voor de IT.

Dit zien we bijvoorbeeld bij onze Nederlandse overheid ook terug; datacenter consolidatie en meer samen werken. We weten ook al lang dat dit niet slaagt zonder goede afspraken en procedures. Dus de governance moet ingeregeld worden, ITIL boeken uit de kast, beveiligingsconcepten op elkaar afstemmen… Zaken die we ook al meer dan eens hebben gedaan in de IT.

Het aardige is echter, dat de wereld om de IT-er wel behoorlijk veranderd is. Terwijl de IT afdeling lekker met zich zelf bezig is, neemt de ‘schaduw-IT’ explosief toe. Deze wacht namelijk niet tot alle processen netjes op orde zijn en systemen geconsolideerd. De eindgebruiker wil en moet namelijk verder… en zoekt daar in zijn eigen weg.

Daar ligt dus de echte uitdaging voor de huidige CIO; de juiste balans vinden tussen het ondersteunen van de eind gebruiker met cloud services en ondertussen zijn eigen winkel verbouwen.

En bij dat laatste… komt wel wat ‘creative destruction‘ kijken. :-)

Mestvork&knuppels uit de stal… de ‘cloud’ is down!

Gisteren ging een deel van de Amazon AWS dienst verlening plat. Amazon melde het volgende:

“A networking event early this morning triggered a large amount of re-mirroring of EBS volumes in US-EAST-1,” Amazon said in a status update just before 9 am Pacific time. “This re-mirroring created a shortage of capacity in one of the US-EAST-1 Availability Zones, which impacted new EBS volume creation as well as the pace with which we could re-mirror and recover affected EBS volumes. Additionally, one of our internal control planes for EBS has become inundated such that it’s difficult to create new EBS volumes and EBS backed instances.

De verstoring kwam kort gezegd neer op de uitval van 1 van de Amerikaanse beschikbaarheids zones. De overige zones draaide wel gewoon door. Als gevolg hier van waren ook enkele andere ‘cloud’ services (voornamelijk SAAS), die boven op AWS gebouwd zijn, uitgevallen. Een lijst hier van werd gepubliceerd op http://ec2disabled.com/

Al snel zagen we dat de cloud tegenstanders de mestvorken en knuppels uit de stal hadden gehaald… want ‘de cloud’ had eindelijk zijn ware aard laten zien… en had gefaald.

Dit gebeurde al eerder, zoals mijn DatacenterPulse collega Tim Crawford in zijn blog aanhaalt:

Oct 14, 2009 Microsoft Sidekick Data Loss
Jun 29, 2009 Rackspace Data Center Outage
May 14, 2009 Google Outage
Mar 21, 2009 Carbonite Storage Failure

Ook bij deze uitval stonden mensen op de barricade te schreeuwen dat cloud niet betrouwbaar was. Voor leveranciers (en ICT-ers) waar voor de cloud ontwikkeling een bedreiging is (reëel of niet..), is dit een uitstekende gelegenheid om weer wat FUD rond te strooien. Deze tactiek haalde ik al eerder aan in mijn blog: Controle en Vertrouwen; sleutels voor cloud. Hierbij gaf ik ook aan dat het vertrouwen gemakkelijk geschaad word:

Het vertrouwen in cloud computing is iets wat gemakkelijk te schenden is. Het traditionele datacenter leeft redelijk ‘onder de radar’ als het gaat om uitval. Meestal raakt uitval daar slechts enkele applicaties of een deel van de business. Deze uitval kan wel degelijk een grote impact hebben op de productiviteit van een organisatie maar het zal nooit de mate van negatieve publiciteit krijgen die cloud providers ontvangen.

Een vliegtuig crash komt wel in het nieuws, maar de 1000-en auto ongelukken die zelfde dag meestal niet.

Opvallend was echter ook dat een aantal andere cloud services, waar van bekend is dat ze op AWS draaien, gewoon in de lucht waren. Grootste voorbeelden waren Netflix en Twilio.

Referentie architectuur…

In voorgaande blogs gaf ik ook al aan, dat cloud adoptie en migratie draait om de adoptie van een referentie architectuur van iemand ander. Je gaat aan de slag op een IAAS of PAAS omgeving die door iemand anders ontworpen en gebouwd is. Dit men hun visie en gedachte goed. Je moet je dus aan hun regels houden;

Het begrijpen van de referentie architectuur en ontwerp principes van je cloud leverancier is bijzonder belangrijk. Zowel bij IAAS, als bij PAAS geld dat je applicatie of omgeving ontworpen moet zijn voor deel-systeem uitval. Zoals in de PAAS serie aangegeven: ‘Cloud applications assume failure.’ Soms word dit ondervangen door de aangeboden frameworks, maar je moet dan wel begrijpen hoe deze werken.

Organisaties die niet geraakt werden door de AWS uitval begrepen de architectuur optimaal en hadden hun diensten bij ontwerp en bouw al verdeeld over meerdere geografische beschikbaarheids zones, zoals NetFlix in een presentatie (slide 32-35) eerder liet zien:

Verder zijn er diverse andere mogelijkheden om redundantie in te bouwen in een AWS omgeving. Zie diverse blogs met tips:

Systeem uitval is een dagelijkse realiteit. Rond cloud computing word vaak geroepen dat ‘cloud omgevingen niet kunnen uitvallen’. De realiteit is echter dat cloud infrastructuren ook kunnen uitvallen. Het verschil tussen cloud en traditionele infrastructuur is echter dat cloud nieuwe (technologische) mogelijkheden biedt voor redundantie en het herstarten van de dienstverlening als deze uitval plaats vind.

We moeten dus blijkbaar nog wel leren om gaan met deze nieuwe vormen van beschikbaarheid en disaster recovery (DR) 🙂

Waarom de stap van Facebook interessant is…

De afgelopen week kondigde Facebook het Open Compute initiatief aan. Kort gezegd publiceerde ze al hun bouw tekeningen van hun datacenter en servers met de mededeling; hier is het, gebruik het, verbeter het…

In de dagen daar op kwam er een stort vloed aan blogs en twitter discussies los over het initiatief. Na een flinke discussie afgelopen weekend met DatacenterPulse leden en cloud guru’s; waarom dit initiatief relevant is voor jou (Enterprise) IT omgeving:

Facebook behoord tot mijn rijtje van bedrijven uit de Formule 1 der ICT; bedrijven die ver vooruit zijn in technologische ontwikkeling, vaak vanwege schaalgrote, en waar van op termijn interessante technologie ontstaat die bruikbaar is voor Enterprise IT en later MKB IT.

Deze bedrijven hebben in de afgelopen jaren diverse interessante ontwikkelingen naar buiten gebracht, die nu al een impact hebben op enterprise IT omgevingen. Een voorbeeld is de inzet van datacenter containers; Uiteraard is de inzet van een container vol met 1500 servers een maatje te groot voor de meeste organisaties. Echter het modulaire concept er achter heeft de manier van datacenter bouw veranderd. Zeker als je kijkt naar het huidige portfolio van veel datacenter aanbieders, zie je altijd wel ergens een ‘modulaire’ oplossing. Deze innovatie is dus opgepakt door de eindgebruikers en de markt, waarna er producten op door ontwikkeld zijn die toepasbaar zijn voor de ‘normale’ IT.

Een ander voorbeeld is de ontwikkeling van Hadoop voor de afhandeling van grote hoeveelheden data. Over dit ‘data olifantje’ schreef ik al eerder.

Facebook geeft nu een kijkje in de keuken van hun datacenter en servers. Google deed dit in het verleden ook al een beetje, maar nooit zo open als Facebook nu doet. In eerste instantie staat het volledig (bouwkundig) ontwerp van het Facebook datacenter op internet samen met de server ontwerpen.

De aankondiging van Facebook over hun Open Compute initiatief werd gematigd positief ontvangen; de vraag was vooral wat moet ik (als normale IT-er) er mee.

Laat ik duidelijk zijn; Het 1-op-1 kopiëren van de ontwerpen van Facebook zal een Enterprise IT omgeving niet helpen. Net zo min als het zal helpen om de Google of Amazon ontwerpen te kopiëren (als die publiek bezit zouden zijn). Hier voor zijn de omgevingen en doelen te verschillend.

Er is echter wel een hoop van te leren voor de enterprise IT-er. Door kritisch te kijken in de keuken van de Formule 1 kun je zien waarom het hun lukt om wel 10.000-en servers met enkele beheerders in de lucht te houden, deze snel uit te rollen en hogere beschikbaarheid te bieden tegen lagere kosten.

Daarnaast geeft het ons als eind gebruiker inzicht in de technologische mogelijkheden. Hiermee kunnen we de leveranciers onder druk zetten om ons betere producten te leveren. Dit past geheel in de visie die DatacenterPulse na streeft: “influence the datacenter industry through end users”

Twee andere Open* ontwikkelingen die de moeite waard zijn van het volgen op het IT vlak zijn:

www.openstack.org

OpenStack is a collection of open source technologies delivering a massively scalable cloud operating system. OpenStack is currently developing two interrelated projects: OpenStack Compute and OpenStack Object Storage. OpenStack Compute is software to provision and manage large groups of virtual private servers, and OpenStack Object Storage is software for creating redundant, scalable object storage using clusters of commodity servers to store terabytes or even petabytes of data.

www.openflow.org

OpenFlow enables networks to evolve, by giving a remote controller the power to modify the behavior of network devices, through a well-defined "forwarding instruction set". The growing OpenFlow ecosystem now includes routers, switches, virtual switches, and access points from a range of vendors.

Deze laatste heeft vooral mijn interesse omdat er wel netwerk innovatie is geweest op snelheid (10G, etc..) maar niet echt een open initiatief op het gehele eco-systeem. Hiermee lijkt het netwerk ook echt aansluiting te gaan vinden met de cloud ontwikkelingen op opslag en compute gebied.

Uiteindelijk zien we een heleboel interessante ontwikkelingen aan de horizon, die Enterprise IT gaan helpen. Zeker bij de bouw van private cloud en focus op ‘big data’.

Infrastructuur commodity ?

De Facebook openheid op dit vlak geeft ook nog een andere trend aan; het hebben van een datacenter en IT infrastructuur word steeds minder een strategisch voordeel. Feitelijk kan de Facebook concurrentie het model compleet kopiëren, maar Facebook geeft eigenlijk aan dat dit geen bedreiging zal zijn voor hun business. Ze richten zich op hun belangrijkste waarde; de data en hun eind gebruikers. Deze leveren wel het strategisch voordeel, zoals ook de Huffington Post concludeert:

"[The Open Compute Project] really is a big deal because it constitutes a general shift in terms of what how we look at technology as a competitive advantage," O’Grady said. "For Facebook, the evidence is piling up that they don’t consider technology to be a competitive advantage. They view their competitive advantage in the marketplace to be their users."

Die conclusie werd ook al getrokken rond infrastructuur software (zoals database) bij Facebook en enkele andere, rond de openheid van hun ontwikkelingen;

For Facebook, the value is not in the infrastructure – though Hip-Hop demonstrates the value of even marginal improvements in performance for high scale players – it is in the users and the data they generate. As Tim O’Reilly famously put it, “data is the Intel Inside.”
Read more: http://redmonk.com/sogrady/2011/03/11/how-important-is-software/#ixzz1JFQUwNwa

En dat alles zou wel eens de belangrijkste conclusie kunnen zijn van al deze publicaties en discussies; het gaat om de data… en de IT er om heen word een commodity. Met dank aan de Formule 1 van IT en cloud computing…

Meer van mijn cloud collega’s:

Google Admits "Data is the Intel Inside" < Tim O’Reilly, uit 2007!!
Cloud Computing, Open* and the Integrator’s Dilemma
Poke Me On…
Facebook’s New Data Center – What can we learn from it?

Lager kosten=groei; Jevons Paradox

De afgelopen tijd heb ik een aantal keer Jevons paradox gebruikt in presentaties rond cloud.
Het idee en concept achter Jevons paradox in combinatie met cloud computing komt volledig uit de koker van Simon Wardley.
Voor die gene die zijn briljante presentatie(s) nog niet eerder hebben gezien:

[youtube=http://www.youtube.com/watch?v=5Oyf4vvJyy4&w=448&h=252&hd=1]

In zijn verhaal gebruikt hij vaak het voorbeeld van product naar diensten (services/utility) ontwikkeling.
Deze zien we terug bij de ontwikkeling van elektra. Deze gaat van de uitvinding van elektra en zijn mogelijkheden (innovatie), via Custom Build waarbij iedereen zijn eigen elektra opwerkte naar Utility levering waarbij we elektra uit de muur kunnen halen en ons niet meer druk maken over wat er eigenlijk allemaal ‘onder’ zit.
Deze ontwikkeling zien we ook terug bij de PC en ook bij de ontwikkeling van CRM. Daarbij zijn we gegaan van custom CRM systemen naar Salesforce vandaag de dag.

Als we de curve omhoog volgen zien we ook dat het product wat deze ontwikkeling volgt, steeds meer standaard word. Hierbij hebben we het dan over het toepassen van (internationale) standaarden, maar ook het feit dat een product zo algemeen beschikbaar is dat deze je als organisatie geen concurrentie voordeel meer beid; iedereen heeft het of kan het kopen.
Het zorgt er ook voor dat men de Utility tegen lager kosten kan af nemen of tegen een pay-per-use model. Hier door word het product beschikbaar voor een grotere groep mensen of bedrijven.

We zien ook dat het product dat een Ultility en zo algemeen beschikbaar, weer een nieuwe golf van innovatie teweeg brengt.
Bij de ontwikkeling van elektra was dit ook te zien; mensen en bedrijven behoefde niet langer te investeren in eigen ‘energie centrales’ waar door de consumptie voor meer mensen mogelijk werd en de consumptie van het product omhoog ging.

Jevons paradox

De toepassing van Jevons paradox op deze ontwikkeling zegt (op hoofdlijnen), dat als de kosten omlaag gaan de consumptie van het product stijgt.

Deze paradox is ook van toepassing op diverse IT ontwikkelingen.
Een uitstekend voorbeeld wat ik in de praktijk diverse malen mocht tegen komen is de inzet van virtualisatie.
Door de time-to-market te verlagen naar 2 dagen (van 6 weken) en de kosten te verlagen (soms met 75%) per te leveren server, kon er meer gedaan worden aan IT innovatie tegen lager kosten dan voorheen.
Hier door steeg de vraag naar een virtuele server explosief.
Dit fenomeen, wat ook wel bekend is als VM-sprawl, kun je zien als iets negatiefs maar dat is het zeker niet. Als jij de business kan helpen met snellere
innovatie tegen lager kosten, dan doe je het juist heel goed.
Daar waar de business dacht slechts 3 innovaties te kunnen door voeren dat jaar… en het worden er nu 7… dan lever jij een concurrentie voordeel voor jou
organisatie t.o.v. de rest van de markt.

Jevons paradox en Cloud

Jevons paradox is ook van toepassing op cloud computing.
Met cloud computing word het gebruik van 1000-en compute nodes beschikbaar voor iemand met slechts een credit card. En als hij klaar is… dan betaald hij ook niets meer. En dat zonder torenhoge start kosten om die nodes te moeten kopen, bouwen en onderhouden.
Deze manier van levering en het feit dat het ontzettend toegankelijk is, zullen zorgen voor een explosieve groei op dit vlak.

De meeste organisaties vandaag de dag, zitten vast in hun huidige complexiteit en hoge beheerskosten. Hier door is er weinig tot geen ruimte meer voor innovatie.
Door de onderliggende lagen van de IT infrastructuur als een utility af te nemen, zodat men zich hier niet langer druk over hoeft te maken, kan men ruimte creëren voor nieuwe innovatie.

Dit alles betekend echter dat op langere termijn de complexiteits uitdagingen zich zullen verplaatsen naar de hogere lagen van de IT Stack.
Dat is ook de plek waar we vandaag de dag een hele boel uitdagingen hebben waar we niet echt goed aan toe kwamen. Denk bijvoorbeeld aan de explosieve data groei.

Christian Belady (Microsoft) paste recent ook Jevons paradox toe op de ontwikkeling van de datacenter markt. De afgelopen jaren kende de markt voor bouw en ontwikkeling van datacentra een expolieve groei;

Jevons’ Paradox has been one of the reasons given for the incredible growth we are seeing with online services. The explosion of services now available on the internet has fueled one of the fastest growing industries today: Datacenter construction.

Dit alles is ook logisch omdat al die cloud omgevingen wel ergens gehuisvest moeten worden. Aangezien het verbruik zal toenemen, zullen er ook meer (of grotere) datacentra gebouwd moeten worden om aan al deze vraag te kunnen voldoen.

Uiteindelijk zal al deze ontwikkeling er voor zorgen dat vele (niet ICT) organisaties een volgende stap kunnen maken in hun eigen innovatie en ontwikkeling. Dit alles ondersteund door IT, die niet langer een beperking is maar een katalysator.

En over 10 jaar? Dan zitten we weer om de tafel; om de complexiteit in de hogere lagen van de IT stack op te lossen… ICT blijft een mooi vak 😉