JanWiersma.com

Datacenter Management Tools overzicht

Data center infrastructure management (DCIM) tools hebben de afgelopen 2 – 3 jaar een grote vlucht genomen. De focus van deze tools is de integratie tussen IT systemen en de fysieke datacenter omgeving. Hierbij richt men zich grof weg op de twee volgende gebieden: Asset Management en Realtime-monitoring.

real-time-monitoring-diagramBij Asset Management gaat het om het registreren en bijhouden van de componenten die in het datacenter beschikbaar zijn. Denk aan de racks, bekabeling, koeling, energie voorziening, etc.. Hierbij gaat het om de complete levenscyclus van de apparatuur: van aankoop tot afvoer. Over het algemeen worden bij Asset Management de algemene regels en methodes van ITIL gevolgd. Hier zijn hele boeken over geschreven. Tussen al deze componenten kan men de relaties vast leggen. Energie ketens kunnen van hoofdverdeler tot op de server vast gelegd worden en netwerk bekabeling van systeem tot systeem. Door al deze gegevens te combineren kan men ook capaciteitsmanagement in regelen; hoeveel heb ik, hoeveel verbruik ik, hoeveel heb ik nog nodig en wanneer loop ik tegen de grenzen aan? Dit voor rack ruimte (hoogte eenheden of U), beschikbare koeling en/of energie (Watt), aantal beschikbare glas/koper poorten en beschikbare elektra outlets.

Daar waar men dit soort DCIM systemen vaak begin als een statische database, is er de laatste tijd een beweging naar de integratie van real-time gegevens van temperatuur sensors en bijvoorbeeld de hoofdverdeler zelf. Hiermee word het inzicht in het gedrag van de omgeving verbeterd. Daarnaast worden de capaciteits gegevens realistischer om dat het gat tussen theorie en praktijk word gedicht.

Aan de Asset Management kant worden real-time gegevens opgeleverd door barcode of RFID systemen die continue weten waar bepaalde componenten zich in het datacenter bevinden.

IDC heeft in november 2010 een aardig rapport uitgebracht over de DCIM markt. Deze geeft een overzicht over de leveranciers en tools op deze markt. Rapport hier.

Share

Datacenter temperatuur–revisited

In 2009 schreef ik een uitgebreid stuk over datacenter temperatuur. De afgelopen jaren heb ik dit onderwerp ook diverse keren behandeld op congressen. Gezien de ontwikkelingen op dit gebied de laatste maanden; tijd voor een update.

Algemeen kunnen we stellen dat computer apparatuur best wel wat kan hebben. Kijk eens naar de PC die ergens onder je bureau al jaren trouw staat te draaien. Als we die open maken zitten ze meestal vol met stof. Ook is de lucht circulatie meestal niet al te best, zo weg gestopt tussen allemaal spullen. Als we naar game consoles kijken zien we dat hardware helemaal veel kan hebben. De uiterst krachtige PlayStation 3 of XBOX 360 zijn uitgevoerd met een kleine ventilator en weg gestopt in een kastje onder de TV. Zo gaf ook James Hamilton (Amazon) aan in 2010:

[youtube=http://www.youtube.com/watch?v=kHW-ayt_Urk&w=448&h=252&hd=1]

(Bedoelde stuk vanaf 20min:15sec, de rest van de video is ook erg de moeite waard overigens…)

De hoofd reden om koeling toe te passen in het datacenter zijn de eisen van de IT hardware leverancier. Deze eisen zijn terug te vinden in de garantie voorwaarde. Zodra je buiten de aangegeven bandbreedte opereert, vervalt je garantie. De vraag is hoe groot de veiligheids marge is die door de advocaten van de hardware leverancier is ingebouwd. Mensen, zoals Christian Belady, die in de ontwikkeling van hardware hebben gewerkt merkten al eerder op:

As a former server designer, I know that server vendors “sandbag” their hardware. Sandbagging refers to the practice of knowing you can do more but holding back to hedge your risks; in reality, I believe that manufacturers can take greater risks in their operating environments and still achieve the same reliability levels.

Verandering aan de horizon.TC99_Books_Staggered_Large_2

ASHRAE is altijd aardig richting gevend geweest als het aankomt op datacenter temperatuur. Vooral hun Technical Committee (TC) 9.9 (Mission Critical Facilities, Technology Spaces and Electronic Equipment), is een bonte verzameling aan datacenter specialisten, eind gebruikers en hardware leveranciers die bepalend zijn voor een aantal ‘standaarden’ binnen de datacenter industrie.

TC9.9 heeft een bonte verzameling aan boeken gepubliceerd, waar onder “Thermal Guidelines for Data Processing Environments”. In dit boek word ook de bandbreedte voor datacenter temperatuur behandeld, en de inhoud word door alle grote IT leveranciers onderschreven. In de eerste editie van dit boek was de grens op 25C voor de inlet-temperatuur gesteld. In 2008 kwam er een update waarbij de grens op 27C gesteld werd.

Versie 3 komt over een aantal dagen (begin maart 2011) beschikbaar en hier in zal de bandbreedte weer opgerekt worden. Wederom ondersteund door alle grote IT leveranciers. Zoals het persbericht vermeld, word naast de hogere temperatuur er ook rekening gehouden met (oudere) legacy systemen die dit niet ondersteunen.

The third edition will be equally groundbreaking in that it will enable compressorless cooling (all cooling through economizers) in many applications.  Accomplishing this has been a challenge since major tradeoffs (equipment size, equipment cost and operating cost) surface above a certain temperature threshold.  This challenge is complicated because the threshold is not the same for all the manufacturers.

“Different locations, applications and business philosophies make it ineffective to force all equipment to be capable of the same high temperature tolerance (in some cases higher thresholds would negatively impact the return on investment),” Beaty said. “To address this, the third edition creates multiple server classes and therefore provides freedom of choice.  This is particularly important since the thermal guidelines are used throughout the world.”

Deze update door TC9.9 is ook duidelijk een antwoord op de groeiende trend bij grotere datacenter eigenaren om zelf de temperatuur grenzen op te zoeken. Yahoo nam deze stap al in hun

‘Yahoo Computing Coop’ waarbij men volledig passief koelt en hogere temperaturen gebruikt. eBay nam samen met DatacenterPulse dit nog een stap verder door een datacenter in Phoenix te bouwen, met een gemiddelde van 38C in de zomer, en deze volledig van vrije koeling te voorzien. Ook hierbij werden hogere temperaturen voor de IT systemen gebruikt.

Buiten de grenzen.

Veel van de innovatieve ideeën komen door het denken buiten de bestaande oplossingen en vooral jezelf af te vragen waarom dingen zijn zoals ze zijn. Als we zien dat hogere temperaturen en bijvoorbeeld stof maar een marginaal effect heeft op de beschikbaarheid van het systeem en we zien dat er grote winsten te halen zijn door anders (of niet) te koelen zou je een radicale stap kunnen nemen: je systemen buiten de garantie grens laten draaien.

Zodra je buiten de grens komt (nu meestal 35C), vervalt je garantie. Dit betekend dat je niet meer bij de leverancier kunt aankloppen als je systeem stuk is. Als je echter zelf een paar extra systemen op de plank legt ter vervanging van je defecte systeem, is je probleem ook snel opgelost. Daarnaast kun je met de leverancier onderhandelen over een inkoop korting voor deze systemen aangezien je de garantie niet nodig hebt. Zoals eerder gezegd kent de garantie voorwaarde een hele grote veiligheids marge en blijken systemen een stuk robuuster.

Dit idee is een kwestie van kosten en risico berekening.

Integratie en meten

Extreme temperatuur of niet, het goed meten en vastleggen van de (inlet) temperaturen in het datacenter is een must. Dit geeft je inzicht in de effecten van het verhogen van de temperatuur en het totale warmte beeld dat dit oplevert voor je datacenter.

Ondanks het feit dat bijvoorbeeld server systemen tegenwoordig een garantie grens kennen van 35C, heb ik diverse discussies met engineers van grote IT leveranciers gehad over het feit dat het ‘te warm’ zou zijn in een datacenter dat afgeregeld was rond de 25C. Het goed meten en vastleggen van temperatuur kan je dus ook redden in dit soort garantie discussies.

Voor de ontwerpen van Yahoo en eBay zien we dat men maximaal steunt op de integratie tussen IT systemen en het fysieke datacenter. Door deze keten goed op elkaar af te stemmen kan de echte winst gehaald worden. Denk hierbij aan de discussie: als de temperatuur omhoog gaat –> gaat de server fan harder draaien, waar door de energie afname om hoog gaat (zi
e vorige blog). De oplossing hier voor word dus niet alleen gezocht in fan-less server ontwerpen maar vooral in de integratie tussen de keten delen.

Warm is best wel eng…

Van ASHRAE mogen we al enige tijd hoger dan 21C. Ook de leveranciers voorwaarde staan ons niet in de weg om hoger te gaan. Daarnaast zijn er diverse onderzoeken die zelfs laten zien dat het nog veel extremer kan met 35C+. De realiteit is dat maar weinig datacentra echt naar hogere temperaturen gaan; de meeste blijven hangen rond de 20 – 22C.

Ik kan me voorstellen dat bedrijven zich niets aan trekken van een ‘groen imago’ of ‘maatschappelijk verantwoord zijn’. Door hun ICT-ers en facilitair personeel echter niet te stimuleren om te kijken naar datacenter temperatuur en het verhogen daar van laten deze bedrijven financiële besparingen liggen. En dat is toch iets was aantrekkelijk moet zijn voor elke organisatie in deze tijd van economische crisis…

Meer:

Share

Controle en Vertrouwen; sleutels voor cloud

Als we naar cloud computing kijken komen er al snel een flink aantal voordelen, maar ook barrières voorbij:

  • Beveiliging;
  • Volwassenheid;
  • Governance;
    • Data integriteit
    • Monitoring
    • Audit
    • Identiteit en toegang
    • Financiële controls
  • Compliance;
    • PCI
    • SAS70
    • Etc..

Al deze barrières draaien in basis om ‘vertrouwen’ en ‘controle’. Soms is dit vertrouwen en controle vanuit de overheid die via wetgeving iets of iemand wil beschermen (wet) en soms door de overheid aangewezen instanties zoals de Nederlandse Bank, die de banken sector dient te controleren. Hierbij hebben we het dan vaak over compliance regels.

De meeste barrières voor cloud adoptie worden echter opgeworpen door leveranciers die hun markt aangevallen zien en… je eigen ICT afdeling;

De ICT-er en vertrouwen

De vertrouwen en controle issue tussen de IT organisatie en de eindgebruiker is al langer interessant. Neem bijvoorbeeld de desktop; Al enige jaren vertrouwt de IT organisatie zijn eindgebruiker niet en timmert daarom op alle mogelijke manier de desktop dicht. Zo voorkomen we dat die ‘domme’ eindgebruiker iets stuk maakt en het is nog veiliger ook. Deze manier van handelen gaat echter voorbij aan het feit dat de eindgebruiker misschien helemaal niet geholpen is in zijn dagelijks werk, met die ontzettend dicht getimmerde desktop.

1781.stripBij mijn IT security collega’s gaat dit alles vaak nog een stapje verder. Ik krijg af en toe het gevoel dat zij die eind gebruiker vooral lastig vinden. Soms lijkt de IT afdeling en zeker de security collega’s hier mee aan de macht te zijn in de organisatie. Er is dan een behoorlijke scheef groei ontstaan in het idee dat ICT de business zou moeten ondersteunen. In die situatie is security een dooddoener  geworden voor nieuwe ontwikkeling en innovatie. Deze macht gaat volledig voorbij aan het feit dat de business de eigenaar is van de informatie en deze zelf zou moeten kunnen beslissen wat er mee gebeurd. De IT afdeling en security mensen hebben daar in slechts een advies functie, en dienen de risico’s in kaart te brengen met suggesties voor maatregelen.

Ondertussen veranderd de eindgebruiker vanuit generatie en bijbehorende cultuur. De generatie die nu de werkvloer betreed en die nu naar de top van organisaties door stromen gaan anders met technologie om dan de babyboomers die tot nu toe aan de macht zijn.

dilbert-ipadsmallDaarnaast hebben we ook een technologische evolutie door gemaakt die het gebruik van ICT heeft vergemakkelijkt. Zo kan opa van 86 ook makkelijk met de iPad werken.

Het is goed voor te stellen dat de ICT-er en zijn afdeling dit alles met lede ogen aanzien; mondige gebruikers die binnen komen met hun eigen iPad en zelf IT resources regelen zoals Google Apps, of overstappen naar SalesForce als hun interne CRM niet bevalt. Dit alles tast de controle aan die de ICT-ers jaren lang hebben gehad.

De truc voor leveranciers en ICT-ers om cloud buiten de deur te houden is het creëren van Fear, Uncertainty and Doubt (FUD) rond het gebruik van cloud computing. Elke aanleiding word gebruikt om desinformatie te verspreiden en het hoofdstuk beveiliging leent zich goed voor het verspreiden van angst. Zo waren sommige er als de kippen bij om een koppeling te leggen tussen de Wikileaks (cabels) en gebruik van cloud computing. Dit terwijl het lekken van deze stukken gebeurde vanuit een intern US Army netwerk via een CD.

De cloud is ook bedreigend voor ICT-ers, omdat sommige denken dat hun werk wel eens zou kunnen verdwijnen als bedrijven al hun ICT naar een public cloud provider zouden verplaatsen.

Ook de private (in huis) cloud levert dit soort zorgen op. De zware mate van automatisering van ICT processen die hierbij gebruikt wordt geeft ICT-ers het gevoel dat ze er geen controle meer over hebben. Het niet langer handmatig uitvoeren van acties op een systeem en moeten vertrouwen op de acties van het systeem zelf beangstigd blijkbaar. Daarnaast zien sommige daar mee ook werk, en mogelijk banen, verdwijnen.

Ook de veranderende verhouding tussen ontwikkeling en beheer (DevOps) levert spanning op. Het afbreken van de silo’s binnen de IT-afdeling is een veranderingsproces dat tot de nodige verzet zal leiden.

Samenvattend kunnen we stellen dat de mentaliteit van de IT-afdeling en het wantrouwen van de technologie, een belemmering vormen voor de adoptie van (public) cloud computing.

Veiliger?

Over de vraag of cloud computing veiliger is kun je tientallen blogs vinden die deze vraag positief en negatief beantwoorden. De juiste vraag is echter ‘veiliger als wat?’.  Christian Reilly en Chris Hoff merkte recent op:

As Chris Hoff has inferred many times via his Rational Survivability blog and specifically in his excellent presentation entitled “Cloudifornication”, the question of “is the cloud more secure?” can only be answered by the question “more secure than what?“. In a parallel universe, the question “is it better or worse than my current environment?” can only be answered with “how bad is your current environment?”. Quid Pro Quo.

Een aantal van de public cloud providers is in het bezit van een ISO 27001, SAS 70 Type II en PCI DSS (zoals Amazon). Dit dan vaak boven op kwaliteits certificaten als een ISO 9001. Zouden de traditionele ICT omgevingen en afdelingen vandaag de dag deze audits ook zonder kleerscheuren overleven? De vraag is dus: ‘hoe goed of slecht is het op dit moment gesteld met je eigen ICT omgeving?’ Pas als hier een eerlijk antwoord op volgt, kun je een vergelijking trekken met de mogelijkheden in de cloud voor je eigen ICT en de gevaren.

Los van alle technologische mogelijkheden en de berg certificaten blijft het vooral een kwestie van psychologische barrières zoals recent onderzoek door IDC en VMware op merkte:

The topic (security) has both technology and organization/compliance facets, as technical factors define the security and safety level of data stored in the cloud; at the same time, even in those cases where the third-party datacenter is certified and proofed, and all compliances are cleared, there is still a clear psychological barrier in knowing that data and applications reside physically “somewhere else.”

Beter beschikbaar?

In de lijn van de veiliger discussie ligt ook de ‘beter beschikbaar’ discussie voor cloud computing. Hier vinden we ook de nodige FUD. Recent kondigde Google aan dat ze al het ‘gepland onderhoud’ uit hun SLA schrapte omdat ze deze onderhouds periodes niet meer nodig hebben. Hier mee komt ‘zero-downtime’ akelig dichtbij en dat doet natuurlijk de nodige stof op waaien.

De daar op volgende discussie kwamen al snel op betrouwbaarheid en vertrouwen, waar mee we weer een psychologisch element te pakken hebben.

Het vertrouwen in cloud computing is iets wat gemakkelijk te schenden is. Het traditionele datacenter leeft redelijk ‘onder de radar’ als het gaat om uitval. Meestal raakt uitval daar slechts enkele applicaties of een deel van de business. Deze uitval kan wel degelijk een grote impact hebben op de productiviteit van een organisatie maar het zal nooit de mate van negatieve publiciteit krijgen die cloud providers ontvangen. Een aardige analogie in de blog van Christian Reilly maakt duidelijk waarom:

The number of US highway deaths in a typical six month period – around 21,000 – roughly equals all commercial jet fatalities worldwide since the dawn of jet aviation over four decades ago. In fact, fewer people have died in commercial airplane accidents in America over the past 60 years than are killed in US automobile accidents in any typical three-month time period. (Source : Boeing Corporation)

 

It’s very infrequent to hear of a road crash (the traditional data center) make national news, but in the event of a commercial jet crash (the cloud) then it’s guaranteed to make headlines. Perhaps this is simply due to the number of people affected on board the airliner at a single time during the incident ?

Hiermee is het vertrouwen van mensen in een cloud computing provider gemakkelijker beschadigd. Het is dus belangrijk om objectieve gegevens te hebben over de beschikbaarheid van een cloud provider en de bijbehorende SLA’s.

Een goede onafhankelijke bron hier voor is bijvoorbeeld CloudHarmony.

Kom op met die controle!

ICT en de business dienen gezamenlijk op te trekken als het gaat om de adoptie van cloud computing. Dit is nodig vanuit financiële en compliance overwegingen. De ICT-er dient hierbij de organisatie te helpen om het maximale uit het cloud potentieel te halen en een gezonde balans te bewaken tussen interne en externe diensten. Het geven van een carte blanche voor het gebruik van cloud computing kan leiden tot hogere kosten en distributie van data buiten de eigen organisatie, die vanuit veiligheid en compliance ongewenst is.

Om deze balans tussen interne ICT en public cloud te bewaken en bewaren, komen er steeds meer cloud management platformen op de markt zoals enStratus en ServiceMesh. Deze platformen leveren governance voor hybrid cloud computing en slaan hier mee een brug tussen intern en externe resources.

Het gaat hierbij om mogelijkheden van centrale inkoop en administratie van cloud computing services, ongeacht de leverancier. Binnen het ‘portaal’ wat hierbij komt kijken, kan men het gebruik van public en private cloud computing services coördineren, evalueren, autoriseren en beheren. Ook zaken als single sign-on en het vastleggen en monitoren van handelingen is onderdeel van deze cloud management platformen.

CSA-Assertion-GraphicZoals Chris Hoff in zijn meeste recente presentatie aan gaf is de sleutel integratie. Zodra cloud leveranciers API’s ondersteunen zoals die door de Cloud Security Alliance (CSA) word ontwikkeld, maakt dit het makkelijker om audits uit te voeren op de omgeving van deze leveranciers.

The goal of CloudAudit is to provide a common interface and namespace that allows cloud computing providers to automate the Audit, Assertion, Assessment, and Assurance (A6) of their infrastructure (IaaS), platform (PaaS), and application (SaaS) environments and allow authorized consumers of their services to do likewise via an open, extensible and secure interface and methodology.

In de komende tijd zullen we de focus van ‘het is niet veilig en betrouwbaar’ zien verschuiven naar dit soort governance vraagstukken en de technologische en organisatorische oplossingen hier voor.

Hierbij is de cultuur in de organisatie en de mentaliteit van de IT-afdeling zeer belangrijk. ICT-ers moeten weer begrijpen dat hun missie is de organisatie optimaal te ondersteunen met ICT en dat cloud computing daar een onderdeel van is. Of ze nu willen of niet. Leidinggevende (zoals CIO/CTO) dienen zich bewust te zijn van deze weerstand en deze actief te adresseren.

Security professionals dienen vooral te redeneren vanuit risico en op basis hier van de organisatie te adviseren over de mogelijkheden om de risico’s af te dekken of te accepteren. Ze gaan hier mee van ‘nee’ naar ‘ja, maar…’.

Als we gezamenlijk dit spelletje niet spelen, zal de business en IT-afdeling steeds verder uit elkaar groeien.

Meer:

Share

Mijn cloud is beter dan die van jou

De laatste tijd zien we steeds meer vergelijkingen tussen diverse cloud providers op duiken. Deze zijn vaak in de vorm van:

  • Mijn cloud is sneller dan die van jou
  • Mijn cloud is goedkoper dan die van jou
  • Of als variatie: ik heb Cloud A met B ‘onafhankelijk’ vergeleken en A is sneller/goedkoper dan B.

De eerste 2 vormen zijn vaak het resultaat van een ijverige marketing afdeling van een cloud provider. De laatste is schijnbaar ‘onafhankelijk’ maar vaak gesponsord door de (marketing afdeling van de) winnaar van de vergelijking.

Het is niet vreemd dat dit soort onderzoeken nu steeds meer opduiken; de markt word steeds volwassener en voller. Cloud providers moeten zich proberen te onderscheiden in deze steeds vollere markt.

Oplossingen die ver zijn gestandaardiseerd en derhalve vaak commodity zijn laten zich uitstekend vergelijken op performance en/of prijs. Denk aan server hardware; een commodity die zijn goed laat vergelijken op performance per $$ of performance per Watt. Ook commodity software zoals een tekstverwerker laat zich goed vergelijken op basis van prijs. De extra features die bepaalde server hardware of een tekstverwerker levert, zijn marginaal en vaak niet erg onderscheidend meer. Cloud oplossingen zijn echter verre van gestandaardiseerd en laten zijn dus slecht onderling vergelijken.

Referentie architectuur

Het leveren van een IT dienst zoals rekenkracht (als bij IAAS) of een programmeer omgeving (als bij PAAS), blijft een complexe bezigheid. Zeker als we kijken naar additionele zaken die nodig zijn om alles te laten werken. Zo is de rekenkracht niets zonder de toegang tot die rekenkracht. Hierbij komen dan zaken zoals DNS en CDN kijken. De programmeer omgeving is niets zonder een framework voor toegang en toegangscontrole (Identitymanagement / access).

De kracht van veel cloud leveringen is het feit dat al deze complexe zaken worden afgehandeld door de cloud leverancier en daar mee de wereld makkelijker bruikbaar gemaakt word voor de afnemer. Zodra we echter naar benchmarks voor snelheid gaan kijken, is het echter wel degelijk van belang hoe deze levering is opgebouwd en hoe of deze op een juiste manier gebruikt word.

De cloud leveranciers leveren hun IT omgeving volgens een bepaalde ontwerp gedachte en visie. Deze is vastgelegd in de referentie architectuur. In deze architectuur staan de kaders en principes die van toepassing zijn op de geboden omgeving. Als men zich niet aan deze kaders houd, dan werkt de omgeving niet of is de performance slecht. Bij het afnemen van een cloud omgeving bij bijvoorbeeld Amazon dient men zich dus wel te houden aan de referentie architectuur.

Dit is extra duidelijk bij de Platform As A Service (PAAS) leveringen. Al eerder gaf ik aan dat een applicatie niet zo maar verplaatst kan worden naar een cloud omgeving. Deze dient vaak aangepast te worden om bijvoorbeeld schaalbaarheid mogelijk te maken. Zodra we een applicatie op een Microsoft Azure omgeving plaatsen of ontwikkelen, dan houden we ons aan de referentie architectuur voor Azure en zorgen we er voor dat deze hier voor geoptimaliseerd word. Dat is niet anders dan op dit moment in een traditionele IT omgeving ook gedaan word. Dit alles maakt het creëren en draaien van benchmarks wel erg lastig. Een test applicatie op Azure kan bagger traag werken op een Google AppEngine omdat deze zich niet aan de spelregels (architectuur) van Google houd en er zeker niet voor geoptimaliseerd is. Dit alles is ook van toepassing op de vergelijkingen die ik rond IAAS leveringen voorbij zie komen op dit moment waarbij CloudHarmony op dit moment de beste poging tot vergelijking van cloud providers doet.

Daarnaast moet men benchmark publicaties met een flinke korrel zout nemen, zoals ik aangaf in ‘Waar benchmarks zijn… wordt vals gespeeld…’

Performance of feature ?

Naast de referentie architectuur, is het belangrijk om te kijken naar de geboden producten en diensten van de cloud leverancier. Hierbij zien we namelijk grote verschillen ontstaan tussen de aanbiedingen op dit moment. De feature set bij Amazon is op dit moment groter dan bij diverse andere aanbieders. Daarnaast bereid Amazon deze set in zeer hoog tempo uit.

Recent schreef Derrick Harris (Gigaom):

It’s arguable that a virtual machine is a virtual machine in the sense that they all provide standard image types and are capable of hosting standard applications, but different classes of users have different requirements for what’s underlying or surrounding their machines. It’s very easy to see why some developers would prefer the breadth of capabilities afforded them by choosing AWS

De beschikbare benchmarks moeten dus duidelijk niet leidend zijn in de keuze voor een cloud provider. Veel belangrijker is het om te kijken of de referentie architectuur en onderliggende producten en diensten passen bij jou wensen. Het geheel van deze diensten beïnvloed namelijk ook nog eens de TCO voor het gebruik er van. In de diverse vergelijkingen rond kosten word dit vaak vergeten als men enkel de pay-per-use bekijkt.

Als je je committeert aan de kaders van de cloud leverancier, de omgeving gebruikt waar voor hij bedoeld is en je je ontwikkeling optimaliseert voor het gebruik van deze cloud omgeving kun je een zeer gelukkig ‘cloud leven’ leiden zoals bijvoorbeeld Netflix.

En als je dan toch een vergelijking/benchmark bekijkt: kijk dan goed of het appels-met-appels is en geen appels-met-peren.

Meer vergelijking:

Share

De nieuwe overheid i-Strategie… & Cloud

De afgelopen week was er de aankondiging van de nieuwe i-Strategie voor de rijksoverheid, gevolgd door de mededeling dat de overheids-CIO’s dit plan hadden goed gekeurd:

De ict- en informatiestrategie (I-Strategie) van de Rijksoverheid is definitief goedgekeurd door de Interdepartementale Commissie van cio’s (ICCIO). Dat maakte Rijks-cio Maarten Hillenaar bekend op het Digitaal Bestuur Congres 2011. Als laatste stap wordt de I-Strategie nu aan de Tweede Kamer aangeboden. De strategie heeft betrekking op alle ict-voorzieningen voor de bedrijfsvoering van de Rijksoverheid en op een aantal generieke ict-voorzieningen in het primaire proces.

In het kader van de bezuinigingen en de stap naar een kleinere en efficiëntere rijksoverheid, doet onze Rijks-cio wat hij moet doen en komt met een plan voor de noodzakelijke samenvoeging van ICT voorzieningen.

Uiteraard komt ‘cloud’ ook voorbij in de context van de nieuwe strategie. Er schuilen tenslotte veel voordelen in het gebruik van cloud. Zeker als je alle media om de hype heen mag geloven. Ook andere overheden zoals die van Japan en de USA doen aan ‘cloud’.

Nu moet ik bekennen dat ik de exacte inhoud van de i-Strategie niet ken, dus mijn conclusies moet baseren op artikelen uit de diverse (ICT)media. In deze media zie ik echter steeds het zelfde terug komen;

…De strategie grijpt in op alle ict-voorzieningen voor de bedrijfsvoering van de Rijksoverheid alsmede op een aantal generieke ict-voorzieningen in het primaire proces.

…spreekt Hillenaar over de gesloten Rijksoverheid-Cloud. Met het netwerk en de DWR zijn de voorzieningen er om een Rijks-Cloud in te richten van waaruit allerlei centrale toepassingen kunnen worden gefaciliteerd. Daarbij past ook de consolidatie van de huidige 63 datacenters waarmee het proces van vereenvoudiging en standaardisatie verder wordt doorgezet.

UK G-Cloud

In mijn vorige blog rond overheidscloud schreef ik over de Amerikaanse overheid en de manier waar op zij cloud hebben opgepakt. Een nog betere parallel voor het ICT proces dat nu start bij de Nederlandse overheid, is te vinden bij de Engelse overheid. Eind 2010 sprak ik Mike Truran over de ontwikkeling van de UK G-Cloud.image

De gekozen hoofdgebieden uit de UK, komen overeen met die in Nederland:

Al deze onderdelen zien we in de besproken i-Strategie ook weer terug/bij elkaar komen. Het traject in de UK rond G-Cloud is echter al gestart in 2009. De ontwikkeling van de UK strategie is zwaar beïnvloed door de manier waar op Obama dit in de USA heeft aangepakt; “The Obama effect: The US IT Revolution and the UK.”  Zo zien we overheids-IT wereldwijd grof weg dezelfde kant op gaan, maar met duidelijke verschillen in de uitvoering en uitwerking er van.

Traditioneel zijn overheden goede klanten van de grote IT ‘System Integrators’ van deze wereld. Dit alles gaat gepaard met mega contracten en aanbestedingen, waar veel kleine organisaties nooit aan zouden kunnen deel nemen. Dit is ook het geval in de UK, waar veel overheids IT is ge-outsourced naar een aantal grote marktpartijen.

image

Het is dan ook niet vreemd dat deze staan te trappelen om de overheid een ‘cloud’ te verkopen. Zeker met de huidige economische condities lijkt een aanbesteding voor de bouw en migratie van overheids ICT een zeer welkome bron van inkomsten.

Met behoud van hun (financiële) aandeel willen deze huidige dienst verleners dus ook wel mee werken aan de consolidatie van de overheids spulletjes.

HP was er dus ook snel bij om te melden dat ze een demo omgeving hadden voor de UK overheid waarbij ze de G-Cloud konden laten zien.

Ik kan me zo ook voorstellen dat de telefoon van onze Rijks-cio niet stil staat na de aankondiging van de i-Strategie, en de grote IT leveranciers aan de poort staan te trappelen.

In Nederland lijken we dezelfde route te volgen als de UK, waarbij ‘cloud’ staat voor het bij elkaar zetten (consolidatie) van overheids datacentra en IT infrastructuur en op die manier geld te besparen. Dit is een consolidatie slag die diverse grote bedrijven in de afgelopen jaren ook al hebben afgelegd om hun ICT kosten te drukken. De vraag is echter of we dit momentum niet moeten pakken voor echte verandering en vooruitgang.

Volgende stap?

Zoals Peter Hinssen in zijn ‘New Normal’ beschrijft, geeft cloud ons de volgende stap in de IT evolutie:

[youtube=http://www.youtube.com/watch?v=3ugBwy343Ak&w=448&h=252&hd=1]

De vraag is nu welke volgende stap de overheid moet nemen in zijn IT evolutie. De i-Strategie maakt duidelijk dat er iets moet gebeuren en de Rijks-cio ziet kansen, in wat misschien wel het ‘spoetnik moment’ is voor overheids-IT. Tijd om een sprong vooruit te maken dus…

Better… for less (not: buy more servers… and more licences)

Het UK rapport “Better for Less – How to make Government IT deliver savings.” (PBA) geeft een verfrissende kijk op overheids ICT, innovatie en de juiste manier van markt stimulatie. Het evalueerde de strategie van de UK Gov en de bouw van hun G-‘Cloud’. Het keek ook naar de manier waar op de huidige IT ‘System Integrators’ hun dienst verlening inzetten en het feit dat deze bij grote contracten vooral gebaat zijn bij het handhaven van status-quo en niet bij echte innovatie. Rond het gebruik van cloud diensten beschrijft dit rapport:

Government must stop believing it is special and use commodity IT services much more widely. It must make the most of its tremendous institutional memory and experience to make IT work together across government and it must innovate at an entirely different scale and price point.

…

Government applications and services should therefore be available ‘in the cloud’. Not in a cloud, in the cloud, for the reasons discussed above. This requires a fundamental change in the way government procures its infrastructure, which is currently based on providing an inward-facing ”G Cloud”. It also promotes and encourages the development of smaller, iterative applications that can be used by different departments across government,

De door de Nederlandse Rijks-cio aangehaalde “generieke ict-voorzieningen” zijn meestal commodity ICT en derhalve uitstekend geschikt om uit de cloud als SAAS te halen.

Uiteraard laait hierbij het debat over veiligheid altijd weer op. Hier word echter volop op ingespeeld door de leveranciers van SAAS oplossingen. Vele zijn in het bezit van International Organization for Standardization (ISO) 27001, Statement on Auditing Standards (SAS) 70 Type I and Type, PCI-DSS, HIPAA, etc.. Dit zijn vaak meer audit controls dan dat menig IT afdeling van de overheid kan tonen.

Daarnaast leveren sommige SAAS leveranciers een speciale overheids versie, die aan nog meer (overheids) eisen voldoet, zoals Microsoft BPOS Federal (nu Office 365). Hierbij zijn vaak ook garanties af te geven over de locatie van data.

En de rest…

Uiteraard is niet alle ICT binnen de overheid commodity ICT en blijven we vanuit de veiligheid discussie ook data houden die niet gehuisvest kan worden in de public cloud. Hierbij zal sommige data afhankelijk zijn van wetgeving die ons op dit moment beperkt in de mogelijkheden van cloud gebruik.

Gelukkige bied het cloud model hier ook kansen in diverse smaken (IAAS, PAAS, SAAS) en soorten (Public, Private). (Zie PAAS artikel, eerste deel).

Het bouwen van een private cloud, is daarbij echt iets anders dan enkel de consolidatie van de huidige ICT voorzieningen. Gezien de schaal van ICT bij de gehele Nederlandse overheid, liggen hier kansen om een cloud omgeving te bouwen op de manier waarop de ‘big boys’ dat doen. Zoals in het eerder geschreven artikel Formule 1 van ICT beschreven moet je voor de bouw van een echte private cloud omgeving goed kijken naar de public cloud leveranciers en de manier waar op zijn in techniek en proces hun IT bedrijven. Hoe meer je daarbij cloud standaarden gebruikt, die in de public cloud ook gebruikt worden, hoe beter de overlevingskansen worden voor je ICT strategie op langere termijn. Zoals Forbes recent melde in een cloud do&don’ts:

Don’t use a private cloud without a migration plan to the public cloud. A variety of vendors have bet the farm on the fact that clouds based on proprietary hardware, meaning anything more expensive than the cheapest commodity technology, will always be more expensive than the public cloud as built by Google and Amazon that relies on the cheapest components.

…private clouds must be built on public cloud standards so that the same management systems can be used. In this way, computing workloads can move easily from your private cloud to the public cloud.

…

Don’t let the cloud happen to you. Remember, the biggest impact that the cloud in any form will have will be when it translates into business value. None of the vendors will ever be able to tell you about how to do this. Their story will always be about cost and abstract “flexibility.”

The winners will be the companies that understand how the cloud makes new offers and products possible.

Het is dus van belang om goed te weten wat er komt kijken bij het bouwen van een private cloud. Dit voorkomt te hoge kosten bij de exploitatie van de private cloud en hoge kosten bij toekomstige migratie naar public cloud.

De verdeling van de totale ICT voorziening zal namelijk constant in transitie zijn over de vlakken van public, private, IAAS, PAAS en SAAS: van de huidige ICT, naar meer gebruik van cloud (public&private). Na enige tijd zullen applicaties (en data) uit de private cloud omgeving ook geschikt worden voor een transitie naar de public cloud. Na enige jaren zal de traditionele IT omgeving verdwijnen. De meeste ICT functies zullen uiteindelijk afgenomen worden in de public cloud (80%). Enkele functies zullen nog geleverd worden vanuit de private cloud (20%):

Schuivende verdeling

‘Dit gaat even pijn doen’…

De overheid is nooit echt goed geweest in het uitvoeren van hele grote projecten en zeker niet op ICT vlak. Daarnaast zal het best lastig zijn om alle departementen op een lijn te krijgen. ICT hervorming op deze schaal zal ook altijd gepaard gaan met de nodige miljoenen aan investeringen.

Dit zal echter het geval zijn bij elk te kiezen scenario. Zodra we bijvoorbeeld alle departementen gebruik zouden laten maken van 1 (nieuw) datacenter als co-lo omgeving, begint daar de discussie al over niet op elkaar afgestemde beveiligingsmodellen tussen departementen. En dat is co-lo nog de ‘laagste’ vorm van consolidatie.

Ik wil dus niet beweren dat deze transitie naar een ‘overheid & IT 2.0’ makkelijk zal zijn. We bevinden ons in een complexe ICT wereld, waarbij elke migratie pijn zal doen. De vraag is echter of de overheid nu een echte stap vooruit durft te nemen;

  • Gebruik van public SAAS voor commodity ICT functionaliteit.
  • Gebruik van off-premises private PAAS/IAAS voor overige ICT functionaliteit.
  • Gebruik van on-premises private PAAS/IAAS voor gevoelige data en ICT functionaliteit.

Als we dit combineren met stimulatie van innovatie door de markt (zoals in het Better for Less document) en andere manier van applicatie bouw (crowdsourcing), voorzie ik een mooie toekomst voor de overheids ICT en de ‘overheids cloud’.

Share

PAAS & de toekomst van programmeren (3)

In het laatste deel van het drieluik rond PAAS en de toekomst van programmeren enkele afrondende gedachte;

Platform As A Service (PAAS) gaat in de komende periode een belangrijke doorontwikkeling krijgen en daar door een prominentere rol in het cloud portfolio. Zelfs Amazon ziet de kansen op dit deel van de markt en lanceerde deze week de AWS Elastic Beanstalk. Werner Vogels (CTO Amazon) meld in zijn blog:

…developers who do not need control over the whole software stack often use development platforms that help them manage their application development, deployment and monitoring. There are some excellent platforms running on AWS that do precisely this; Ruby on Rails developers have Heroku and Engine Yard, Springsource users have CloudFoundry Drupal developers can use Acquia, and PHP aficionados can sign up for phpfog, just to name a few. These platforms take away much of the "muck" of software development to the extent that most RoR developers these days will choose to run on a platform instead of managing the whole stack themselves.

Gaat IAAS verdwijnen?

Infrastructure As A Service (IAAS) speelt een hele belangrijke rol; het is cruciaal voor een heleboel innovatie op het gebied van PAAS en SAAS. Veel van de huidige startups rond PAAS en SAAS maken gebruik van IAAS oplossingen zoals die van Amazon. Het feit dat deze bedrijven onbeperkte opslag en rekenkracht tot hun beschikking hebben tegen een pay-per-use model levert een belangrijke bijdrage aan hun succes. SAAS oplossingen zoals Dropbox (gebouwd op Amazon S3 storage) en PAAS oplossingen zoals Heroku (ook op Amazon IAAS), hadden bijvoorbeeld grote moeite moeten doen om het benodigde kapitaal bij elkaar te krijgen om hun groei te faciliteren. Denk hierbij aan de CAPEX die nodig is voor hardware en de OPEX voor de tientallen systeembeheerders om dit alles in de lucht te houden.

IAAS zal hierbij voor de eind gebruiker/enterprise IT naar de achtergrond verdwijnen. PAAS en SAAS zijn nu eenmaal de lucratievere modellen voor de CIO.

En SAAS dan?

Zoals eerder beschreven, zullen commodity IT producten zeer geschikt zijn voor Software As A Service. Daarnaast zullen we zien dat een golf aan nieuwe (internet) applicaties, die geleverd worden als SAAS, zullen ontstaan. Dit komt omdat IAAS en PAAS omgevingen ontwikkelaars gereedschap in handen geeft, die ze nog niet eerder hadden. Dit zal leiden tot vele nieuwe innovaties. De aanwezigheid van App Stores, om een applicatie gemakkelijk in te kunnen aan bieden, versterkt dit.

Helemaal geen programmeurs meer?

In de vorige delen werd aangenomen dat de ‘tech-savy’ eind gebruiker met zijn kennis en de nieuwe technologische mogelijkheden, zelf applicaties gaat bouwen met microfunctionaliteit. Dit betekend echter niet dat we geen programmeurs meer nodig hebben. Het werkveld van de huidige programmeurs zal zich wel verleggen.

De leveranciers van PAAS en SAAS omgevingen hebben grote behoefte aan goede programmeurs. Zeker mensen met kennis van Python, Ruby en/of Java worden veel gevraagd door dit soort bedrijven. Deze markt zal dus uitbreiden.

Voor de organisaties waar IT niet de core business is (zoals enterprise IT), zal er in eerste instantie behoefte zijn aan programmeurs voor data ontsluiting. Denk hierbij aan de bouw en onderhoud van API’s. Zeker in de eerst komende jaren zal slechts niet kritische en commodity ICT (&data) naar de public cloud verdwijnen. De bedrijf kritische data zal intern nog ontsloten moeten worden en mogelijk voorzien van een applicatie set. De organisatie zal echter wel eisen van de IT afdeling dat dit gebeurd op een interne cloud omgeving. Daarnaast wil men de mogelijkheid om de applicatie in de toekomst te transporteren naar de (public) cloud. Dit betekend dat nieuwe applicaties dus wel ‘cloud ready’ gebouwd moeten worden.

Binnen enterprise IT zal er daarnaast altijd behoefte zijn aan het in stand houden van legacy omgevingen. Er zijn nog steeds mensen met COBOL bezig en zo zullen er ook nog mensen bezig blijven met interne (legacy) Java en .NET applicaties.

Naar mate er meer mogelijkheden komen voor eind gebruikers om hun eigen (micro)functionaliteit te bouwen, zal de behoefte voor grote interne applicaties afnemen. Daarmee neemt de behoefte aan interne programmeurs ook af. De behoefte aan goede data ontsluiting, via API’s, zal hierbij toenemen. Ook bij de inzet van crowdsourcing voor applicatie bouw, zien we dat de programmeur geen onderdeel meer behoeft te zijn van de organisatie. 

Welke skills worden belangrijk voor programmeurs?

Al eerder is aangegeven dat het ontwikkelen van applicaties op een cloud platform iets anders is dan de traditionele IT applicaties. Bij het ontwerpen van een cloud applicatie dient men er rekening mee te houden dat systemen zullen uitvallen in een cloud omgeving. Het ontwerpen rond ‘applicatie redundantie’ is belangrijk. Hierbij werd al eerder opgemerkt: ‘Cloud applications assume failure.’

Het bouwen van cloud applicaties vereist het ontwerpen van stateless applicaties. Zodra er iets niet meer werkt of reageert binnen een cloud omgeving, is het idee dat je deze instance verwijderd (kill) en een nieuwe start. Dat werkt niet als de state ook opgeslagen is binnen deze instance. Ook het concept van een lokale disk is niet aanwezig; er is bijvoorbeeld geen registry. Veel applicatie bouwers hebben vroeger wel geleerd om netjes met ‘state’ om te gaan, maar zijn dit een beetje verleerd omdat de huidige IT dat niet echt afstrafte. Gemakkelijke applicaties zijn vaak stateless. Pas bij de echte interessante applicaties komt een bepaalde mate van state om de hoek kijken. Hier voor zijn in de cloud wel databases en objectstores beschikbaar. Echter de applicatie onderdelen die snel moeten kunnen schalen zoals de web-front-end, moeten stateless zijn.

Daarnaast zijn veel cloud applicaties versplinterd; de applicatie presentatie laag kan bijvoorbeeld op Facebook zijn, de opslag op Amazon S3 en de applicatie logica bij een andere cloud provider. Dit betekend dat er goed nagedacht moet worden over de architectuur, met de nadruk op de schaalbaarheids mogelijkheden die deze platformen bieden.

Voor het vastleggen van de data en state, zijn diverse mogelijkheden in cloud omgevingen die echt anders zijn dan de traditionele IT. Denk hierbij aan de inzet van niet relationele databases. Zowel het Windows Azure platform als de Google App Engine, geven de ontwikkelaar een andere manier om met data om te gaan;

The uses of abstraction and statelessness also have database implications. For example, Azure presents developers with a different perspective on databases than the standard relational model, said Ben
Day, president of Benjamin Day Consulting. The Azure storage engine does not use a standard relational database, so a lot of the stuff you would do if you were developing a standard app using a standard relational database just doesn’t make a lot of sense anymore. An example: the relational database concept of stored procedures, in which query logic is close to the actual data itself. This is no longer applicable in the Azure cloud.

The problem is with Azure is there’s no guarantee that the data that you’re going for lives in any particular location or datacenter or any particular device. You end up writing basically SQL queries against the store because the stored procedures aren’t relevant anymore. Plus, the Azure storage engine is different than the SQL Data Services cloud-based version of SQL Server. As an example, Azure stores a 1MB file as a blob, unlike SQL Server, which stores it in a table.

Bij de Google App Engine, word voor opslag Google’s Big Table gebruikt. Dit is ook geen SQL database. Daarnaast zien we de opkomst van technieken zoals Hadoop voor de verwerking van grote hoeveelheden data.

Daarnaast hebben we de opkomst van diverse nieuwe/andere talen en frameworks. Hierbij zal zullen Java en .NET voorlopig nog niet uitsterven, maar is het wel verstandig voor programmeurs om zich eens te verdiepen in de leidende cloud talen op dit moment.

Op het persoonlijke ontwikkelingslijstje van de programmeur zou dus moeten staan:

  • Verdiepen in Ruby en/of Python.
  • Verdiepen in (nieuwe) frameworks i.r.t. cloud (zoals de recente ontwikkelingen rond Springsource).
  • Verdiepen in API’s (REST, JSON, XML), want dit word je koppelvlak met data uit diverse bronnen.
  • Verdiepen in andere manieren van data opslag en omgang zoals Hadoop, etc..

Dit alles zou je kunnen starten door eens mee te doen aan lopende prijsvragen voor crowdsource applicatie bouw. Leer je programmeren voor de cloud en misschien hou je er nog een zakcentje aan over 😉

Als ik dit alles zo zie, breken er gouden tijden aan voor programmeurs…

Boek tip: Cloud Application Architectures: Building Applications and Infrastructure in the Cloud (George Reese, 2009)

Share

PAAS & de toekomst van programmeren (2)

crowdsourcing-cartoonPAAS, programmeren en crowdsourcing

Het eerste deel van PAAS & de toekomst van programmeren sloot ik af met het idee dat in de toekomst eindgebruikers (hun) applicaties zouden kunnen schrijven. Als we dit combineren met de technologische mogelijkheden van internet zoals PAAS en wereldwijd bereik van potentiele ontwikkelaars, komen we bij een interessante optie: crowdsourcing.

Conform Wikipedia verstaan we onder crowdsourcing:

…gebruikt om een recente ontwikkeling aan te duiden, waarin organisaties (overheid, bedrijven, instituten) of personen gebruikmaken van een grote groep niet vooraf gespecificeerde individuen (professionals, vrijwilligers, geïnteresseerden) voor consultancy, innovatie, beleidsvorming en onderzoek.

Hierbij is dus het idee om (groepen) mensen aan het werk te zetten om voor jou organisatie applicaties te gaan bouwen. Dit kunnen eigen personeels leden zijn die applicaties bouwen om hun werk beter te kunnen uitvoeren, maar kunnen ook andere mensen zijn. De verleiding tot het bouwen van een applicatie komt vaak in de vorm van een wedstrijd met een (geld) prijs. Daarnaast is het veel deelnemende ontwikkelaars te doen om de eer en de status.

Een aantal ontwikkelingen in de afgelopen jaren maken het bovenstaande echt mogelijk;

Kennis

In 2007 concludeerde de Yankee Group al dat eind gebruikers steeds meer technische kennis bezitten en steeds meer ‘tech-savvy’ worden. Dit beeld werd versterkt met het feit dat steeds meer thuis elektronica zijn intrede deed binnen bedrijven. Dit begon met het zelf mee brengen van een laptop en telefoon/smartphone en de komst van de iPad heeft dit alleen nog maar versterkt. We kunnen niet ontkennen dat generaties die na ons volgen ook vele malen handiger zijn met bijvoorbeeld de PC dan wij zelf.

Platform As A Service

Zoals in het eerste deel vermeld geeft een PAAS omgeving zoals Force.com of Google App Engine, de ontwikkelaar de mogelijkheid om zijn applicatie te bouwen zonder zich druk te maken over de onderliggende technische infrastructuur. Mocht zijn applicatie een succes worden, dan hoeft hij zich ook niet druk te maken over het opschalen van die infrastructuur. Succesvolle diensten kunnen heel snel groeien, denk bijvoorbeeld aan Playfish; Zij bouwde een aantal succesvolle games voor Facebook en iPhone en schoten binnen enkele maanden naar 50 miljoen gebruikers (en werden gekocht voor $300 miljoen door EA). Zonder een flexibel cloud platform was dat niet mogelijk geweest.

Nieuwe programmeer technieken

De manier van applicatie ontwikkeling is veranderd in de afgelopen jaren. Daarnaast zijn er veel tools en frameworks beschikbaar gekomen die het ‘kloppen van code’ makkelijker hebben gemaakt. Er komen ook steeds meer SDK’s beschikbaar die het schrijven van een applicatie voor bijvoorbeeld de iPad makkelijker maken.

(In het vorige deel van de blog is hier voor een deel ook al naar gekeken.)

API’s

API staat voor Application Programming Interface en is een verzameling definities op basis waarvan een computerprogramma kan communiceren met een ander programma of onderdeel. Het vormt zeg maar het onafhankelijke koppelvlak tussen aanbieder en afnemer.

Applicaties zijn leuk, maar het gaat uiteindelijk om de data en informatie die er mee bewerkt, bekeken en geproduceerd kan worden. Als een applicatie ontwikkelaar een applicatie gaat bouwen, dient deze wel te weten op welke manier hij de data kan benaderen en welke opmaak deze data heeft. Hierbij komen API’s in beeld; een API definieert de toegang tot de functionaliteit die er achter de API schuil gaat. De buitenwereld kent geen details van de functionaliteit of implementatie, maar weet dankzij de API wel hoe deze kan worden aangesproken.

Steeds meer organisaties en bedrijven publiceren hun data via een API op internet. Door middel van het combineren van API’s kunnen applicatie bouwers hun applicaties verrijken met deze informatie bronnen. Denk hierbij aan de combinatie van Google Maps en foto’s op Flicker via hun API’s. (Dit worden ook wel Mashups genoemd).

Er zijn inmiddels diverse producten op de markt voor de bouw, publicatie en beheer van API’s. Voorbeeld: Apigee (waar je ook uitgebreide kennis over API’s kunt vinden.)

(O ja, en als je die API(’s) dan gaat bouwen… dan graag een RESTfull API…)

Opensource

Over opensource kunnen we lang discussiëren, maar in een model waarbij crowdsourcing voor applicatie bouw word toegepast word de meeste winst behaald door de applicatie onder een opensource model te ontwikkelen. Het beschikbaar hebben van de broncode, levert inspiratie voor andere ontwikkelaars, levert snellere ontwikkeling door hergebruik van code en veiligere applicaties door dat 10 ontwikkelaars meer zien dan 1.

Uiteraard bestaan hier hele, bijna religieuze, debatten over… maar uiteindelijk past dit gewoon goed bij elkaar. Luister maar naar Simon Wardley. (opensource na +/-20min)

Versie- en broncodebeheer

Goed versie- en broncodebeheer is noodzakelijk voor het beheer en onderhoud van de gebouwde applicatie. Het zorgt voor betere onderlinge samenwerking tussen ontwikkelaars, goede registratie en opvolging van software fouten en betere documentatie. In combinatie met opensource geeft het deelnemers aan een competitie ook de mogelijkheid om code en applicatie delen te hergebruiken en sneller een applicatie te kunnen leveren.

Men kan een eigen systeem selecteren en opzetten of gebruik maken van de vele systemen die op internet al beschikbaar zijn. (Tip: gebruik GitHub… het is 1 van de betere op dit moment… en ja deze draait ook ‘in de cloud’, maar is ook geschikt voor closed-source)

Wedstrijdplatform

Om de competitie voor de applicatie ontwikkeling te houden, dient men een wedstrijdplatform te creëren. Hier bij gaat het in de basis om een systeem waarbij
alle benodigde informatie rond de competitie te vinden is en men zich kan inschrijven. Het is nog beter om dit systeem te verrijken team omgevingen die samenwerking bevorderen en verbeteren en met ranglijsten die het spel en uitdagingselement versterken. Voorbeeld: http://www.challengepost.com/

Laten we na al deze theorie en benodigdheden enkele voorbeelden bekijken van crowdsourcing en app ontwikkeling:

Continue with reading

Share

PAAS & de toekomst van programmeren (1)

Cloud deed het goed in 2010. Vooral rond Software As A Service (SAAS) waren een hoop aankondigen van enterprise organisaties die overstapte. Denk aan Ahold die naar Google Apps ging, diverse US overheid instellingen die naar Microsoft BPOS gingen,  maar ook SalesForce zijn CRM deed het weer goed in 2010.

Op de Infrastructuur As A Service (IAAS) waren enkele kleine lichtpuntjes te zien aan de eindgebruikers kant. Zo zetten de Amerikaanse overheid een RPF in de markt voor IAAS. Aan de aanbodzijde zagen we een explosieve groei. Naast de bestaande spelers kwamen er vooral veel hosting en co-lo bedrijven bij die de cloud markt betreden met een IAAS aanbieding. Op het vlak van IAAS kunnen we ook concluderen dat er redelijk wat volwassen technologieën bestaan die het makkelijk maken om een IAAS service uit te rollen.

De inzet van IAAS levert organisaties de mogelijkheid om flexibel opslag en rekenkracht af te nemen. Dit vaak in een pay-per-use model. De eindgebruiker blijft echter nog wel verantwoordelijk voor een hele hoop technisch beheer. Denk aan het besturingssysteem, database en eventuele applicaties. Ook de licenties en onderhoudscontracten hier op zijn voor rekening van de eindgebruiker.

Zoals eerder beschreven hebben we bij de traditionele IT zelf de controle over alles inclusief de, zelf bedachte, architectuur die alle lagen in de IT stack aan elkaar bind. Als we gebruik gaan maken van cloud geven we een gedeelte van deze controle uit handen;

image_2

Hoe hoger we in de bovenstaande ‘cloud stack’ (bron: Lori MacVittie) komen; hoe minder de organisatie zelf doet aan de ICT voorziening. Hoe hoger we in de stack komen, hoe dichter we zitten bij de waarde creatie van ICT voor de business; want laten we wel wezen het gaat om de applicatie. Maar ook hoe hoger we in de stack komen, hoe minder eigen controle. Hoe hoger we in de stack komen, des temeer we ons aan standaarden en referentie architectuur van de leverancier dienen te houden.

Bepaalde applicaties, zoals een tekstverwerker, zijn commodity ICT. De functionaliteit voor de tekstverwerker is voor veel bedrijven het zelfde en het is een dus danig uitgewerkt en beschikbaar concept, dat de organisatie er geen competitief voordeel haalt uit het hebben van een tekstverwerker. Dit soort applicatie lenen zich dus uitstekend voor SAAS. Echter niet alle applicaties in een enterprise organisatie zijn commodity. Hier komt Platform As A Service (PAAS) in beeld. Het kent minder restricties (en dus meer controle) dan SAAS, maar minder beheer (en benodigde kennis van de onderliggende infra) dan IAAS. Binnen de PAAS omgeving kan een applicatie ontwikkelaar een applicatie ontwikkelen voor de organisatie zonder zich echt druk te maken over de onderliggende lagen en techniek.

The advantages of PaaS are

  • Complete abstraction all the way up to development environments and other middleware components, taking the operations out of the picture
  • Considerable cost savings and faster time to market
  • Better security. As Chris Hoff pointed out,  one could enforce sanitary programmatic practices across the derivate works built upon PaaS

PAAS in beweging.

De markt rond de leveringen op PAAS gebied is volop in beweging. James Urquhart meld in zijn 2010 jaar overzicht;

11. Platform as a Service steps up its game
VMware announced its Cloud Application Platform. Salesforce.com introduced Database.com and its acquisition of Ruby platform Heroku. Google saw demand for developers with App Engine experience skyrocket. Platform as a Service is here, folks, and while understanding and adoption of these services by enterprise IT still lags that of the Web 2.0 community, these services are a natural evolutionary step for software development in the cloud.

We zien VMware bewegen naar PAAS met hun overname van Spring Source en later de samenwerkingen met Google App Engine en SalesForce.com. Microsoft beweegt zich op het PAAS vlak met Azure, Google met App Engine en diverse startups zijn ook erg succes vol met hun PAAS oplossing (zoals Heroku; verkocht voor $212 miljoen).

Veel leveranciers van huidige IAAS oplossingen zien de nadelen van IAAS en voordelen van PAAS… even als hun klanten, die met IAAS nog niet in het beloofde IT landschap komen wat Nick Carr in zijn boek The Big Switch schetst.

Continue with reading

Share

Cloud computing in 2010.. en door naar 2011

We hebben inmiddels 2010 afgesloten en een start gemaakt met 2011.

Nu zou ik een blog kunnen schrijven met een terugblik en een voorruitblik… maar dat hebben een hele boel Cloud Guru’s al voor mij gedaan in de afgelopen weken. Een greep uit de uitgebrachte blogs:

Terugblik 2010

Top 10 Cloud Computing Services for 2010 – We (ReadWrite) chose our top 10 services based upon what trends bubbled in 2010 and the companies and organizations that responded or even set the tone for the overall market.

2010 Review: Top 10 cloud computing stories – Here Computer Weekly looks back on the top 10 cloud computing stories of the year.

9 Companies That Drove Cloud Computing in ’10 – When market leaders act, or when emerging vendors step up to challenge the status quo, it’s bound to spur reactions, be they mimicry, public outcry, or just plain awe. here are my nine (GigaOm) most-influential infrastructure companies for 2010, with a few links apiece to provide context.

Glazenbol: 2011

A cloudy look forward at 2011 – A bunch of us in the cloud computing business here at CA Technologies put our heads together to see if we could articulate what we thought some of the big trends were going to be in cloud for 2011. It was a long and interesting list, as you might expect.

Cloud Computing: 2011 Predictions – It’s been an incredibly interesting, exciting, and tumultuous year for cloud computing. But, as the saying goes, “you ain’t seen nothin’ yet.” Next year will be one in which the pedal hits the metal, resulting in enormous acceleration for cloud computing. One way to look at it is that next year will see the coming to fruition of a number of trends and initiatives that were launched this year.

Predictions for 2011 in Cloud: Chips, Lawsuits and Acquisitions – It seems like every year since 2008 has been dubbed the “Year of the Cloud,” but I think 2010 was the real deal. Cloud computing, as a delivery model, has matured to a point where we can really see where it’s headed and how it will shape up. Here are my (GigaOm) five predictions for cloud in 2011, with a few links apiece to provide context.

Virtualization and cloud computing predictions for 2011 from leading analysis firms – At the end of every year, industry analysts and reporters are releasing their predictions for the coming 12 months. Jonny Bentwood, Director, Analyst Relations and Strategy at Edelman running the Technobabble 2.0 blog summarized some of these predictions, giving an overview of the different predictions made by the following firms: Gartner, Ovum, CCS Insight, Nucleus Research, HfS,  Infotrends, Quocirca, IHS Screen Digest, Forrester, Disruptive Analysis, Tech Market View.

Cloud 2011: The Year of the Network – The pace of innovation in the cloud in the last few years has been astounding. It’s difficult to recognize today’s cloud computing landscape as having any relationship to where it was a year ago. In spite of all the innovation that’s been going on, one area remains in the dark ages—the network. My 2011 prediction is simple: 2011 will be the year of the network in the cloud.

Cloud Predictions For 2011: Gains From Early Experiences Come Alive – what matters as 2010 edges towards a close is what enterprise Infrastructure & Operations (I&O) professionals should be planning for in the coming year. Not all moves that show promise today will result in a sustainable harvest come 12 months, but a few trends are likely to play out. Here are my (Forrester) top expectations

En als laatste uitsmijter:

5 Predictions for APIs in 2011 – As we head into 2011, here are five predictions for what’s next in APIs.

 

Bij dee vooruitblik naar 2011 ben ik het uiteraard niet met iedere analyst en guru eens 😉 maar we gaan zien wat het jaar gaat brengen…

Share

GreenGrid bijeenkomst A’dam.. meer afkortingen..

Afgelopen week was er in Amsterdam de jaarlijkse EMEA Green Grid Tech Forum. Tijdens deze bijeenkomst worden nieuwe ontwikkelingen gedeeld met leden en niet-leden (in de ochtend).green-grid

De afgelopen jaren is de Green Grid vooral bezig geweest met het neerzetten van PUE en de ontwikkelingen daar rond om. Hier is men redelijk succesvol in geweest en dat smaakt naar meer. Voor de komende jaren gaat de focus op enkele andere zaken liggen;

Communicatie rond de voordelen van ICT, waarbij deze ingezet kan worden om de milieubelasting van een organisatie te verlagen. Dit is de ‘IT-for-Green’ benadering, waarbij bijvoorbeeld video conferencing het aantal kilometers per auto en vliegtuig verlaagt en derhalve bij draagt aan een lagere CO2 uitstoot.

Men is ook van plan om tenminste 2 nieuwe eenheden te introduceren; Carbon Usage Effectiveness (CUE) en de Water Usage Effectiveness (WUE), zoals ook aangekondigd in recent persbericht:

The new metrics, called Carbon Usage Effectiveness (CUE) and the upcoming Water Usage Effectiveness (WUE), are joining The Green Grid’s widely-used Power Usage Effectiveness (PUE) metric. All are designed to help IT, facilities, and sustainability organizations across the globe optimize their data centers.

Hierbij is het goed om te zien dat men water verbruik als een belangrijke factor gaat zien rond duurzame datacentra. Het nadeel is wel dat er weer mee afkortingen en maateenheden worden geïntroduceerd.

Tijdens de bijeenkomst werd er echter ook nog een ander balletje opgegooid: Het mag duidelijk zijn dat duurzaamheid verder gaat dan de energie efficiëntie waar Green Grid zich tot nu toe op heeft gericht. Uiteindelijk is de totale duurzaamheid, maar ook CO2 uitstoot, iets van de gehele keten van de IT omgeving.

Om de efficiëntie daar van beter in beeld te brengen, kwam men met het idee voor een Data Center Maturity Model. Dit model werd bedacht door Harkeeret (Harqs) Singh, die in het bestuur van de Green Grid zit. Dit idee lijkt nu geadopteerd te worden door Green Grid.

Maturity_Model_05082010

Het model kent op dit moment 5 niveaus van volwassenheid en diverse categorieën die getoetst kunnen worden. In de komende tijd word het model verder door ontwikkeld op basis van feedback van de Green Grid leden.

— update 9 dec 2010 —
De presentaties van de bijeenkomst zijn beschikbaar:

The Green Grid Overview
EMEA Activities
Interxion End User Presentation
Microsoft End User Presentation
Harmonizing Global Metrics for Data Centre Energy Efficiency
Data Centre Maturity Model

Share