JanWiersma.com

Overheids Cloud… geen goed idee…

Op 19 mei werd in de 2e kamer een motie behandeld rond de inzet van cloud computing voor de overheid. Deze werd ingediend door de Kamerleden Van der Burg, Heijnen & Algra;

…verzoekt de regering in navolging van landen als Japan, het Verenigd Koninkrijk en de Verenigde Staten een strategie voor de hele Nederlandse overheid te ontwikkelen voor «cloud computing» en een «cloud First»-strategie waarbij mogelijkheden voor de inrichting van de overheidscloud duidelijk omschreven worden met de bijbehorende voor- en nadelen;

Volledige tekst hier en de behandeling hier.

Was de motie rond gebruik van opensource nogal gewaagd voor de politiek, deze gaat dus duidelijk een aantal stappen verder. Nu is ‘cloud’ een heel breed begrip en kan de inhoud van de motie dus ruim geïnterpreteerd worden. Uiteraard werpen diverse overheids IT-ers direct de nodig barrières op, met het veiligheids aspect voor op. De overheid is gegevenshoeder van een hoop burger gegevens en heeft de plicht deze goed te behandelen. Dit zou dan ‘niet in een cloud omgeving kunnen’… controle kwestie dus… Daarbij mogen we ons ook afvragen hoe ‘veilig’ die informatie op dit moment is opgeslagen. Een muur (ook al is die van de overheid) om een paar systemen heen, is nog geen garantie voor de veiligheid van de data.

Wegens alle beperkingen rond public cloud computing en de beren (reëel of niet) die we op de weg zien, kiest men dus voor: wel cloud… maar niet public… dus we gaan voor private cloud. Omdat de critici het dan ook wel eens zijn met het verhaal van economische voordelen en schaalgrote, is de term ‘Overheidscloud’ geïntroduceerd. Het idee: iedereen heeft email nodig, dus we bouwen een eigen mail-cloud voor de overheid, iedereen heeft CRM nodig.., iedereen heeft… Het idee is wel duidelijk…

Recent had ik de mogelijkheid om met mevrouw vd Burg (VVD) en Mike Chung (KPMG) kort van gedachte te wisselen over de richting voor de Nederlandse overheid rond cloud. Hierbij werd het overheidscloud concept ook even getoetst. Samengevat kwam de reactie hier op neer:

Het bouwen van een interne private cloud omgeving voor de gehele Nederlandse overheid levert een grote uitdaging. Er zijn hoge kosten mee gemoeid, in een toch al economisch slechte situatie. De doorlooptijd zal enorm zijn. Het op 1 lijn krijgen van diverse departementen kost veel tijd, het bouwen van deze omgeving kost ook veel tijd. Google, Microsoft en Amazon hebben hun omgeving ook niet van vandaag op morgen gebouwd.

Het eerder besproken onderzoek The Economics of the Cloud for the EU Public Sector levert nog een aantal interessante inzichten op rond de inzet van Cloud computing binnen de overheid. Een onderdeel is het opzetten van een overheids cloud;

Some governments have expressed a desire to construct a cloud for all departments and agencies in this way. Pooling resources could dramatically improve the economics and appeal of a private cloud. But this is a highly simplified view. It may be challenging to get all civilian or military agencies within a government to put the entirety of their IT on the same private cloud. Agencies have different needs, requirements, dependencies, work cycles, legacy requirements, and budgets and simply may not want to have their IT decisions made outside the agency.

Vanuit de verschillen in (functionele) eisen en wensen is het dus maar zeer de vraag of diverse departementen en overheids organisaties bij elkaar op 1 overheidscloud passen.

Een mooi voorbeeld om effectiviteit en efficiëntie te bekijken is de boven genoemde ‘work cycles’:

Veel organisaties hebben virtualisatie ingevoerd om efficiënter gebruik te kunnen maken van de gekochte hardware. De boodschap dat bij veel bedrijven de systemen meer idle (stil) staan, dan dat ze werken is goed aangekomen. Het beter uitnutten van de potentie van je systeem levert dus (financiële) voordelen op.

Dit zelfde passen de grote cloud providers toe op hun cloud platform. Door het combineren van verschillende werklast met verschillende karakteristieken poogt men om het cloud platform optimaal te benutten. Hier voor is geografische spreiding bijvoorbeeld van belang; als het ene continent stopt met werken, word het andere continent wakker. Door het toepassen van dit soort ideeën zorgt men er voor dat de toegepaste investering optimaal benut word. dit word ook wel bestempeld als ‘cloud tetris’; waarbij de cloud provider de werklast blokjes in elkaar probeert te passen…

Als we bovenstaand voorbeeld toepassen op het (interne) private cloud concept voor de Nederlandse overheid, is duidelijk dat onze tetris actie is stuk lastiger is. Ambtenaren starten om 8 uur s ’morgens en gaan naar huis om 17u… (de 1.0 ambtenaar dan…)

Het is ook de vraag of de departementen en andere overheids onderdelen gaan zitten wachten tot er een keer een interne overheids cloud komt. Hier en daar word nu al ‘het water getest’ rond de public cloud leveringen. De doorlooptijd en de diversiteit in functionele behoefte zal leiden tot fragmentatie, zoals ook in het Microsoft rapport staat:

cloudfragment

Deze beweging word nog eens versterkt door de zo geheten “rogue clouds”, waarbij ambtenaren zonder medeweten van hun IT afdeling public cloud computing gaan gebruiken. Dit gebeurd nu al en word steeds makkelijker gemaakt door de self-service mogelijkheden van cloud computing.

En de USA dan, die doen toch ook ‘Gov cloud’ ?cloudservice

Als we kijken naar de ontwikkelingen in de USA onder overheids-CIO Vivek Kundra, zien we daar een hele duidelijke cloud strategie. Deze word vooral zichtbaar op Apps.gov. Deze website is een portaal naar de verschillende cloud computing diensten uit het IAAS tot SAAS scala. De website is feitelijk ook een soort webshop voor overheids instanties die via deze omgeving de diensten kunnen inkopen. De achterliggende organisatie (GSA) is in feite een inkoop organisatie voor diverse cloud leveringen.

Hierbij probeert men gezamenlijke aanbestedingen in de markt te zetten waarbij alle overheids instanties gebruik kunnen maken van deze ingekochte diensten.

Kundra is zich ook bewust van het feit dat diverse overheids onderdelen zelf al bezig zijn met private cloud ontwikkelingen en probeert deze vooral bij elkaar te brengen.
De grootste focus ligt hierbij op het gebruik van public clouds die ingekocht worden door de GSA, onder overheids voorwaarde. De meest recente aanbesteding is die voor cloud-based Infrastructure as a Service (IAAS). Deze is gewonnen door diverse public cloud providers zoals Amazon, Savvis en Verizon.

Het is ook slim om te starten met de IAAS laag omdat deze het meest generiek is. Iedere overheids instantie heeft opslag en rekenkracht nodig. Met de 11 winnaars van de deze aanbestedingsronde moet er dus altijd wel iets tussen zitten wat bruikbaar is. Het maken van eenduidige eisen en wensen op PAAS en SAAS gebied zal dit lastiger zijn.

Al met al blijkt de keuze voor een portaal functie en centrale inkoop een slimme zet te zijn.

Dat er achter de schermen ook private clouds zijn voor bepaalde overheids instanties is ook duidelijk. Dit blijkt ook uit de winnaars van de IAAS aanbesteding waarbij een aantal een externe private cloud leveren. NASA is/was hier bijvoorbeeld ook heel nadrukkelijk mee bezig geweest vanuit hun Nebula ontwikkeling. Deze werd uiteraard gedaan op basis van openstandaarden en opensource, waarna een groot deel van de code is opgegaan in de OpenStack ontwikkeling. Zo heeft het bedrijfsleven en de burger ook weer profijt van deze ontwikkeling en de belasting centjes die daar in zijn gaan zitten.

Wat wel.. en wat niet ?

Is het vestigen van een interne private cloud voor alle overheids instanties (de ‘overheidscloud’) wel dus zo’n goed idee ? Vanuit doorlooptijd, schaal en bijbehorende kosten efficiëntie lijkt de public cloud dit toch echt te winnen. Er zijn nog de nodige barrières te overwinnen maar daar is voor een groot deel de politiek ook aan zet. Als het regeer akkoord de wens uitspreekt voor een kleinere, kosten efficiëntere en (ICT) slimmere overheid, dan liggen hier de kansen.

Dus wel:

– Ontsluiting van overheids informatie regelen voor overheids onderdelen onderling en overheid richting het bedrijfsleven en de burger. (API’s?!?)

– Regels en wetgeving versoepelen zodat overheids instanties gebruik kunnen maken van public cloud mogelijkheden. Dit gaat van aanbestedingsregels tot wetgeving rond data opslag.

– Starten met meest generieke diensten, met als voorbeeld IAAS.

– Handen in een slaan voor de inkoop van bepaalde public cloud diensten. Hier is een rol weg gelegd voor de rijks CIO.

Dus niet:

– Bouwen van een interne private cloud omgeving voor alle overheids instanties.

En ja… alle losse public clouds voor overheids gebruik… die verzameling mag je dan wel weer ‘overheidscloud’ van noemen.. 😉

Meer:

Overheid in de cloud

Info.apps.gov

The Economics of the Cloud for the EU Public Sector (vooral hoofdstuk 4)

Share

Public&private cloud kosten… schaal is de sleutel…

Microsoft heeft recent een onderzoek uitgebracht genaamd The Economics of the Cloud for the EU Public Sector. Dit stuk is inmiddels uitgebreid besproken en bediscussieerd door de ‘cloud guru’s’ van deze wereld. Het stuk focust zich op de economische voordelen van Cloud computing met grof weg de volgende uitkomst:

– 80% lagere TCO. De combinatie van IT operatie op grote (massale) schaal, bundelen van gelijksoortige vraag en het bedienen van meerdere gebruikers op 1 omgeving creëren enorme schaalvoordelen in public cloud datacentra; “a 100,000-server datacenter has an 80% lower total cost of ownership (TCO) compared to a 1,000-server datacenter.”
– 40x lagere kosten voor MKB; “For organizations with a very small installed base of servers (<100), private clouds are prohibitively expensive compared to public cloud.”
– 10x lagere kosten voor grote (enterprise) organisaties; “For large agencies with an installed base of approximately 1,000 servers, private clouds are feasible but come with a significant cost premium of about 10 times the cost of a public cloud for the same unit of service.”

Deze uitkomsten zijn niet geheel nieuw. In 2009 werd dit ook al vastgesteld door o.a. AT&T. (zie een oude presentatie daar over). Over de kosten voordelen kan men lang en breed discussiëren, maar op het moment dat echte pay-per-use aan de vergelijking wordt toegevoegd slaat de balans snel uit in het voordeel van public cloud.

Als die kosten voordelen zo groot zijn, waarom stapt men dan nog niet massaal over? Dat antwoord is simpel en ligt in de woorden ‘vertrouwen’ en ‘controle’. Als we kijken naar de adoptie barrières voor public cloud zien we o.a. het volgende:

  • Beveiliging
  • Volwassenheid (o.a. SLA’s)
  • Governance
    • Data integriteit
    • Monitoring
    • Audit
    • Identiteit en toegang
    • Financiële controls
  • Compliance
    • PCI
    • SAS70
    • Etc..

Al deze bovenstaande redenen voor het niet overstappen, hebben te maken met ‘vertrouwen’ en ‘controle’. Soms is dit vanuit de organisatie zelf (zoals de ‘onvolwassenheid’ van de SLA) en soms vanuit de overheid of andere regulerende instantie (zoals PCI). Deze barrières zullen in de komende jaren steeds meer en meer geslecht worden. Omdat men echter nu al gebruik wil maken van alle geweldige voordelen van cloud, bedachten we iets anders: de private cloud. Wel cloud, maar dan binnen de eigen muur zodat we toch nog controle hebben…

Het Microsoft stuk gaat ook in op de vergelijking tussen private cloud en public cloud;

cloudeconomics

While private clouds can achieve some degree of cost savings from the scale economies we describe while addressing some governmental concerns about cloud, our analysis reveals there is a price premium associated with private clouds, as the benefits of scale do not apply equally to public clouds and private clouds. Through our analysis, we show that over time the cost of private clouds will increase to be 10x higher than public clouds, while barriers to public cloud adoption will be addressed to a greater degree

Hier is de conclusie dus ook dat de kosten van private cloud hoger uitvallen dan die van public cloud gebruik. Het stuk stelt zelfs de vraag of het bouwen van een private cloud goedkoper is dan outsourcing van bestaande IT… en dat is een interessante gedachte…

Geef me die private cloud!

Rond private cloud bestaat de nodige cloudwash. Dit komt omdat diverse traditionele IT leveranciers zich op de private cloud omgeving hebben gestort als survival strategie en al hun producten als ‘cloud’ bestempelen. Zodra je kiest voor een private cloud word je overspoelt met leveranciers die je kunnen bedienen. In de basis komt het echter op het volgende neer: zelf bouwen of uit de markt halen. Met alle variaties daar tussen.

Als we naar de grote jongens in cloud (Amazon, Google, Microsoft) kijken, zien we dat de echte cloud omgeving is gebouwd op commodity hardware (zoals de Google server) en voornamelijk opensource producten (zoals OpenStack). Dat is voornamelijk een TCO keuze.

cloud-model

 

Het hebben en beheren van een (private) cloud behelst echter meer. Simon Wardley verwoord dit (zoals altijd) uitstekend:

If you’re building an infrastructure cloud (whether public or private) then I’ll assume you’ve got multi-tenancy, APIs for creating instances, utility billing and you are probably using some form of virtualisation. Now, if this is the case then you’re part of the way there, so go check out your data centre.

IF :-

  • your data centre is full of racks or containers each with volumes of highly commoditised servers
  • you’ve stripped out almost all physical redundancy because frankly it’s too expensive and only exists because of legacy architectural principles due to the high MTTR for replacement of equipment
  • you’re working on the principle of volume operations and provision of standardised “good enough” components with defined sizes of virtual servers
  • the environment is heavily automated
  • you’re working hard to drive even greater standardisation and cost efficiencies
  • you don’t know where applications are running in your data centre and you don’t care.
  • you don’t care if a single server dies

… then you’re treating infrastructure like a commodity and you’re running a cloud.

Dit alles maakt het een grote uitdaging voor veel organisaties om een echte private cloud te bouwen. Een logische optie kan zijn om bepaalde bouwblokken uit de markt te halen en toch een deel van de voordelen van private cloud te genieten.

Virtualisatie alleen =! Cloud (, maar het helpt wel)

Voor het bouwen van een private cloud helpt virtualisatie. Dit is niet alleen het geval vanuit technologie oogpunt maar ook vanuit de effecten die virtualisatie met zich mee brengt voor organisatie en proces als transitie naar cloud.

Zoals de whitepaper hier over vermeld:

Virtualisatie is GEEN cloud computing, maar het forceert dezelfde wijzigingen op de organisatie. De technologie wijziging is hierbij misschien zelfs minder belangrijk; het is eigenlijk een cultuur wijziging. Virtualisatie forceert de eindgebruiker bijvoorbeeld om de fysieke implementatie van hun dienst los te laten (‘ik wil dit servertje, merk X’) en te vragen om functionele en service termen en beschrijvingen. Veel organisaties hebben geen duidelijke SLA’s beschreven en hebben in plaats daar van constant interactie met hun interne leveranciers om te zorgen voor de juiste levering en het oplossen van problemen.

Converged Infra =! Cloud (, maar helpt wel)

Converged infrastructuur is een ontwikkeling die helpt bij het kiezen van een private cloud bouwblok. Hierbij zien we de samensmelting tussen diverse hardware en infrastructuur onderdelen zoals servers, netwerk en opslag. Hierbij worden deze door de leverancier geïntegreerd geleverd.

Virtualisatie zorgt voor de ontkoppeling tussen hardware en het besturingssysteem, maar neemt het beheer en onderhoud van de hardware laag niet weg. Converged infrastructuur komt hierbij te hulp door een hoge mate van automatisering door te voeren op deze laag. Denk hierbij aan automatische firmware en bios management bijvoorbeeld.

Diverse leveranciers zoals HP, IBM, Dell en Cisco leveren oplossingen in deze richting. Een goed overzicht hier van is te vinden in een whitepaper door Forrester; Are Converged Infrastructures Good For IT?

Meer bouwblokjes…

Met virtualisatie en converged infrastuctuur zijn we er nog niet. Zaken zoals self-service websites, catalogussen en API’s zijn ook noodzakelijk om te komen tot een volledige private cloud omgeving. Een voorbeeld van de benodigde blokkendoos:

cloudbouwblokken

Vrij naar apps.gov (klik voor groter formaat)

Hierbij komen diverse leveranciers je te hulp met hun producten. Zowel uit de opensource hoek als uit de proprietary software hoek zijn er diverse producten beschikbaar. Zie hier voor de whitepaper van Forrester: You’re Not Ready For Internal Cloud

Al deze bovenstaande onderdelen leveren uiteindelijk een private cloud omgeving op de Infrastructure As A Service (IAAS) laag in je eigen datacenter. Op deze lAAS laag zijn nu diverse volwassen oplossingen op de markt.

Dit brengt ons bij de volgende stap in de cloud laag; PAAS.

PAAS; hoe hoger in de stack – hoe meer restricties.

Bij de traditionele IT hebben we zelf de controle over alles inclusief de, zelf bedachte, architectuur die alle lagen in de IT stack aan elkaar bind. Als we gebruik gaan maken van cloud geven we een gedeelte van deze controle uit handen;

stacks

Deze stap geeft ons dan een referentie architectuur van de cloud leverancier waar we ons aan moeten houden. Deze commitment geeft ons echter wel alle cloud voordelen, die we zo graag willen hebben. Hoe hoger in de IT stack, hoe meer toegespitst op 1 bepaald doel de omgeving word. IAAS levert o.a. generieke rekenkracht en opslag. PAAS levert een specifieke ontwikkel omgeving (bijvoorbeeld JAVA). SAAS levert een specifieke applicatie (bijvoorbeeld Salesforce CRM). Dit alles geoptimaliseerd naar gebruik, met de bijbehorende voor- en nadelen.

IT appliance =! Cloud

In een poging om mee te komen met het cloud geweld van andere leveranciers rond private cloud, gooit Oracle het over een andere boeg. Ze lanceerde recent de Oracle Exalogic. Het idee hierbij is om PAAS te bieden in je eigen omgeving. In feite hebben ze SUN hardware genomen en daar boven op de Oracle Linux en die aangevuld met Oracle middleware, database en Java (ook uit de SUN stal). Al deze bouw blokken bij elkaar kunnen ze uiteraard maximaal optimaliseren aangezien dit uit de eigen fabriek komt. Dit is een single stack benadering en deze lijkt erg op een IT appliance toepassing.

Oracle weet zelf ook wel dat het aanbieden van een IT appliance geen cloud computing is, maar een Single Stack benadering;

oracle-choice

Ook zie je hierbij dat je flexibiliteit verliest als je kiest voor een totale geïntegreerde stack oplossing. Nu behoeft deze oplossing geen slechte keuze te zijn als de uitnutting er van voor de organisatie maar optimaal is.

Oracle en andere private cloud leveranciers roepen uiteraard dat hun oplossing schaalbaar is en elastisch. Dat is uiteraard maar ten delen waar. De vraag is bijvoorbeeld in welke eenheden het bouwblok geleverd word. Dit bepaald o.a. de kosten voor de opschaling. Als een bouwblok bijvoorbeeld 100 servers bevat en je hebt er 110 nodig… betekend dat 200 servers… en de bijkomende desinvestering voor de tijd dat deze overige 90 stuks niet gebruikt worden. Ook het afschalen lijkt een uitdaging: komt de leverancier de servers direct weer weg halen uit mijn datacenter, als ik ze niet meer nodig heb ? (echte pay-per-use?!?)

Dit alles lijkt soms opgelost te kunnen worden door lease en huur constructies, maar deze komen altijd met prijs toeslag. Ook geeft deze constructie een uitdaging rond capaciteitsmanagement en de voorspelling van de benodigde capaciteit gedurende de contract looptijd.

Op dit punt zou Microsoft dus wel eens gelijk kunnen hebben dat outsourcing goedkoper is dan een private cloud.

Schaalgrote en innovatie.

Bij alle bovenstaande oplossingen word het al snel duidelijk dat schaal de sleutel is.

Schaal gaat nog een stap verder dan kosten; innovatie is hier ook aangekoppeld. Het collectieve gebruik van public cloud levert meer feedback op en accelereert daar mee de ontwikkeling. De algemene slag kracht van public cloud leveranciers is o.a. hier door ook hoger. Voor de private cloud is het maar zeer de vraag of het opkopen van technologie zoals de huidige IT super-leveranciers nu doen (HP, Oracle, etc..) houdbaar is voor de toekomstige innovatie. Het kopen van een innovatie is een stap, maar het gaande houden van deze ontwikkeling is een hele andere. Dit is waar Gartner recent tegen ageerde;

“Acquiring innovation is one thing, maintaining it is completely different,” said Sondergaard. Integration across an entire stack by one IT provider “is impossible to maintain long term – users will not accept architectural mediocrity,” he added.

Wat dat betreft is er best wat te zeggen voor de route die Cisco, VMware en EMC hebben genomen met hun VBlock oplossing waarbij dit  deel van de stack niet onder gebracht is bij 1 leverancier. Ook de route van de Amerikaanse overheid rond apps.gov en OpenStack (NASA) blijkt een valide idee.

Schaal is de sleutel…

De schaal van public cloud is groter dan die van private cloud en dus kosten effectiever. Het neerzetten van een private cloud op IAAS laag geeft meer schaal voordeel dan een PAAS oplossing omdat deze laatste (PAAS) toegespitst is op het leveren van een specifieke dienst en de eerste (IAAS) op een generieke dienst. Hier door zal al snel de schaal van de IAAS omgeving groter zijn en de uitnutting er van beter.

Hoe meer afnemers op het platform, hoe efficiënter de oplossing wordt. Hier mee is public cloud efficiënter dan private cloud en word private IAAS efficiënter dan private PAAS.

Voorlopig nog genoeg stof tot nadenken… met dank aan Microsoft…

Zie ook:

Microsoft offers a refreshing perspective on government clouds

Microsoft Reveals Its Cloud Business Strategy

Private cloud discredited, part 1

Andere mening ? Reageer hier onder of in 140 karakters via twitter @jmwiersma.

Share

En nu samen; de opkomst van DevOps..

Met grote interesse volg ik al enige tijd de beweging die DevOps heet in ICT land. Deze interesse komt vooral voort uit mijn ervaring met virtualisatie en de veranderende dynamiek die dit bracht binnen beheer teams.

De meeste organisaties hebben hun beheer teams netjes op geknipt in diverse teams, zeker als het wat grotere IT organisaties zijn. Dit levert voor managers en teamleiders lekker behapbare stukjes op om sturing op te geven. We treffen hier dan Windows beheer teams, Unix beheer teams, Linux teams, Netwerk teams, Storage teams, etc.. aan. Bij voorkeur kruipen de mensen uit die teams bij elkaar op de kamer. De Linux mannen met een grote Tux op de kamer, de Windows mannen met een foto van Bill, de netwerk mannen met lastige tekeningen aan de muur met veel streepjes, blokjes en Cisco logo’s. En vervolgens allemaal de deur dicht. Zodra er een probleem optreed, kijken de mensen in de teams naar hun eigen monitor schermpje; “alle lampjes op groen? Mooi! Bij mij niets aan de hand dus”. Voor de Windows beheerder betekend dit dat zijn verantwoordelijkheid ophoud bij de netwerk poort van zijn server, en voor de netwerk beheerder start hij op de netwerk switch. Lekkere duidelijke verantwoordelijkheden en afbakening zou je denken..

Ik zet bovenstaande een beetje zwart/wit neer, maar dit is wel gedrag wat je terug ziet in veel organisaties. Dit geheel gaat voorbij aan het feit dat ICT als hoofd doel heeft om de bedrijfsprocessen te ondersteunen en verbeteren. Dit doel uit zich vaak in een applicatie. Veel applicaties bestaan uit meerdere lagen en elementen. Bijvoorbeeld een Windows server (web & applicatie), een unix server (database), storage en netwerk. Dit leid tot de volgende situatie:

De applicatie van de klant werkt niet. Hij belt. De helpdesk zet op basis van hun beste analyse het probleem door naar de 2e lijn. De vraag komt bij het Windows beheerteam. Hun conclusie “mijn lampjes zijn groen, dus niet ons probleem”. Zo gaat het probleem langs alle teams en iedereen roept dat er bij hun niets aan de hand is. De storing word afgesloten, maar de klant zit nog steeds met het probleem.

Conclusie: de silo benadering werkt dus niet altijd.

Nu gooien we virtualisatie in deze mix. Wie gaat de hypervisor en omliggende tools en lagen beheren ? Introduceren we weer een ander (nieuw) team ? Borgen we dit binnen bestaande teams ? Uiteraard is dit een beetje afhankelijk van de gebruikte hypervisor, zo weten Windows beheerders van nature iets meer van HyperV en Linux beheerder iets meer van KVM. Een mooie discussie uit het verleden ging over het beheer van de virtuele netwerk switch die door VMWare geïntroduceerd is in hun omgeving. Tot de introductie van de Cisco Nexus 1000v was dit geen Cisco device, waar door bepaalde netwerk beheer teams geen beheer wilde doen op de virtuele switch.

Als er problemen optreden in een virtuele omgeving merk je ook al snel dat je de diverse disciplines bij elkaar nodig hebt. Dit zonder grote ‘hand-overs’ of het ‘over de muur gooien’ van het probleem.

Virtualisatie in generieke zin heeft daarnaast nog iets geïntroduceerd; systemen zijn op een software matige (programmeerbare) manier te configureren en beheren. We betreden een tijd perk waarbij men steeds minder fysieke systemen hoeft te ‘stekkeren’ maar dit steeds vaker via een script of programmeer interface kan doen. Zeker waar deze beweging leid tot een groei (van 10 servers nu naar 100 virtuele servers), is de beheerder er steeds meer bij gebaat om een scriptje te hebben die standaard zaken voor hem automatisch kan afhandelen. De programmeer skills van beheerders worden derhalve ook steeds belangrijker en hun werk wijzigt op dat vlak.

Hierbij raken scripts rond virtualisatie (zeker als je self-provisioning in de mix gooit) opeens netwerk, storage en besturingssysteem.

Als management heeft men deze silo’s vaak gecreëerd door de organisatie zo in te delen. Het effect is ook duidelijk en hier mee zijn we een belangrijk doel van ICT een beetje uit het oog verloren…

Ontwikkelaars v.s. beheer

De dynamiek tussen ontwikkelaars, bouwers (Dev) en beheerders (Ops) is van een hele andere orde;  Daar waar (applicatie of infrastructuur) ontwikkelaars gedreven worden door ‘change’ zijn beheerders daar nu juist helemaal niet bij gebaat omdat zij gedreven worden door stabiliteit en het handhaven van status quo. De ontwikkelaar heeft als taak om nieuwe functionaliteit toe te voegen of bestaande te wijzigen, waar de beheerder enkel bestaande services aanpast of verbeterd.

Dit alles levert een muur op tussen ontwikkelaar en beheerder die nog veel hoger is dan de muur tussen de silo’s;

Development builds an application, the new hotness which promises customers all the whizz-bang features and will make the company millions.  It is built using cutting edge technology and a brand new platform and it has got to be delivered right now.  Development cuts code like crazy and gets the product ready for market ahead of schedule.  They throw their masterpiece over the fence to Operations to implement and dash off to the pub for the wrap party.

Operations catches the deployment and is filled with horror. The Operations team summarises their horror and says one or more of:

  • The wonder application won’t run on our infrastructure because {it’s too old, it doesn’t have capacity, we don’t support that version}
  • The architecture of the application doesn’t match our { storage, network, deployment, security } model
  • We weren’t consulted about the { reporting, security, monitoring, backup, provisioning } and it can’t be “productionised”.

DevOps_wallofconfusion

(Credit Dev2Ops)

Om dit gat te slechten hebben we o.a. vanuit ITIL en andere methodieken inmiddels complete ‘productie gelijke’ test omgevingen ingericht, acceptatie omgevingen, beheer acceptatie omgevingen en test procedures. Dit om de hand-over maar te borgen tussen de ontwikkelaars (Dev) en de beheerders (Ops). Voor de beheer silo’s kennen we tools als HP OpenView en IBM Tivoli die als een beheer paraplu over de silo’s heen kijkt en de end-to-end keten van een applicatie in de gaten houden.

Het is dus zeker niet allemaal kommer en kwel in de IT1.0 wereld want met wat tools en procedures hebben we een soort samenwerking gevonden. In de wijzigende IT wereld behoeven we niet eens heel ver te kijken om te zien dat dit alles echter niet lang houdbaar is. De invoering van virtualisatie levert al aardige voorbeelden op. Uiteraard allemaal best op te lossen met de huidige manier van denken, maar de vraag is of dat het meest effectief is…

DevOps.

DevOps draait om het voor komen van de boven genoemde problemen door slimmer samen te werken en efficiënter te zijn. Het is een framewerk van ideeën en principes die lijden tot samenwerking, coördinatie en kennis uit wisseling tussen ontwikkelaars en beheerders. In een DevOps omgeving bouwen ontwikkelaars en systeembeheerders gezamenlijk aan processen en tools die hun in staat stelt om beter samen te werken en uiteindelijk het ICT product beter en sneller de deur uit te krijgen.

DevOps gaat ook verder dan alleen de uitrol van software; het draait om een nieuwe manier van denken rond samenwerking en coördinatie tussen de mensen die de software bouwen en zij die het moeten beheren. Zaken als automation, monitoring, capacity planning & performance, backup & recovery, security, networking en provisioning hebben allemaal baat bij het DevOps model door de manier waar op ontwikkel en beheer teams samen om gaan met deze gebieden.

Er is dus geen eenduidige definitie voor DevOps, maar in de basis draait het om cultuur verandering en het afbreken van muren die kwaliteits verlies en doorlooptijd veroorzaken.

Veel gebruikte referentie frameworks binnen DevOps zijn Agile en Scrum. De invoering van dit soort methodes die uit de software hoek komen vereisen ook wel een bepaalde cultuur wijziging; het veelvuldig uit brengen van kleine releases voor software (zoals gepredikt word door deze technieken) levert automatisch spanning op bij de beheerders, die dit moeten ontvangen. Nu infrastructuur ook steeds meer te ‘programmeren’ is (o.a. dankzij virtualisatie), zijn beheerders ook programmeurs. Het schrijven van scripts om zaken te automatiseren is al lang niet vreemd meer voor deze groep ICT-ers. Denk aan perl, bash, python en de opkomst van Windows Powershell. De ontwikkeling van Cloud neemt dit nog een stap verder met zaken als Puppet en Chef die de automatisering van de te beheren omgeving naar een volgend niveau brengen. Hierbij zijn beheerders dus ook gebaat bij de inzet van Agile en Scrum.

Beheerder zullen roepen; en wat moeten we dan met ITIL? ITIL en DevOps (en overigens ook Agile, Scrum en andere LEAN adepten) lijken elkaar af en toe in de weg te zitten. Dat is echter maar gedeeltelijk waar en draait vooral om de manier waarop er met ITIL word omgegaan in de organisatie. Daar over in een later blog meer… of Google eens op DevOps & ITIL..

En dan ?

Nu is het altijd mooi om te zeggen dat we beter willen samen werken, maar hoe doe je dat nou ? Enkele voor beelden en tips:

1. Bekijk samen de non-functionals, waar beheerders vaak mee worstelen;

  • Security
  • High availibility
  • Configuration mngt
  • Monitoring
  • …

2. Deel de infrastructuur; door elkaar in de keuken te laten kijken kun je werken aan een beter product. Dit betekend bijvoorbeeld ontwikkelaars (read-only?) toegang te geven tot de monitoring van de productie omgeving. Door gezamenlijk te kunnen kijken wat er gebeurd in de productie omgeving start je de communicatie en conversatie.

3. Werk met hoog frequente, kleine wijzigingen; door het uitvoeren van kleine afgebakende wijzigingen kun je probleem gebieden gemakkelijk identificeren en verlaag je de kans op uitval. Daar naast is het makkelijker communiceren en evalueren door alle betrokken partijen uit ontwikkel en beheer teams. Dit alles forceert een goede samenwerking tussen deze teams.

4. Deel verantwoordelijkheid; het afsluiten van SLA’s en OLA’s met als doel naar elkaar te kunnen wijzen als er iets fout is gegaan is contra productief voor de eind-gebruiker. Die is niet geholpen met de kloof tussen ontwikkelaar en beheer en de onderlinge beheer silo’s. Alleen als je de verantwoordelijkheid voor de programmeer code van de applicatie en het uiteindelijke beheer deelt met elkaar kom je tot een voor de klant productieve oplossing.

5. Wissel mensen uit; (zoals bij punt 2) laat een ontwikkelaar eens mee lopen met een beheerder en andersom.

Dit zijn slechts enkele handreikingen en voorbeelden. Er zijn diverse blogs die hier uitgebreid op in gaan. Daarnaast zijn er (steeds meer) bijeenkomsten waar in andere vertellen hoe ze hier handjes en voetjes aan hebben gegeven.

Zie ook:

Voor een uitstekende presentatie zie: Rise of DevOps

Share

En dan… die applicatie naar de Cloud toe…

Cloud Applicatie Migratie

Na het doen van de nodige research, lezen van blogs en whitepapers, bezoeken van seminars en praten met leveranciers… heb je nu besloten dat Cloud de stip aan de horizon moet worden voor je organisatie. Maar hoe ga je daar komen ? Hoe hervorm je de huidige IT spaghetti naar deze utopische Cloud wereld ?

De eerder gepubliceerde whitepaper rond cloud strategie geeft aan:

De migratie naar externe Cloud computing heeft een significante impact op een IT organisatie, de leveranciers rol van de IT organisatie en de manier waar op applicaties ontwikkeld worden en gebruikt.
Omdat men groeit vanuit een interne IT omgeving naar meer verbruik van externe Cloud computing omgevingen, moet men rekening houden in de architectuur met samengestelde applicaties.

De whitepaper geeft ook aan dat er verschillende verschijningsvormen van Cloud zijn zoals SaaS, PaaS en IaaS. De stap vanuit de huidige enterpise IT omgeving naar elk van deze verschijningsvormen kent zijn eigen karakteristieken. Een van de beste benaderingen voor cloud migratie is de huidige IT omgeving te bekijken van de applicatie of dienst zijde;

Niet alle applicaties zijn op dit moment geschikt voor een migratie naar een externe Cloud omgeving. Goede kandidaten zijn applicaties die niet missie kritiek zijn, matige tot geen integratie kennen met andere belangrijke applicaties en niet van strategische (competitieve) waarde zijn voor de organisatie. Om beveiligingsrisico’s te verminderen, zou de applicatie ook geen sensitieve informatie moeten bevatten. Naar mate de volwassenheid van externe Cloud omgevingen toeneemt, zullen meer applicaties de stap kunnen maken naar deze omgeving.

Waar de whitepaper vrij snel in gaat op applicaties die potentieel gemakkelijk te migreren zijn, wilde ik dat even in wat bredere context zetten en verkennen: “Cloud Applicatie Migratie, hoe doe ik dat ?”

Een applicatie op een cloud platform is iets anders dan een applicatie in de traditionele IT omgeving. In de recente afscheidsblog van Ray Ozzie ((ex-)Microsoft) schrijft hij over de toekomstige uitdagingen van de nieuwe naadloos schaalbare computing modellen. Het idee dat men ‘zo maar’ bestaande applicaties kan overzetten op dit soort modellen werkt niet. Software vandaag de dag is daar meestal gewoon niet voor gemaakt. Veranderingen rond de user interface (zoals touch screens), data management (zoals niet-relationele data modellen), horizontaal kunnen schalen en zelfs programmeer stijlen (zoals ‘fail-ready’ software) zorgen er voor dat bestaande code meestal niet direct geschikt is voor echte cloud computing omgevingen.

Om te beginnen is een Applicatie Portfolio Analyse de belangrijkste actie. Deze kan echter snel uit de hand lopen als het doel er van niet helder beschreven of begrepen is. Of een applicatie of dienst geschikt is voor een cloud computing omgeving zal getoetst moeten worden door rationalisatie van de portfolio. Deze rationalisatie kent meerdere dimensies, die de applicatie toetsen tegen de  karakteristieken van een ‘cloud applicatie omgeving’ en de geschikte migratie optie (private of public cloud) en het geschikte migratie pad (IaaS, PaaS of SaaS) selecteren. Daarnaast dient een kosten analyse de impact op TCO & ROI te bepalen en te helpen om een business case te bouwen.

Bij de rationalisatie van een applicatie voor cloud computing kan men de volgende 4 aandachts gebieden bekijken

image

(Vrij naar sys-con.com )

Hierbij kan men de volgende indicatieve richtlijnen volgen om te bepalen of een applicatie of dienst klaar is voor cloud;

  1. Elasticiteit kan gemeten worden langs drie parameters: workload, storage, utilization. Het is belangrijk om een dergelijke karakteristiek van de applicatie te hebben zodat bepaald kan worden of en hoe deze op een cloud platform kan landen. Deze gegevens zijn vaak te halen uit monitoring tools of log files in de bestaande omgeving.
  2. Bij een negatieve impact op Governance (SLA, beveiliging, wet en regelgeving, etc..), levert dit meteen een ‘veto’ op om een applicatie of dienst niet naar de public cloud te verhuizen.
  3. De technische haalbaarheid; de impact op de architectuur van de applicatie en de impact op de kwaliteit van de dienst verlening moeten goed overwogen worden.
  4. Functionele toekomstvastheid van de applicatie.

Door het toepassen van een score model op de bovenstaande aandachtsgebieden, zou men goed inzicht moeten krijgen op de cloud geschiktheid van de applicatie of dienst.

Hoewel een public cloud infrastructuur veel voordelen kan beiden (bijvoorbeeld in schaal en kosten) die niet mogelijk zijn in een eigen (private) cloud omgeving, zullen bepaalde applicaties nooit naar de public cloud verhuizen. Dit zal vooral het geval zijn bij de kroonjuwelen van een organisatie; informatie die missie kritiek is of een hoge gevoeligheid heeft.

De business case voor cloud applicatie migratie is niet compleet zonder rekening te houden met het doel platform; private of public cloud. De migratie en overhead kosten variëren behoorlijk bij deze keuze en beïnvloeden daar mee ook de totale besparing die te behalen is. Een goede kosten analyse helpt bij de keuze om een applicatie wel of niet te verhuizen en de te verwachte TCO/ROI.

Kosten analyse zou ten minste CapEx, OpEx en Overhead moeten bevatten. Hier onder kunnen we o.a. de volgende elementen verstaan:

  • CapEx
    • Servers
    • Storage
    • Backup
    • Netwerk apparatuur
    • Vastgoed (datacenter)
  • OpEx
    • Energie
    • Personeel
    • Bandbreedte
    • Onderhoud
    • Licentie contracten
  • Overhead
    • Migratie kosten
    • Skills
    • Governance

Applicaties en diensten die worden aangeboden op een eigen (dedicated) infrastructuur zijn goede potentiele kandidaten voor migratie naar een cloud infrastructuur. Het bepalen van de kosten voordelen voor deze applicaties zou redelijk makkelijk moeten zijn. Voor applicaties die een gedeelde infrastructuur kennen, moet er mogelijk een specifieke workload analyse gemaakt worden om de potentiele besparingen te bepalen.

Migratie strategie

Het vast stellen van een applicatie migratie strategie betekend dat men bekend moet zijn met de diverse migratie mogelijkheden, opties en organisatie doelstellingen. De uitdaging zit in de balans tussen organisatie prioriteiten en kosten. Als basis hebben (enterprise) organisaties twee keuzes voor cloud infrastructuren; public en private. Hierbij zijn de volgende migratie paden een optie; IAAS, PAAS, SAAS. De keuze word gedreven door zaken als elasticiteit, business model en information2.0/technologie2.0 strategie (zie: The New Normal). De keuzes worden beperkt door factoren als technische haalbaarheid, beveilging, migratie kosten, etc.. Het is daarom niet ongewoon dat grote organisaties kiezen voor een hybride cloud strategie waarbij men gecontroleerd kan evolueren.

tweet1

Het is belangrijk om te beseffen dat het werken met een applicatie portfolio rationalisatie die leid tot 1 migratie strategie voor alle applicaties niet behulpzaam is. De migratie strategie zal per applicatie of dienst bepaald moeten worden en door ontwikkelen. Dit na een goede evaluatie van de bekeken applicaties op de eerder geschetste vlakken. De uitdaging op bijvoorbeeld hardware infrastructuur en architectuur gebied die samenhangen met een cloud migratie, moeten onderdeel worden van de totale migratie strategie. Bekijk de dienst of applicatie hierbij vanuit de totale IT stack om zo de samenhang te ontdekken en in kaart te brengen.

tweet2

Migratie paden

De migratie van een applicatie waarbij men de onderliggende server infrastructuur verhuist naar een public of private IAAS omgeving levert een snelle manier om enkele voordelen van de cloud mogelijkheden te plukken. Dit soort migraties zijn ongecompliceerd door dat het slechts het verhuizen van de host betreft en geen aanpassing in de applicatie code. Het mag echter ook duidelijk zijn dat dit soort migraties slechts een klein deel van de voordelen van cloud computing oplevert. Voorbeeld van bovenstaande services zijn Amazon EC2 of Rackspace.

De migratie naar een echte SAAS architectuur en de hosting daar van op een omgeving die tientallen tot honderden klanten kan bedienen (multi-tenant) levert de grootste kosten voordelen op voor enterprise organisaties. Het helpt ook bij applicatie rationalisatie door applicaties met gelijke functionaliteit samen te brengen en deze enkele SAAS applicatie te bieden op een gedeelde infrastructuur. Migratie van een applicatie naar een volledige SAAS omgeving kan echter een ontmoedigende bezigheid zijn, omdat de meeste applicaties niet geschikt zijn voor deze nieuwe (multi-tenant) cloud architectuur. De beweging naar een SAAS omgeving zal derhalve eerder een vervanging van de bestaande applicatie door een SAAS in houden. Voorbeeld eigen enterprise CRM door Salesforce.com. De sleutel hierbij is het feit dat er gebruik gemaakt word van een basis applicatie code die voor alle honderden klanten word gebruikt en het toestaat om daar boven op specifieke uitbreidingen toe te passen (plugin, mashup of widget).

Als tussen model heeft men PAAS; Leveranciers als Google App Engine en Microsoft Azure leveren een complete cloud IT stack voor software ontwikkeling en levering. Dit levert de mogelijkheid om ‘echte’ cloud applicaties te bouwen en uitleveren op een schaalbare en elastische omgeving. Dit levert echter ook een hoop beperkingen op, op elke technologie laag van de applicatie stack. Vanwege deze beperkingen is het vaak lastig om bestaande applicaties en code over te zetten op deze nieuwe cloud omgevingen. Dit zit soms in de applicatie code en het feit dat programmeurs soms ‘vergeten’ zijn om netjes te programmeren (voorbeeld stateless/statefull). Waar dit in huidige silo IT omgevingen geen problemen oplevert zie je dat dit op gedeelde PAAS en SAAS omgevingen wel een uitdaging geeft. Om deze redenen leent PAAS zich vooral goed voor ‘Greenfield’ acties.

Planning en implementatie

Als we kijken naar een applicatie cloud strategie, word er vaak gekeken naar de technische migratie consequenties. Men moet echter niet vergeten dat de introductie van cloud technologieën ook effect heeft op de organisatie. Bij de migratie moet men rekening houden met het wijzigen van de functie en rol van beheer bijvoorbeeld.

Ook moet men rekening houden met het effect op (bestaande) SLA’s, Service management, onderhouds contracten, door belasting methodes, en skill sets. Hier over in een later blog meer.

tweet3

Zodra men klaar is om de stap naar een cloud omgeving te maken dient er eerst goed naar de huidige applicatie en diensten porfolio gekeken te worden. Er dienen duidelijke landingsplaatsen gedefinieerd te worden zoals private en public cloud en routes zoals IAAS, PAAS en SAAS. Per applicatie moet bepaald worden of deze afsterft in de huidige infrastructuur en word vervangen door een applicatie in een cloud omgeving. Door het toetsen van de applicatie met behulp van enkele cloud basis elementen en het kijken naar de kosten van de applicatie kan er een route naar de toekomst worden uitgezet met een goede business case.

Dit alles kost de nodige inspanning, maar is noodzakelijk voor het slagen van de cloud transitie.

Zie ook:

‘Moving to’ versus ‘building for’ cloud computing

Hands-on migratie analyse voorbeeld: Migration steps to a private cloud

Share

Het olifantje en zijn data honger..

Nu internet een steeds centralere rol gaat spelen in ons leven en er steeds meer dingen aan internet aangesloten worden, levert dit gigantische hoeveelheden data op. Hierbij zien we steeds meer zaken als sensoren en gps locaties (bijvoorbeeld bij een tweet) in de internet ‘cloud’ beschikbaar komen.

De afgelopen jaren kende we al een explosieve data groei in informatie die door eind gebruikers werd gegenereerd uit websites, ‘homepages’ en later blogs en wiki’s. Marissa Mayer (VP for Search Products bij Google) geeft aan een vijf tienvoudige (!) groei te zien in beschikbare data op internet t.o.v. van 3 jaar geleden.

Binnen IT enterprise omgevingen worstelt men ook al tijden met een data en informatie explosie. Binnen de meeste organisaties zijn tientallen informatie systemen beschikbaar die vaak niet gekoppeld of generiek doorzoekbaar zijn. Men probeert deze informatie te beteugelen door er een datawarehouse , enterprise search en business intelligence (BI) tegen aan te gooien. Deze systemen hanteren meestal een relationele database waar bij men probeert informatie uit diverse bronnen naar binnen te trekken. Hierna kan er analyse en rapportage plaats vinden op deze verzamelde informatie. Feitelijk probeert men 1 grote informatie bak te creëren.

Enterpise IT wil echter ook graag gebruik gaan maken van de informatie die op internet beschikbaar is en daar via diverse bronnen word aangeboden. Analyse op deze data kan het bedrijf een competitief voordeel opleveren;

One big area could be social media analytics: When I was in Armonk in August, IBM VP of Emerging Technologies Rod Smith indicated that the appetite for social media analytics is “huge,” citing one BigInsights customer that is analyzing more than a terabyte of Twitter data per day and maintaining a 30-day archive.

Deze informatie hoeveelheden wil je niet binnen je datawarehouse omgeving trekken; het eindeloos RDBMS systemen er tegen aan gooien levert op den duur een onbetaalbare omgeving op. Zoals database guru Guy Harrison recent melde:

We’ve seen the trend of the size of the largest enterprise databases, growing steadily and exponentially, and data warehouse technology, by and large until relatively recently, kept up with that. The exponential growth has just outstripped what can be done even by the largest databases now. Oracle and Teradata are struggling, but Hadoop’s come along and provided an alternative that’s more economical.

Right at this second, there’s not a lot of our customers who are likely to adopt NoSQL, but there’s a lot of people who will, over the next year or so, adopt Hadoop. The economics for processing large amounts of log data or creating massive data warehouses on Hadoop are cost-effective compared to Oracle’s Exadata.

Hadoop?

Hier komt de ontwikkeling van Hadoop in beeld. Deze verzameling van opensource producten komt voor een groot deel uit de koker van Google, die hadoopin 2003 steeds meer moeite had om de groeiende hoeveelheden data op het web te kunnen indexeren en doorzoeken. Ook het analyseren van de index informatie werd steeds lastiger waardoor de kwaliteit van de zoek resultaten achteruit liepen. Om dit probleem te adresseren ontwikkelde enkele Google engineers MapReduce, die samen met Google’s eigen file management technologie voor een oplossing zorgde.

Google heeft de details van MapReduce nooit vrijgegeven, maar heeft wel enkele conceptuele documenten uitgebracht rond deze ontwikkeling. De informatie daar in was voldoende voor Doug Cutting om een eigen ontwikkeling te starten genaamd Hadoop. De echte door ontwikkeling kwam toen Doug Cutting werd ingehuurd door Yahoo, waar binnen 6 maanden Hadoop een van de belangrijkste onderdelen vormde binnen de Yahoo infrastructuur.

De gebruikers lijst van Hadoop is lang en bevat enkele van de grootste informatie verwerkers van deze wereld zoals Yahoo, eBay en Facebook. Deze bedrijven zijn ook volop betrokken in het door ontwikkelen van de Hadoop technologie.

Hadoop =! RDBMS

Hadoop is geen volledige vervanging van de database. Het verwerken van de data in Hadoop kost iets meer tijd, van twee minuten tot twee uur. Dit is aanzienlijk trager dan in de nu beschikbare database technologie. Hadoop kan dus niet wat een database kan, maar de database is weer veel minder schaalbaar.

hadoop-vs-db

Voor de analyse op Hadoop is inmiddels een speciale taal ontwikkeld, Hive, die veel lijkt op SQL. Analysten kunnen daarmee vrij snel aan de slag als ze SQL gewend zijn. Voor ontwikkelaars is Pig gemaakt, dat erg lijkt op Python. Door Hive en Pig kan er makkelijk worden gewerkt met Hadoop. Je kunt met Hadoop ook veel beter kijken naar grote hoeveelheden data en er de eigenaardigheden in isoleren. Zo is het heel geschikt voor analyse van bijvoorbeeld klimaatverandering.

Een voorbeeld van directe inzet van Hadoop in een enterprise IT omgeving, samen met bestaande RDBMS:

mapreduce_hadoop

Meer over dit voorbeeld op: http://www.ebizq.net/blogs/enterprise/2009/09/10_ways_to_complement_the_ente.php. Deze manier word ook gehanteerd binnen Facebook.

Om de diverse tekortkomingen van Hadoop te compenseren word er op dit moment door diverse grote bedrijven hard ontwikkeld aan oplossingen die geschikt zijn om de technologie binnen enterprise omgevingen te laten landen.

IBM heeft de eerste commerciële toepassingen van Hadoop gelanceerd;

IBM on Wednesday is set to announce a new portfolio of solutions and services to help enterprises analyze large volumes of data. IBM InfoSphere BigInsights is based on Apache Hadoop, an open-source technology designed for analysis of big volumes of data.

IBM InfoSphere BigInsights is made up of a package of Hadoop software and services, BigSheets, a beta product designed to help business professionals extract, annotate, and visually uncover insights from vast amounts of information quickly and easily through a Web browser, and industry-specific frameworks to help clients get started.

Ook het bedrijf Cloudera werkt hard aan de commerciële toepassing van Hadoop.

En zo zien we weer een product uit de ‘Formule 1 van de ICT’ in enterprise IT omgevingen terecht komen.

Het mag duidelijk zijn dat er veel ontwikkelingen gaande zijn rond het verzamelen en analyseren van grote hoeveelheden data en dat dit 1 van de grootste uitdagingen voor de volgende generatie van (enterprise) ICT is. Hadoop kan hier een grote rol in spelen; op dit moment als onderdeel van een bestaand RDBMS concept maar op korte termijn zeker breder dan dat.

ICT techneuten tip: houd deze ontwikkeling in de gaten, zorg voor een POC om ervaring op te doen en (her)evalueer eventuele lopende datawarehouse projecten om te kijken of de inzet van Hadoop meer waarde kan leveren.

Goed om verder te lezen:

De volgende generatie aangekondigd?!?:

Beyond Hadoop: Next-Generation Big Data Architectures

Share

De Formule 1 van de ICT…

In 2008 hield ik op AFCOM’s DatacenterWorld in Las Vegas een presentatie over datacenter consolidatie. Ik had de mogelijkheid om de keynote van dit congres bij te wonen, die gegeven werd door Michael Manos (toen nog Microsoft, nu Nokia). Dit was de presentatie waar in Microsoft bekend maakte van de traditionele bouw methode af te stappen en in Chicago een container datacenter neer te zetten. Aan het eind van het congres had ik de mogelijkheid om met Manos na te praten. We bespraken de kritieken die in de pers waren verschenen door de traditionele datacenter leveranciers en de manier waar op hij aan dit out-of-the-box concept was gekomen. We zaten beide op het zelfde punt; het werd steeds slechter te verkopen aan het management dat datacenter ontwerp, bouw en oplevering soms jaren in beslag nam en veel geld kosten. Hierna was het in de lucht houden er van ook nog eens heel duur en complex. Daarnaast leverde de refesh/life-cycle en onstuimige groei van de ICT apparatuur, die gebruik moest maken van het datacenter, ook behoorlijk wat problemen op. Er was langzaam aan een onhoudbare situatie aan het ontstaan.

Er werd mij ook snel duidelijk dat Microsoft bezig was met een explosieve groei rond hun eigen ICT infrastructuur. Een infrastructuur die in hun meeste datacentra een groei van 10.000 servers per maand kende. Als ik om mij heen keek in Enterprise ICT omgevingen zag ik daar ook een behoorlijke groei, maar vooral een groei in complexiteit. Applicaties kennen veel relaties onderling, maar ook relaties met de onderliggende infrastructuur. Er zijn relaties tussen de hardware en software en ga zo maar door.

Toen ik eind 2008 een kijkje achter de schermen kreeg bij Microsoft’s San Antonio datacenter, werd ik geprikkeld door de vraag: “hoe kunnen ze zo’n massale infrastructuur met zo weinig inspanningen uitbreiden en beheren ?”

Uiteraard word er in ICT land meteen geroepen dat dit te maken heeft met het leveren van specifieke diensten; een enterprise IT omgeving dient tientallen diensten en honderden applicaties te ondersteunen, waar een web service leverancier zich kan toeleggen op 1 specifieke levering. Dat argument gaat voor sommige grote cloud leveranciers wel op, maar niet voor allemaal. Microsoft heeft in zijn omgeving Search, BPOS, Hotmail en enkele tientallen andere diensten met allemaal hun eigen IT profiel en karakteristiek. Google heeft dat ook, denk aan Google Apps maar ook Google Voice.

Het andere argument is de schaalgrote. Echter deze zou juist moeten leiden tot zalen vol met ICT beheerders om de boel in de lucht te krijgen en te houden.

Mijn contacten vanuit DatacenterPulse hebben het mogelijk gemaakt dat ik de afgelopen 2 jaar veel kijkjes ‘achter de schermen’ heb mogen nemen en met de engineers en ontwerpers heb kunnen praten van bedrijven zoals eBay, Google, Amazon, Facebook en Microsoft.

Het aardige is dat deze grote IT cloud providers op dit moment de Formule 1 van de ICT wereld vormen. Bij de Formule 1 in de autobranche rijden auto’s en techniek rond die niet betaalbaar is voor de gemiddelde man/vrouw. Uiteindelijk beland er toch technologie die ontwikkeld is in de Formule 1 in de auto’s voor dagelijks gebruik. Zo loopt het ook in de ‘Formule 1 van ICT’; technologie en innovatie die nu bij Microsoft, Google of Amazon word ontwikkeld en gebruikt voor hun eigen basis infrastructuur, is niet direct toepasbaar binnen enterprise IT omgevingen en zeker niet het MKB. We zien echter in het afgelopen jaar al wel technologie door sijpelen naar deze omgevingen.

Een hoop ICT-ers denken echter dat dit alles wel aan hun voorbij gaat. Het is een hype, dus waait wel over. Het aardige is echter dat hun traditionele leveranciers op dit moment wel volop beïnvloed worden door deze beweging.

Deze beweging word gedreven door je eigen CIO/CTO. Als deze kijken naar in-huis ICT dienst verlening rond kosten, efficiëntie van inzet, elasticiteit en schaalbaarheid en dat dan vergelijken met de aanbiedingen en beloftes van uit de cloud… dan gaan ze vanzelf roepen dat ze die cloud voordelen ook willen. Dit moet dan echter wel mogelijk zijn vanuit de interne IT omgeving (private cloud) omdat er, logischerwijs, nog wat koud water vrees is om maar alles buiten de deur in een cloud te zetten.

Dit is dus de vraag waar alle traditionele ICT leveranciers in springen. Die kijken hierbij ook naar de manier waar op de grote cloud jongens dit hebben gedaan. Daarnaast springen ook een hoop opensource leveranciers op deze private cloud trein (Ubuntu, OpenStack, etc..).

Hier mee word de private cloud omgeving een Self-fulfilling prophecy.

We hebben op dit vlak slechts het begin gezien met Oracle’s Exalogic, Cisco/EMC’s vBlock, etc.. Al deze bewegingen zijn gericht op het verkrijgen en behouden van markt aandeel in deze turbulente markt. Op het grensvlak tussen private en public cq intern/extern cloud levering zien we dit gevecht ook met API’s. Leveranciers proberen de klanten in te sluiten door een gesloten omgeving te creëren.

Dit alles maakt het lastig om goede leveranciers en technologie keuzes te maken.

Een recente investeerders blik op de ICT markt stelt zich echter de vraag of de ICT reuzen als HP, IBM en Oracle het wel gaan overleven met de huidige strategie;

In the very near term, companies will continue to invest in their own private cloud-computer systems. That will benefit the traditional tech behemoths that sell servers, storage, personal computers and business software, such as IBM (IBM); HP; Dell; Oracle and Cisco. But the markets already are starting to make longer term distinctions. With the exception of IBM, these stocks have been trading at depressed valuations because they are mature companies, says Paul Wick, technology-portfolio manager at Seligman Investments.

And the clock is ticking for the current giants. The ultimate “public-cloud” model is analogous to power utilities, where computing power would be sold based on usage and need.

Gartner worstelt ook met die vraag;

Smith noted that the companies seen today as enterprise computing leaders, such as SAP and Oracle, aren’t seen as cloud computing leaders; and cloud leaders, such as Amazon, Salesforce, and Google, aren’t seen as enterprise leaders. Over time, they say this will change.

In their view, the cloud computing continuum moves from closed private cloud implementations to full open public ones, with lots of things in between, which include managed private clouds, virtual private clouds, and community private clouds (shared by a few companies).

Het mag duidelijk zijn dat de hele cloud ‘hype’ nogal wat los heeft gemaakt in ICT land. Enterprise IT kan zich niet aan deze ontwikkeling onttrekken, hoe graag sommige dat ook zouden willen. Voor de techneuten is het zaak om goed de Formule 1 van ICT in de gaten de houden en de juiste technologie en methode te ontdekken die toepasbaar is voor de eigen organisatie. Voor het ICT management is het belangrijk om de eigen ICT organisatie voor te breiden met beleid en strategie, op de storm die komen gaat… de donkere wolken pakken zich samen; cloud storm op komst !

Meer Cloud? zie: Whitepapers voor een strategie richting.

Zie ook: Gartner: Will Microsoft and VMware Dominate the Cloud Landscape?

en:

Big companies are quickly adopting new computer networks known as “private clouds.” That may mean trouble for major tech suppliers.

Share

Chill Off 2 updates & video’s

In aanloop naar het bekend maken van de resultaten van de DatacenterPulse Chill-off 2, worden er dagelijks video’s gepubliceerd over de achtergrond en het test proces.

Koeloplossingen voor datacentra kennen vele uitvoeringsvormen. Lucht- of waterkoeling, afsluiting van warme of koude gangen, vrije koeling, koelmiddel of water zijn enkele van de mogelijkheden die een datacentereigenaar voorliggen bij bouw of verbouwing. De leveranciers van deze koelsystemen proberen potentiële kopers te verleiden met goed onderbouwde marketingdocumenten en cijfers. Maar hoe efficiënt is een aangeboden systeem nu echt? Welke onafhankelijke handvatten zijn er om een keuze makkelijker te maken? Datacenter Pulse (DCP) en de Silicon Valley Leadership Group (SVLG) proberen hier antwoord op te geven met de Chill Off-test.

Tijdens de aankomende SVLG Summit op 14 oktober 2010 in San Jose (CA, USA) zullen de resultaten worden gepresenteerd. Tijdens dit evenement worden ook de resultaten van andere R&D onderzoeken op datacenter gebied gepubliceerd door diverse commerciële organisaties (Yahoo!, Microsoft, Google) en universiteiten.

Het totale programma van de SVLG bijeenkomst is te vinden op: http://dcee.svlg.org/media/DCES10Agenda.pdf

Een overzicht van alle Chill-Off gerelateerde video’s zijn te vinden op: http://datacenterpulse.org/TheChillOff en op het Youtube kanaal van DatacenterPulse: http://www.youtube.com/user/datacenterpulse

Share

Dell container update…

Dell heeft een nieuw model voor hun container concept uitgebracht. Hierbij hebben ze het model van de Microsoft ITPAC voor een groot deel gevolgd.

Net als bij HP kan men vanuit de fabriek de container laten uitrusten met servers en opslag zodat een complete IT box geleverd kan worden. Bij Dell kan men ook kiezen, indien je genoeg schaalgrote hebt, voor custom servers die op maat gemaakt worden door het Dell DCS team. Hierbij kan nog een grotere efficiëntie behaald worden.

[youtube=http://www.youtube.com/watch?v=nqhsuf2YycI&w=448&h=252&hd=1]

Details:

A Module takes up half the space of a traditional data center;
Clip on modules let you add capacity as you grow;
There are 6-12 racks per module or 2500 servers which you can access through a central hallway;
The modules come pre-integrated, pre-configured and pre-tested;
With a modular data center you get a single point for power, a single point for IT, and a single point for cooling as opposed to the 1000s of points you’d normally get.

Meer:

DatacenterKnowledge.

Share

Emerson datacenter container

De firma Emerson heeft ook een datacenter container concept op de markt gebracht. Op een speciale website heeft Emerson foto’s en filmpjes van de nieuwe aanwinst ondergebracht. Daarnaast heeft men een roadshow die half september ook Nederland aandoet. Hierbij is een demo model te bewonderen.

De grove details van de oplossing:

  • 20 en 40 foot modellen.
  • Knurr racks, Liebert koeling.
  • VESDA en gasblussing.
  • Diverse configuraties waar onder 2N voor koeling en stroom (UPS).
  • Diverse configuraties voor energie dichtheid (kW/rack)
[youtube=http://www.youtube.com/watch?v=jyFV_N32UD4]

 

Ook bij deze nieuwe leverancier zien we een constant gevecht rond de beschikbare ruimte. Als de redundantie (N, N+1, 2N) of de energie dichtheid (kW/rack) hoger worden dan heeft men minder racks in de container voor IT systemen beschikbaar.

Dit lijkt dus een aardige meetlat te worden om de container leveranciers te vergelijken en te kijken waar de echte innovatie ligt.

Meer details:

Share