I Sørum kommune har vi en e-strategi som legger føringen for hvor vi skal, og hvordan vi skal dit. Ett av punktene i strategien er, å ha en grønn tilnærming til våre IKT-systemer. Det betyr at vi blant annet skal kjøpe inn strømbesparende systemer og redusere antall fysiske servere.
Å redusere antall fysiske servere gjøres ved å virtualisere serverne. En kraftig, fysisk maskin kan kjøre flere virtuelle maskiner og man får da en bedre utnyttelsesgrad av hardwaren.
Da vi begynte med virtualisering baserte vi oss på vSphere fra VMWare. Det var (er) er godt system, men det koster mye. I tillegg til å koste en Windows Server DataCenter-lisens, koster det også en vSphere-lisens til flere titals tusen kroner pr. fysisk host. Siden vi allerede hadde Microsoft System Center 2012-suiten i vår avtale med Microsoft, og denne inkluderer Virtual Machine Manager (VMM), valgte vi å flytte over vårt eksisterende virtuelle miljø fra VMWare til VMM.
Vi fikk til å starte med god bistand fra Lumagate v/ Kristian Nese, men lærte mye under prosessen og har administrert og vedlikeholdt systemet selv siden.
På hardware-siden har vi en blade-kasse fra HP, en C7000-kasse, med plass til 16 bladeservere. Vi bruker i dag 6 stk. HP BL460c Gen8 blade-servere med 2 Xeon-CPUer, 2*160 GB SAS-disker og 224 GB ECC-minne.
Intern nettverksforbindelse mellom serverne går via FlexFabric-moduler med 10 gbps.
Hele løsningen er knyttet til eksisterende infrastruktur via. 4*10 gbps LACP-trunks (aktiv/passiv) til kjerneswitchene, som er HP ProCurve 5406zl.
Eksisterende servere er koblet til kjerneswitch med 1 gpbs.
Alle virtuelle maskiner (VM) ligger på et cluster shared volume (CSV), på LUNs på 3 stk EMC VNX5100 diskhyller. Vi har laget flere LUNs til ulike formål, for eksempel RAID10 til diskintensive VMer, RAID 6 til «vanlige» maskiner osv.

I VMM får man god oversikt over miljøet.

Her er oversikt over hostene:

5

..og servicer, virtuelle maskiner og fordelingen på virtuelle nettverk.

Dette er oversikt over alle 6 hoster:

..og her ser vi oversikt over en enkelt host:

Vi ser også en daglig og månedlig oversikt over minnebruk, CPU-bruk, nettverkstrafikk og lagring.

2

Oversikt over Hyper-V cluster, med fysiske hoster, samt eventuelle private clouds:

Vi har valgt å organisere flere systemer i private clouds. I en private cloud kan du tildele ressurser, for eksempel x antall virtuelle prosessorer, x antall minne, så og så mye diskplass. Du kan gi bestemt roller eller personer eksplisitt tilgang til en bestemt could, så de ikke kan gjøre noe med andre clouds. Vi har ingen dedikerte cloud administratorer, men vi har valgt å bygge opp strukturen slik, for å ha bedre oversikt.

 

Her er fordelingen av et subset av maskiner mellom hoster:

6

Hvis en host blir belastet mye fordi VMene som kjører på dem plutselig brukes mer, så fordeles lasten ut på de andre hostene (VMene live migreres). Fordelingen av VMer nå kan være helt annerledes om 10 minutter basert på hvor mye VMene brukes.

Med live migrering menes at minnet til VMen flyttes fra én host til en annen, mens maskinen kjører. Brukerne på VMen merker ikke (eller i veldig liten grad) at VMen flyttes mellom fysiske hoster.

En anden fordel med live migrering er, at man kan patche hoster uten å ha nedetid på VMene. En host tømmes for VMer, hosten patches, gjerne via WSUS (Som også er integrert med VMM), omstartes og når den er oppe igjen, live migreres VMene tilbake til hosten. Brukerne har kunnet jobbe uten å merke nedetid i det hele tatt. Det er utrolig fleksibelt.

 

Provisjonering av nye maskiner gjøres på et øyeblikk. Hvor man for bare få år siden, da man baserte seg på fysiske maskiner, måtte kjøpe server, minne, disk, vente på levering, installere fysisk i serverrom, installere OS, tildele IP-adresser osv. kan alt nå ordnes på noen få minutter ved hjelp av virtualisering:

Enten oppretter man en ny VM med tom disk og installerer OS på den. Her er man i gang med installasjon etter noen få sekunder, men må fortsatt gjøre alt, før maskinen er klar til bruk, manuelt

Ellers oppretter man fra en template:

En template er et predefinert sett med innstillinger for VMen, som beskriver hvor mange CPUer maskinen skal ha, hvor mye minne, hvilket VLAN den skal plasseres i. Også hvilken lokal administratorkonto som brukes, skal maskinen meldes inn i domene, skal det installeres roller eller features. Alt kan settes opp på forhånd. Man velger da en virtuell disk-fil som er opprettet fra en annen VM, som etterfølgende er sysprep’et og baserer ny VM på denne. Filen kopieres til rett plassering på CSV og er, basert på hardwaren som brukes, klar til bruk på 4-7 minutter. Utrolig smidig og veldig effektiv. Her blir det fort et problem med server sprawl, hvis ikke man ser seg for 🙂