Athena @ UGent

ICT Systeembeheer (IVPV 2006-2007)Case Server Based Computing

Steven Rogge, DICT, UGent26 februari 2007

Agenda

• Inleiding• Unattended Deployment (‘rollout’)• Athena

– Doelstelling– Architectuur– Webinterface– Cijfers: gebruik en kosten/baten– Hands-on (PC-klas)– Ervaringen

• Conclusies• Vragen

Inleiding

• Indeling applicaties

• Universiteit Gent in cijfers

Indeling applicaties

• Naar domein: onderwijs, onderzoek en administratie• Naar soort:

– Client/Server toepassingen• Databasetoepassingen via Telnet/SSH of native client• Domein: administratief. Vb. SAP, Studentenadministratie, etc.

– Desktop toepassingen• Standalone• Domein: onderwijs en onderzoek. Vb. Office, SPSS, Maple, Matlab, AutoCAD, etc.

– Webtoepassingen• Zijn vaak minder ‘feature-rich’• Domein: vaak administratief, deels ook voor onderwijs (vb. Minerva, Curios) en

onderzoek (vb. enquêtes)

– High Performance Computing• Ook wel Supercomputing, Grid-computing, etc. Wordt vaak onder 1 gerekend

worden, immers ook client bij betrokken• Domein: onderzoek

Indeling applicaties

OnderwijsOnderwijs OnderzoekOnderzoek AdministratieAdministratie

1.1. Client/ServerClient/Server / / ja

2. Desktop2. Desktop ja ja /

3. Web3. Web ja ja ja

4.4. HPCHPC / ja /

Focus bij PC-beheer en Server Based Computing:1 (client-gedeelte) en 2.

Universiteit Gent in cijfers

• Organisatie:– 11 faculteiten: 134 vakgroepen + logistieke diensten– 8 directies + bestuur en controlediensten– Totaal = 217 entiteiten

• Gebruikers:– 28.000 studenten– 6.000 personeelsleden

• PC-Beheer:– Schatting 10.000 clients (PC, Linux, Mac), en 2.500 netwerkprinters– Applicaties: 200+ Windows applicaties (Client/Server en Desktop)– Beheer:

• Centraal: DICT = 1.600 publieke PC’s en 1.400 private PC’s. – Publieke PC’s: PC-klassen, auditoria en bibliotheken – Private PC’s: Centrale administratie en - vrijwillig - vakgroepen

• Decentraal: 100+ sysadmins (al dan niet FT, vaak ook assistenten)

Rollout

• Historiek Windows Deployment (OS en applicaties) aan de UGent (DICT)

• Disk cloning?

• Demo

• Pro’s

Historiek

1993 (?) 1993 (?) -- 09.199709.1997 Windows for workgroups 3.11 (Diskless).

10.1997 10.1997 -- 06.200406.2004 Windows NT 4.0 (Disk cloning: Ghost).Enkele PC-klassen en auditoria bleven in academiejaar 2003/2004 nog op NT.

02.2003 02.2003 -- … (2010?)… (2010?) Windows XP Professional (Unattended Deployment + scripting). Eerste PC’s op centrale administratie, vanaf academiejaar 2003/2004 ook op meerderheid publieke PC’s.

01.2008 (?) 01.2008 (?) -- … … Windows Vista Business (Unattended Deployment + scripting).

Deployment Windows OS en applicaties door DICT

Disk cloning

• Disk cloning of imaging, ghosting, …• Waarom geen disk cloning meer?

– Licentie op Ghost e.a. werd te duur.– Te veel soorten hardware, dus te veel verschillende

images te onderhouden. Elke combinatie hardware + softwareset behoeft een aparte image. In de praktijk waren er dat eind 2002 reeds 60+.

– Aanmaken images was daarom reeds sterk geautomatiseerd. Basisimage NT per hardwaresoort + batch scripting.

– Imaging is minder geschikt voor servers.

Rollout

• Fase 1. Boot.– Methodes:

• Floppy: DOS 6.22 (sinds 10.1997)• PXE (Preboot eXecution Environment): WinPE (sinds 08.2006)• USB/CD: WinPE (sinds 08.2006)

– Netwerkkaartdetectie– Identificatie (datafile, ID = macadres), instellen netwerkparameters en

variabelen: %installserver%, %group%, etc.– Mounten \\%installserver%\%share%

• Fase 2. OS.– Unattended installation OS: File Copy Fase + Installatie (unattend.txt)

• Fase 3. Apps.– Unattend.txt: *GuiRunOnce+, Command0= …– Patching (XP momenteel 77 patches)– Apps (momenteel 350 apps), config adhv %group%.ini– Andere: toevoegen aan domein, logging, instellen rootww, etc.

Rollout

• WinPE– Windows Preinstallation Environment– Bart Lagerweij (http://www.nu2.nu/pebuilder/)

• Besturingssysteem– Windows XP: SP1 en SP2, Ned. Of Eng.– Windows 2003 Server, ca. alle edities– Vista Business Edition

• Aantal rollouts per jaar: – 2006: ca. 9.000 tot 10.000– Raming voor 2007: 15.000

Demo

• Volledige installatie citrixserver ‘Rollout, the movie’, – Starring:

• Rollout (11.000 lijnen code)

• VMware Workstation 6 (‘Capture Movie’)

• MS Movie Maker

– Duur: volledige uitrol citrix server = 3 tot 4 uur

– Start Playing

• Singleapp– Ook bruikbaar via SMS

Rollout pro’s

• Self documenting

• Hardware onafhankelijk, zelfs op virtuele machines

• Testing!– Bijv. bij twijfel over het functioneren van een applicatie

onder Windows XP of Vista, scenario: 2 machines uitrollen met zelfde applicatieset, 1 x XP en 1 x Vista …

– Idem voor verschillend gedrag van een applicatie lokaal geïnstalleerd op een PC of op een applicatieserver

• Back-up: enkel data back-uppen

SBC

• Waarom SBC?

• MS Terminal Services & Citrix

• Relatie Microsoft & Citrix

Waarom SBC?

• Rollout is niet steeds inzetbaar voor (alle) private PC’s. • Uitrollen van 1 PC in auditorium of van een ganse klas duurt

steeds 1 of meerdere lesslots.• Toegang tot applicaties thuis en op de niet door DICT

beheerde PC’s (‘unmanaged computer’). Softwaredistributie opzetten (incl. documentatie en ondersteuning) is heel arbeidsintensief.

• Aanvullende methodes (AD, bootscripts, SMS, etc.) bieden niet altijd een oplossing.

Total cost of ownershipBetere dienstverlening

MS Terminal Services & Citrix

• Reeds sinds 1998 Terminal Services in gebruik bij UGent

– 1e server tbv studentenadministratie, met o.a. telnet client:

• Security (encryptie RDP + telnet over fysiek beveiligde lijn komt overeen met SSH)

• Bandbreedte (reductie tot 1/7)

– Later ook voor financiële administratie, toegangscontrole, auditoriumbeheer en SAP Gui

MS Terminal Services & Citrix

• Meerwaarde Citrix t.o.v. Terminal Services– Seamless Windowing; extra bureaublad is heel verwarrend;

vandaar minimaal 1 server nodig per applicatie/functionaliteit– Webinterface– Betere load balancing– Betere multimedia (via virtueel kanaal?) (demo)– Tools & Features: centraal beheer, session shadowing

(helpdesk), session roaming, etc.

• Concurrentie?– Jetro Cockpit, Tarantella New Moon, NoMachine NX, etc.– Citrix is met voorsprong marktleider, dus wereldwijd meest

expertise en add-ons voorhanden. Ruim gamma (access gateway, password manager, etc.).

Seamless Windows

Remote Desktop Window Seamless Window

Relatie MS & Citrix

• Historiek– 1992: Citrix brengt ICA (Independent Client Architecture) uit– 1997: MS neemt licentie op ICA en bouwt RDP (Remote Desktop

Protocol)– 1998: MS brengt Terminal Services uit (‘Hydra’)– RDP en ICA worden steeds verder verfijnd, ICA blijft steeds

voorop lopen– Co-development op campus Redmond

• Longhorn?– Ook webinterface, seamless windowing, etc.– MS beaamt zelf dat Citrix nog een belangrijke meerwaarde

biedt: centraal beheer, load balancing, etc.

Athena

• Doelstelling

• Timing

• Architectuur

• Webinterface

• Cijfers

• Hands-on (PC-klas)

• Ervaringen

Doelstelling

• Toegang tot (Windows-)applicaties voor iedereen, eender waar, eender wanneer.

– Iedereen• Platform onafhankelijk:

– OS: Windows, Linux, Macintosh, Thin client en (Windows-)PDA

– Browser: IE, FF, etc.

• Hardwarevereisten laag

– Altijd & overal• PC-klassen, auditoria en bibliotheken (publieke PC’s)

• Vakgroepen en administraties

• Buiten UGentNet (VPN): Studentenhomes, draadloos, thuis

• Kiosk-PC

Naam

• Acroniem: ‘Access THE Network (and) Applications’

• Athena is in de Griekse mythologie de godin van de wijsheid (Romeinse evenbeeld is Minerva).

• Minerva & Athena

– Minerva: platform voor cursusbeheer

– Athena: platform voor (Windows-)applicaties• Vb. Cursus lineaire algebra (Maple)

Timing

25.09.200425.09.2004 Active Directory UGent.be

01.10.200401.10.2004 Citrix Fase 1 (‘Citrix’) in de facultaire PC-klassen

15.03.200515.03.2005 Citrix Fase 2 (‘Athena’) = prerelease DICT

05.200505.2005 Gefaseerde release voor personeel centrale administratie en faculteiten

01.10.200501.10.2005 Release voor alle studenten en medewerkers

Architectuur

• Active Directory• Soft- en hardware• Opbouw farm• Onderhoud, back-up en DR• Methodes voor publishing• Webinterface en MyAthena• Toegang• Clients• Disks en printers• Gebruikersprofielen

Active Directory

• LDAP is de centrale Directory Service van de UGent• Synchronisatie LDAP naar AD

– In zomer 2004 groot aantal pistes verkend (o.a. MIIS, Identity management, etc.)

– Uiteindelijk zelf geschreven. Dagelijkse synchronisatie aan de hand van een LDIF-dump. Duur ca. 25’ voor 46.000 accounts.

– Wachtwoorden:• Sinds 10.2004: ‘Activeren voor Windows’ (website: checkt

wachtwoord t.o.v. centrale Unix-servers en zet wachtwoord in AD)• Vanaf 03.2007: geïntegreerd in standaard gebruikersadministratie

en wachtwoordsite

• Opbouw: demo

Soft- en hardware

• Software– Windows 2003 Server R2 Standard Edition SP1– Citrix MetaFrame Presentation Server XPa 4.0: 1.100

concurrent users– Datastore: MS SQL 2000 SP4– Testomgeving: VMware Workstation

• Hardware– Dell PowerEdge 2650/2850/2950, telkens Dual Xeon

(Hyper Threading of Dualcore) met 4 of 8 GB RAM– Toekomst:

• Dual Quadcore Xeon 8 GB RAM• Blades (?)

Opbouw farm

• 4 x Webinterface (citrixw1 en citrixw2 in load balancing). Back-up en testomgeving citrixw3 en citrixw4.

• 1 x Datastore (citrixdb)• 1 x Licentieserver (licserv2)• 1 x Dedicated DataCollector (citrixdc)• 40 x Applicatieservers (citrixnn), indeling:

– Zone?: zone preference om studenten en personeelsleden te scheiden. Dit bleek echter enkel te werken onder XPe, nochtans wel aanwezig in manamenet console van XPa. Oplossing via AD groepen. Ook de back-up zone werd intussen afgebouwd.

– Pool:• Toegang scheiden voor studenten/personeel. Geen studenten op

‘administratieve servers’.• Stabiliteit op applicatieniveau, conflicterende versies

Onderhoud, back-up en DR

• Onderhoud:– Dagelijkse reboot helft farm, bij deze reboots worden profielen

opgekuist en kunnen MS en Citrix patches gedeployed worden.– Regelmatig heruitrollen.

• Back-up:– Enkel database in de datastore en data van de webinterface.

• Disaster recovery– Monitoring: MOM en eigen script.– Eerste poging: aparte zone op tweede site.– Nieuwe piste: maandelijkse complete rebuild van de volledige

farm op de tweede site op een tiental servers, bij een echte ramp worden er dan meer ‘servers’ bijgeplugd.

– Manuele failover via DNS of andere URL.

Methodes voor publishing

• Program Neighborhood– Toegang via 1 lokaal programma– Nadeel: client configuratie, een xml server configureren op poort 8083– Van daaruit kan de gebruiker snelkoppelingen beheren

• Program Neighborhood Agent– Service op de PC– Eenvoudiger centraal aan te sturen (vanuit de management console kan je bepalen wat in start

menu of op bureaublad moet komen)– Nadeel: portables, indien niet verbonden met het netwerk verdwijnen snelkoppelingen of

geeft de agent foutmeldingen …

• Webinterface– PN en PNA:

• Transparanter voor de eindgebruiker. Is dit een voordeel?• Nadeel: ‘deep linking’, flexibiliteit verdwijnt• Voor PNA ook webinterface nodig

– Centraal beheersbaar en ‘rijker’.– Opmerking: Out of the box volstaat de webinterface niet, aanpassing aangewezen

• Published Desktop (?)– Is gewoon gepublishte applicatie , daarvoor heb je trouwens geen Citrix nodig.

Webinterface

Webinterface

Webinterface

Webinterface

Webinterface

MyAthena

MyAthena

Toegang

• UGentNet en UZ netwerk: rechtstreeks

• Buiten UGentNet:– VPN (Cisco Concentrator 3000)

• Reeds jaren in gebruik

• Verschillende clients (MS en Cisco)

• Contra: extra client, bij thuisgebruik klagen sommigen over uitval

– Citrix Access Gateway• Momenteel in test, 10 concurrent licenties

• Prijs: appliance = ca. 2.200 euro incl. BTW, licenties = afgeschrevenca. 30 euro/gebruiker/jaar

– We zoeken nog naar een ‘adminless install’ oplossing (voor de kiosk-PC’s)

Clients

• Fat Client– TCO, wat kost een PC?– Energieverbruik (PC’s UGent: raming 300.000+ euro/jaar)

• Thin Client– Tientallen verschillende soorten, elk met hun eigen

besturingssysteem en beheersmethodes, weinig standaardisatie– Kostprijs: veel te hoog

• Mid Client– Licht uitgebouwde PC (of verouderde PC)– Mindere krachtige processor, kleinere harde schijf, minder

geheugen, minder krachtige videokaart. Dus goedkoper in aanschaf en met een lager energieverbruik.

– Standaard beheersmethodes

Disks en printers

• Disks– Lokaal:

• Enkel C:-schijf

– Netwerkschijven:• H:-schijf (%homedrive% uit AD)• Andere: AD (scripts en config-file)

– C:-schijf server = X: (drive remapping)

• Printers– Momenteel:

• Default printer van het werkstation• PDFCreator (gratis)

– Toekomst: meerdere printers

Gebruikersprofielen

Local Roaming

/ Mandatory

Hybrid CentraalLokaal

Vrij

Restrictief

Cijfers

• Methode

• Gebruikscijfers

• Cijfers webinterface

• Kosten/Baten

Methode

• Metaframe XPa heeft geen uitgebreide logging- en billing-mogelijkheden in tegenstelling tot XPe.

• Script op 1 server (citrix01) uit de farm dat elke 5 minuten sample neemt en opslaat in een database op de datastore (citrixdb).

• In deze sample worden volgende parameters opgeslagen: DateTime, UserName, AppName, ServerName, ClientIP, ClientID, ClientBuild, ClientName

• Omvang DB na anderhalf jaar: 1,5 GB• Verwerking:

– Basisqueries rechtstreeks op citrixdb (MS SQL + Excel)– Meer uitgebreide rapportering manueel op dump (SQLite + Excel), vrij

arbeidsintensief, moet nog verder geautomatiseerd worden

Gebruikscijfers

• Applicatieuren: Dagoverzicht• Applicatieuren en gebruikers: Maandoverzicht• Maximum aantal (09.01.2007)

– Licenties: 694– Applicaties: 801

• Spreiding: Weekdagen en Uren– Dagen: 5,6 % buiten de werkweek– Uren: 15,1 % buiten ‘9 to 5’– ‘Gecombineerd’: 20 % buiten de kantooruren

• Spreiding per domein (Administratie vs O & O)• Overzicht: Gebruik per applicatie

Webinterface

• Aparte logging voor gebruik webinterface (weblogs naar aparte server - verwerking via awstats).

• Geeft aanvullende data o.a. over het gebruik van verschillende besturingssystemen en browsers. Voor een organisatie als de UGent is dit waardevol materiaal.

Besturingssysteem

Januari 2006Januari 2006 Januari 2007Januari 2007

WindowsWindows 95,4 % 95,3 %

LinuxLinux 2,4 % 2,5 %

MacintoshMacintosh 2,0 % 2,1 %

Browser

Januari 2006Januari 2006 Januari 2007Januari 2007

InternetInternet ExplorerExplorer 73,7 % 76,5 %

FirefoxFirefox 20,7 % 19,1 %

AndereAndere 5,6 % 4,4 %

Kosten

• Systeembeheer– 2 x FTE = 150.000 euro/jaar (47 %)

• Licentiekost– Presentation Server XPa: afgeschreven = 60 euro incl. BTW per

concurrent user per jaar (20 %)

• Servers– 45 dual Xeon servers: aankoop, afschrijving, OS, energieverbruik

voor voeding en koeling = 2.125 euro incl. BTW per server per jaar (30 %)

• Andere– andere software, handboeken, etc. = 10.000 euro per jaar (3 %)

• Totale kostprijs per jaar: 320.000 euro incl. BTW

Baten - meetbaar

• Vermeden installaties– Zie cijfers. Aantal installaties = som van het aantal verschillende

PC’s vanwaar elke applicatie opgestart werd = 49.047– Totaal aantal verschillende PC’s: 16.020 (dus gemiddeld 3

pakketten per PC)– Verschil = aantal bespaarde installaties (op elke PC immers

installatie van ica-client en soms VPN-client of browser settings) = 33.027

– Geëxtrapoleerd per jaar = kleine 40.000 installaties per jaar– Besparing per installatie = 30’ @ 15 euro/uur (installatie =

afhalen sources, distributie media, onderhoud, patches, support, incl. herinstallaties)

– Totale waarde = 300.000 euro

Baten - meetbaar

• Hardwarekosten– 10.000 PC’s aan gemiddeld 1.000 euro incl. BTW per PC,

vervangingstermijn 4 jaar– Verlengen vervangstermijn

• Naar 4,5 jaar: 277.778 euro per jaar• Naar 5 jaar: 500.000 euro per jaar• Naar 6 jaar: 833.333 euro per jaar• Illustratie: ‘mijn’ PC = 6,5 jaar

– Minder krachtige hardware: lagere aanschafwaarde• Naar 800 euro: 500.000 euro per jaar

– Minder krachige hardware: lager energieverbruik• Van 150 W naar 90 W = 120.000 euro per jaar

• Opmerking: – Deze besparingen realiseert de UGent op dit moment nog niet of

slechts voor een klein gedeelte

Baten - niet meetbaar

• Snellere dienstverlening: software voor lessen soms maar 1 dag vooraf, Office 2007, Adobe Reader 8, SAP Gui patches, SPSS, etc.

• Hogere beveiliging: administratieve toepassingen.

• Betere ondersteuning mogelijk: vb. shadowing SAP Gui.

• Toename beleidsinformatie: softwaregebruik wordtvoor het eerst meetbaar.

• Centralisering van data en instellingen: goedkoperemigraties.

• Meer uniforme omgeving voor de eindgebruiker.

Afweging

• Meetbaar:– Kosten: 320.000 euro incl. BTW per jaar.

– Baten: reeds gerealiseerd 300.000 euro per jaar, nog mogelijk te realiseren: vele 100.000’en euro per jaar.

• Conclusie: – Naast de belangrijke niet-meetbare voordelen

draait Athena reeds break-even op de meetbare elementen, met nog een enorm potentieel bij keuze voor de ‘mid-client’.

Hands-on

• Tijdelijk account (werkt enkel vandaag)• Inloggen op PC en ‘Athena’ opstarten (SSO)• Verkenning

– Single-click volstaat– Index = overzicht van alle toepassingen– ‘MyAthena Configuration’ (onder ‘Tools’) = laat u toe uw eigen

folder samen te stellen– Applicaties: ‘MS Office Language’ voor Office 2003 (onder

‘Tools’), Office 2007, Vista Business (onder ‘Test > Virtualmachines’) …

– Taalkeuze webinterface Nederlands of Engels (bij SSO moet je daar eerst voor uitloggen)

– Bekijk via Windows Taakbeheer op de PC het gebruik van lokale resources (CPU, memory, netwerk)

Ervaringen

• Gebruikers

• Technische problemen

• Specifiek probleem: licenties

• Technische uitdagingen

Gebruikerservaringen

• Overwegend positief– “Momenteel doe ik een stage van drie maanden aan de

Universiteit van New York in het kader van mijn doctoraatsopleiding. Ik maak dus bijzonder veel gebruik van Athena om van hier uit verder te kunnen werken op het netwerk van mijn thuis-departement …”

• Aandachtspunten– Servergebaseerd denken. Bestanden en applicaties moeten echt

op hetzelfde niveau. (“Waarom wordt USB-drive niet ondersteund ?”). Misverstand (“Gisteren heb ik via Athena SPSS geïnstalleerd en vandaag is het van mijn PC verdwenen”).

– Verlies gevoel van vrijheid– Probleem voor veldwerkers. Kan Project Tarpon een oplossing

bieden?

Technische problemen

• 15-tal servercrashes op 1 jaar tijd = anderhalve crash per server in de levensduur van 4 jaar.

• Beveiliging: firewall policies laden kan problemen geven bij autodetectie netwerkbandbreedte en duplexmode.

• Wegschrijven van files naar netwerkschijven ‘delayed write error’ (elementen: autodetectie netwerkkaart + switches + fileserver). Netwerkschijfproblemen reeds problemen voor S-Plus, NetBeans en Matlab.

• Verkeerd ingeschatte capaciteit. Op 1 dag een probleem met een les Adobe Photoshop, 85 simultane gebruikers.

Licenties

• Veel verschillende licentiemodellen, in volgorde van voorkeur– Gratis software (free as in beer)– Flat fee (campus)agreement– Per concurrent user– Per named user (groep in AD)– Per PC

• Overeenkomsten zelf zijn vaak nodeloos complex, leggen dikwijls ook restricties op het gebruik (vb. AutoCAD: onderwijs, onderzoek, administratie).

• Technisch– Voorkeur: vertrouwen– Keycode, KMS (MS Volume Activation 2.0), flexlm, USB-dongle, …– Licentieservers kunnen best op virtuele machines

• Nog te weinig softwarebedrijven zijn klaar voor SBC.

Technische uitdagingen

• Vernieuwen webinterface (versie 4.5)• Betere ondersteuning multimedia en CAD/CAM

– Citrix MPS 4.5– MS Longhorn Server (RDP 6)

• Desktop broker– Virtuele of zelfs reële machines– In de toekomst wordt ook RDP over ICA mogelijk

• Doorvoeren Office 2007 als primaire versie• Verfijning gebruikersprofielen & versnellen logonproces• Netwerkconnectiviteit portables (HSDPA)• Oplossing voor Kiosk-PC’s (Access + ica-client)• Integratie in een ‘UGent-portaal’ (?)

Conclusies

• Zelfs al beschikt men over een goed PC-beheer platform (cloning, rollout, AD, SMS, Altiris, HP OpenView, CA Unicenter TNG, etc.) dan nog biedt SBC een belangrijke meerwaarde: Snelheid deployment (applicaties voor ‘the unmanaged computer’) en TCO.

• Citrix is op dit moment nog steeds de beste keuze.

• Expertise inhuren voor (AD design en) Citrix Farm design is onontbeerlijk.

• Een flexibele architectuur voor deployment van OS en applicaties blijft essentieel voor een goed PC- en serverbeheer.

SBC - de 10 geboden

1. Leer gebruikers servergebaseerd denken.2. Automatiseer en script.3. Gebruik wat je hebt: MS en Citrix kunnen volstaan.4. Gebruik de webinterface als enige toegangspoort.5. Gebruik multicore servers.6. Gebruik geen zwervende profielen.7. Vermijd USB-drives.8. Geen thin clients, geen fat clients maar mid clients.9. Vermijd software met complexe licentiemodellen.10. Lees www.brianmadden.com.

Vragen

• Slides op http://users.UGent.be/~srogge/sbc/ en op Minerva.

• Verdere vragen mogen per e-mail aan Steven.Rogge@UGent.be

• ?