9/24/2015

1

Erfaring med POC om bruk av HP Mobile Center for testautomatisering hos en stor telekomaktør

Kjetil Gjelstenkjetil.gjelsten@knowit.no

+47 901 22 925

Partner / Sjefskonsulent, Knowit

Quality Management Oslo AS

OM FOREDRAGSHOLDERE

http://no.linkedin.com/in/kjetilgjelsten

9/24/2015

2

Luleå

Luleå

Örnsköldsvik

Sundsvall

GävleBorlänge

SandvikenUppsala

Stockholm

(HQ)

Örebro

Linköping

JönkjöpingGöteborg

Karlstad

MalmöCopenhagen

Bergen

Stavanger

Kristiansand

Arendal

Oslo

Helsinki

Tallinn

KORT OM

KNOWIT

• NORDISK KONSULENTSELSKAP

• TRE VIRKSOMHETSOMRÅDER

• 500 SPESIALISTER I NORGE

• KONTORER I OSLO, BERGEN, STAVANGER OG

KRISTIANSAND

1200IT 400

Design&Digital200

Management

AGENDA

1. Bakgrunn og formål for POC av HP Mobile Center hos NetCom

2. Erfaringer med verktøy og gjennomføring av POC

3. Evaluering og konklusjoner

4. Spørsmål og svar

9/24/2015

3

UTFORDRINGER

MED TESTING ØKER…

• IT-systemene blir mer og mer komplekse

• Antall integrasjonspunkter øker

• Verdikjedene blir lenger

• Alt skal fungere, hele tiden…

• Vi jobber mer smidig, med hyppigere releaser

OG TESTERE SLITER MED Å HOLDE TRITT…

UTFORDRINGER

MED MOBILTESTING?

• Økende antall mobilvarianter

• Varierende skjermstørrelser og skjermoppløsninger

• Mange operativsystemer og versjoner

• Kompleksitet på applikasjoner

• Manglende testdekning

• Krav til raskere testsykluser pga. «Time to market»

9/24/2015

4

UTFORDRINGER VED

Å ADMINISTRERE TESTLAB FOR ET ØKENDE ANTALL MOBILENHETER

• Gjentatte investeringsbehov må til for å sette opp

tester for nye mobilenheter og konfigurasjoner

• Innkjøp og vedlikehold av inventar for å sikre at

man har tilstrekkelig med mobilenheter i testlabben

• Vedlikehold av enheter for å sikre at man har siste

versjon i tillegg til tidligere versjoner av OS

• Holde seg oppdatert på applikasjon under test

HVA ER

TESTAUTOMATISERING?

Bruk av programvare:

• for å kontrollere kjøring av tester

• til å sammenligne faktisk resultat med predikert

resultat

• for oppsett av pre-testbetingelser/testdata

• til testrapportering

9/24/2015

5

MOBIL TESTAUTOMATISERING

KAN HJELPE DEG MED Å FÅ …

• hyppigere releaser

• redusert kostnad med å finne feil tidligere

• økt testdekning

• redusert «time to market»

• redusert risiko

• flere fornøyde kunder og sluttbrukere

ID BESKRIVELSE

1Må kunne fungere for NetComs native mobile applikasjoner som kjører på Google Android, Apple iOS og Windows

2 Må støtte mobiltelefoner og nettbrett fra følgende leverandører: Apple, Samsung, Sony, HTC, Nokia, Doro & LG

3 Må understøtte manuell og automatisert funksjonell- / regresjonstesting av fysiske mobilenheter

4 Må understøtte ytelsestest av mobile applikasjoner

5 Må kunne simulere nettverkstrafikk (2g, 3g, 4g etc…)

6 Må kunne aksessere fysiske mobilenheter med simkort fra NetCom og andre leverandører i og utenfor Norge

7 Må kunne generere forbruksdata som data, tale, sms/mms og roaming trafikk på fysiske mobilenheter

INITIELLE KRAV TIL

TESTVERKTØYET FRA NETCOM

9/24/2015

6

ID BESKRIVELSE

1Redusere tiden som ble brukt til å gjennomføre manuelle tester for bestemte applikasjoner

2 Øke testdekning for manuelle tester med hensyn til mobilenheter og operativssystemer / -versjoner.

3 Forenkle administrasjon av mobilenheter i testlab.

4 Demonstrere besparelse i tid og kost ved å sammenligne manuell mot automatisert testing

5 Kjøre ett testskript mot flere mobilenheter og OS-er.

MÅLET MED POC VAR

BLANT ANNET Å SE HVORDAN BRUK AV HPMC KAN:

VERKTØYJUNGELEN

• HP Mobile Center

• IBM Rational Test Workbench

• Appium (open source)

• Perfectomobile

• Jamo Solutions

• Ranorex

• Andre?

9/24/2015

7

HP MOBILE CENTER

ET NYTT TILSKUDD TIL HP SIN TESTVERKTØYPORTEFØLJE

Collaboration & Traceability

HP Application Lifecycle Management

Simulate Mobile Networks

HP Network Virtualization for Mobile (2 flows)

Agile Project

Management

HP Agile

Manager

Active

monitoring

HP AppPulse

Load &

Performance

HP

LoadRunner

Automated

Functional

HP UFT

Exploratory

HP Sprinter

HP Mobile Center

Real Device Management

HP Mobile Center

= BRUKES AV NETCOM

ARKITEKTUR, INSTALLASJON OG OPPSETT FOR POC

HP ALM server

SQL serverClient HP Mobile

Center server

HP UFT clients

USB / Wifi connection

• Win7 PC (64bits)

• HP Mobile Center server v1.1 (VMware image)

• HP UFT v12.5

9/24/2015

8

VIL DU SE DEMO KOM PÅ STAND…

NetCom-Nydalen Knowit-Sentrum

9/24/2015

9

HÅNDTERING AV APPLIKASJONER

HÅNDTERING AV MOBILENHETER

9/24/2015

10

SAMSPILL MELLOM VERKTØY OG ROLLER I TESTARBEIDET TIL POC

9/24/2015

11

TESTRAPPORT MED TIDSMÅLINGER

VÅRE ERFARINGER MED HP MOBILE CENTER

• Sett av nok tid til oppsett og konfigurasjon av testmiljø i forkant

• For å få god nok ytelse trengs det dedikert hardware

• Tenk på fysisk lokasjon av server/linjer mellom lokasjoner

• Apple iOS er lukket og må «pakkes» med et HP-skript

• Per i dag ingen støtte for Windows telefoner

• En UFT-instans per samtidig testkjøring. Planlegg med sekvensiell kjøring.

9/24/2015

12

ID BESKRIVELSE SUPPORTERT? KOMMENTAR

1 Må kunne fungere for NetComs native mobile applikasjoner som kjører på Google

Android, Apple iOS og Windows2 av 3 Ikke støtte for Windows

2Må støtte mobiltelefoner og nettbrett fra følgende leverandører: Apple, Samsung, Sony,

HTC, Nokia, Doro & LGFleste av disse Alle utenom Nokia(MS) og Doro

3Må understøtte manuell og automatisert funksjonell- / regresjonstesting av fysiske

mobilenheterForutsetter HP Sprinter / HP UFT

4 Må understøtte ytelsestest av mobile applikasjoner Forutsetter HP LoadRunner

5 Må kunne simulere nettverkstrafikk (2g, 3g, 4g etc…) Forutsetter HP Network Virtualisation

6Må kunne aksessere fysiske mobilenheter med simkort fra NetCom og andre

leverandører i og utenfor NorgeKrever USB eller Wifi kobling

7Må kunne generere forbruksdata som data, tale, sms/mms og roaming trafikk på fysiske

mobilenheterUtfordring med ROAMING siden vi da

må transportere mobilenheten.

INITIELLE KRAV TIL

TESTVERKTØYET FRA NETCOMS SIDE

ID BESKRIVELSE INNFRIDD? KOMMENTAR

1 Redusere tiden som ble brukt til å gjennomføre manuelle tester for bestemte

applikasjoner• Implisitt oppnådd ved at man kan kjøre flere skript

i parallell ved tilgang på flere UFT-instanser.

2Øke testdekning for manuelle tester med hensyn til mobilenheter og

operativssystemer / -versjoner.

• Automatisert reg.testing frigjør tid til annen

manuell testing.

• Parameterisering gjør at man kan teste flere

kombinasjoner.

3 Forenkle administrasjon av mobilenheter i testlab.• Lettere tilgang til mobilenheter

• Raskere installasjon/avinstallasjon av applikasjon

4Demonstrere besparelse i tid og kost ved å sammenligne manuell mot

automatisert testing

• Statistikk for historisk tidsforbruk var ikke godt nok

dokumentert.

• Verktøyet gir mulighet for raskere testing ift.

regresjonstesting, samt at det kan kjøres ubetjent

5 Kjøre ett testskript mot flere mobilenheter og OS-er.• Skript må utvikles for både Android og iOS

• Verifisert at samme script kan kjøre på iPhone og

iPad

NÅDDE VI MÅLENE

MED POC-EN?

9/24/2015

13

KONKLUSJON

FOR POC AV HP MOBILE CENTER HOS NETCOM

• Erfaringer og resultat fra POC presentert

• POC anbefaler å ta i bruk HPMC hos NetCom for

mobiltestautomatisering

• Endelig beslutning skal fattes av ledergruppen i

NetCom

TAKE-AWAYS

• velg riktig verktøy

• bygg et robust rammeverk

• automatiser de rette prosessene

• dedikerte ressurser

• effektiv testlabhåndtering av mobilenheter

9/24/2015

14

TAKE-AWAYS

• må ikke gape over for mye, start i det små

• ta små steg

• realiser positiv effekter mens du går

• sørg for at fundamentet er solid

• opparbeid deg erfaring

• øk ambisjonene over tid

DET VIKTIGSTE STEGET ER Å KOMME IGANG,

SLIK AT DU ER KLAR NÅR BEHOVET FOR

AUTOMATISERING BLIR STØRRE!

Spørsmål?

9/24/2015

15

WWW.KVALITETSENTUSIASTENE.NO

– BLOGGEN VÅR

Takk for oss