Digitalisoituvan maailman laatuhaasteet - Miten laadunvarmistus muuttuu? Kari Kakkonen, Director, Quality and Competences, Knowit Oy

© Copyright Knowit Oy 2014

Kari Kakkonen, Knowit

• Roles • Knowit, Director, Quality and Competences & Lead

Consultant • Finnish Software Testing Board FiSTB, chairman • ISTQB international exam and expert working group member • Finnish Software Measurement Association FiSMA ry board

member 2004-2007 • Chairman of research project STX, Lappeenranta University

of Technology • Achievements

• Testing promoter since 1996 • Tietoviikko-magazine 100 most influential IT-persons listing

2010 • Presentations in national and international conferences • Candidate for Tester of the Year 2010 (TestausOSY – FAST) • TestausOSY/FAST founding member

• Education • ISTQB Expert TM Full & Advanced Full certified • SPICE provisionary assessor certified • M.SC, Helsinki University of Technology / Aalto-university • Marketing studies, University of Wisconsin-Madison

• Domain background • Embedded • Public sector • Pension insurance • Training provider • Telecom • Finance • Manufacturing

• Services • Training ISTQB Advanced and Foundation + Knowit Testing

Professional • Service management • Test management • Test assessments (TPI Next etc.) and test development • Agile testing services

© Knowit Oy

Twitter: @kkakkonen

LinkedIn: fi.linkedin.com/in/karikakkonen/

100+ mobiili-

sovellusta

20+ extranet-palvelua

50+ intranet-palvelua

25+ verkko-

kauppaa 500+

verkko-palvelua

100+ palvelumuotoilu

-projektia

Knowit -Töistämme meidät tunnetaan Kehitämme ja kasvatamme asiakkaittemme liiketoimintaa.

© Copyright Knowit Oy 2014 | Confidential | Version 1.0

#1 laadun-

varmistuksessa

Käyttäjäkokemuksen vallankumous

Mobiili on uusi todellisuus – tutkimuksetkin kertovat

27.1.2015 © Copyright Knowit Oy 2014 | Confidential | Version 1.0 5

www.shopify.com/blog

“Mobile Now Accounts for 50.3% of All Ecommerce Traffic”

Liiketoiminnan muutos

1. Palvelut digitalisoituvat

2. Liiketoimintaprosessit

digitalisoituvat

3. Kaiken internet (Internet of

Things, Internet of

Everything)

7

Keskeiset laatuhaasteet

Tietoturva

Käytettävyys Suorituskyky

Tuotekehityksen nopeus

8

Tietoturvan testaus Kaikki kohteena

Tietoturvan testaus

27.1.2015 © Copyright Knowit Oy 2013 | Confidential | Version 1.0 9

Ennakoiva tietoturva

• Expertti tiimissä

Sovellustason tietoturva

• Joka taso tietoturvallista

Rajapinnat

• Internet

• Laitteiden välinen

Testaus

• Haavoittuvuus-skannaukset

• Auditoinnit

Ajantasaisuus

• OWASP jne.

10

Käytettävyyden testaus Ajattele käyttäjäkokemusta

27.1.2015 © Copyright Knowit Oy 2013 | Confidential | Version 1.0 11

Surface

Skeleton

Structure

Scope

Strategy

Sovellettu teoksesta:

The Elements of

User Experience

By Jesse James Garrett

• Visuaalinen suunnittelu

• Mikrointeraktiot

• Palvelun rakenne

• Sivurakenne

• Sisältörakenne

• Sisältörakenne

• Informaatioarkkitehtuuri

• Toiminnallisuudet

• Sisältötarpeet

• Liiketoimintatavoitteet

• Käyttäjätarpeet

Botto

m -

Up

Abstract

Concrete

Käytettävyyden testauksessa voi…

Tehdä käytettävyysarviointia

Verrata palvelua käyttökokemuksen

tasoihin

Arvioida käytettävyysongelman

kriittisyys

Raportoida käytettävyysongelma

Ehdottaa ratkaisua

27.1.2015 © Copyright Knowit Oy 2013 | Confidential | Version 1.0 12

Kattavuus käyttäjien päätelaitteisiin – tarkista käytettävyys testausautomaation avulla

• Eri laitteet, sama toiminnallisuus, sama käyttäkokemus

• Yksi testikirjasto, monta testauksen kohdetta

• Vähän ylläpidettävää

• Kasvava määrä

• Aloita varhain

• Toista päivittäin / koonnettain

• Testit eroavat vain vähän

• Raportointi

• Muutkin rajapinnat kuin käyttöliittymät

© Copyright Knowit Oy 2014

| Confidential | Version 1.0 27.1.2015 13

Testattavat appikset (Web)

Testausautomaatio pilvestä tai laitteilla

Suorituskyvyn testaus Testaa ja mittaa, ettet ylläty

Suorituskykytestaus

Testaustyökalut

• Kaupalliset

• Avoin lähdekoodi

Jatkuva monitorointi

• Yhteinen tehtävä

Pullonkaulojen tunnistus

• Korjaa

• Viritä

Testaa monipuolisesti

• Päätelaitteet

• Pilvi

Toistuvuus

• Regressiotestit mukaan

27.1.2015 © Copyright Knowit Oy 2013 | Confidential | Version 1.0 16

Tuotekehityksen nopeus Tasapaino nopeuden ja laadun välillä

Nopea tuotekehitysprosessi

DevOps

• Kulttuurina

• Teknisesti

Ketteryys

• Organisaatiossa

• Projekteissa

Testausautomaatio

• Selkänojana

• Prosessin nopeuttajana

• Kattavuuden laajentajana

Tutkiva testaus

• Vianlöytökyky

• Tehokkuus

Osaaminen

• Monipuolisuus: testausta, kehitystä, tuotantoa, liiketoimintaa

27.1.2015 © Copyright Knowit Oy 2013 | Confidential | Version 1.0 18

DevOps perusperiaate

• DevOps on menetelmä, joka painottaa

kommunikaatiota, yhteistyötä ja integraatiota ohjelmistokehitystiimien ja ylläpito-organisaatioiden

(IT) välillä

• Menetelmä vaatii ketterän ohjelmistokehityksen

prosessin

• Se sitoo ylläpito-organisaation kehitykseen

käyttämällä virtualisoituja ympäristöjä

• Tuotannon ympäristöt ovat osa kehitystä ja yhtä

ketteriä kuin kehitys

27.1.2015 © Copyright Knowit Oy 2013 | Confidential | Version 1.0 19

Kehitys

Laadun-

varmistus

Tuotanto / ylläpito

DevOps

27.1.2015 © Copyright Knowit Oy 2014 | Confidential | Version 1.0 20

Raportointi

DevOps

Automatisoidut testit & asennus

Asennus Koonti

Integraatio Testaus Suorituskyky

Ketterä kehitys

Loppu-

käyttäjä

monitorointi

Tuotanto

Asennus Asennus

Virtualisoidut taustapalvelut

Testiaineiston hallinta

Development Services

Version-

hallinta Jatkuva

koonti

Liiketoiminta

Koodi

Testaus Kehitys

Ketteryys kehittyy, mikä sopii yhteen?

27.1.2015 © Copyright Knowit Oy 2014 | Confidential | Version 1.0 21

Scrum

Kanban

Waterfall, V-Model

Scaled Agile

Framework Lean

Lean Six Sigma

DevOps

Continuous

Deployment

Hybrid

Knowit Tutkimus 2014: Ketterän testauksen suunnittelu yritystasolla

Strateginen taso

Ei suunnitella

• Lähes neljännes ei suunnittele

testausta lainkaan yritystasolla

• Pääsääntöisesti testausta

suunnitellaan hyvin karkealla tasolla

• 85 % yritystason

testaussuunnitelmista

dokumentoidaan

Yritystaso

• Ei vain

• Scrum

• Kanban

• …

• Organisaatio

• UVF

• M3.0

• SAFe

• Lean

• …

27.1.2015 © Copyright Knowit Oy 2013 | Confidential | Version 1.0 23

SAFe 3.0

24

Pilvi (MS, IBM…)

Testausautomaation ja jatkuvan koonnin esimerkki

27.1.2015 © Copyright Knowit Oy 2014 | Confidential

Robot Framework

Quality Center

Jmeter

Python libraries

Selenium

Jenkins

GIT

Quick Test Pro

SoapUI

Sharepoint

Assure

Testauskvadrantit toimivat muistilistana

• Tukee ketterän testauksen strategiaa ja suunnittelua

• Kattaa kaikki tavoitteet

• Mahdollistaa testauksen tavoitteiden tasapainottamisen

Hyväksymistestaus

(automatisoitu tai osin

manuaalinen)

Yksikkötestaus

(automatisoitu)

Liiketoiminta

Teknologia

Tutkiva testaus

(manuaalinen tai osin

automatisoitu)

Ei-toiminnalliset testit (e.g.

suorituskykytestit

työkaluilla)

Tu

otte

en

ko

estu

s

Tii

min

tu

ki

Lähde: original idea by Brian Marick & adaptation by Lisa Crispin and Janet Gregory

Käytä tutkivaa testausta

• Skriptattu vs. Tutkiva testaus (Exploratory Testing (ET))

• ET on lähestymistapa, ei tekniikka

• Montaa testaustekniikkaa voi käyttää

• ET auttaa löytämään yllätyksiä, yhteistoiminnan vaikutuksia ja väärinymmärryksiä, joista ei ole ollut mitään määrityksissä tai muissa testeissä

• Tehtävälomakkeet ja testaussessiot

• Sessiot tekevät ET:n mitattavaksi ja seurattavaksi

• Tehtävälomakkeet ja lokit tekevät ET:n dokumentoiduksi testaukseksi

Lähde: Elisabeth Hendrickson, Cem Caner, James Bach, Lisa Crispin

“Tutkiva testaus on testauksen tyyli, jossa opit ohjelmistosta

samaan aikaan kuin suunnittelet ja ajat testejä, käyttäen

palautetta edellisestä testistä seuraavan testin päätöksiin”

Opi monipuolisesti liiketoiminnasta, kehityksestä, testauksesta, tuotannosta

Kurssit, sertit Valmennus, coaching

Parityö Työpajat

Lisää osaamistasi

27.1.2015 © Copyright Knowit Oy 2013 | Confidential | Version 1.0 28

Protoile ja testaa

Laadunvarmistus digitalisoituvassa maailmassa

Rakenna laatua, sitten myös testaa

• Tietoturva

• Käytettävyys

• Suorituskyky

Hae nopeaa palautetta

• Tiimin nopeus

• Testauksen tuki

• Tuotantoon viennin nopeus

Questions?

kari.kakkonen@knowit.fi