test smartere 1 lever oftere - soco.no · teste tidligere - “shift left” kostnadseffektivt...
TRANSCRIPT
1
LEVER OFTERETEST SMARTERE
ØYSTEIN HANSEN CARL JOHNSON
2
Veien til moderne utviklingsorganisasjon
Agenda
Hvor kom vi fra Hvordan levere
- automatisering- arbeidsflyt og verktøy
Veien videre og våre erfaringer
3
1 millionKunder
20 millionerInnlogginger per måned
4
“Change has never happened this fast before, and it will never be this slow
again.”Gordon Moore, Intel
5
Hvor kom vi fra
6
Prosjektleveranser
2 uker
Prosessen i 2013
2 uker 2 uker 2 uker 2 dager
Integrasjonstest
Planlegge systemtestSystemtest Akseptansetest Prodsetting
Fast-tracks
2 måneder
7
Tid
Leveransetakt
Skalerbarhet
8
Veien til moderne utviklingsorganisasjon
9
Herman Melville
Arkitektur
10
Sentralstyrt forvaltningsteam
Organisering
Kryssfunksjonelt utviklingsteam
Kryssfunksjonelt utviklingsteam
Kryssfunksjonelt utviklingsteam
Kryssfunksjonelt utviklingsteam
Kryssfunksjoneltutviklingsteam
Kryssfunksjoneltutviklingsteam
Kryssfunksjoneltutviklingsteam
Kryssfunksjoneltutviklingsteam
+
11
Utviklingsteam
Leverer på en verdikjede innenfor et domene(Finansiering, Sparing, Kort, Betaling, osv.)
Ansvar for helheten innenfor en horisontal(Mobilbank, API, Integrasjon, osv.)
12 Kryssfunksjonelle team
KortBetalingOversikt Sparing Mobil
Systemeiere
Systemansvarlig
Teamleder
Tech-lead
Utviklere
Designere
Testere
Prosjektledere
13
Test
Teamledelse
Arkitektur
Frontend
Infrastruktur
Devops
Mobil
UX
Maskinlæring
Faggrupper
14
Hvordan levere
15
"SUCCESS SEEMS TO BE
CONNECTED WITH ACTION.
SUCCESSFUL PEOPLE KEEP MOVING.
THEY MAKE MISTAKES, BUT THEY
DON'T QUIT.”
—CONRAD HILTON
16 Togmodell
Applikasjon A
Applikasjon B
Applikasjon C
Applikasjon D
Avgang n Avgang n+1 Avgang n+2 Avgang n+3
17
Automatisering
18 Utfordringen
19 Regneeksempel
Antall kombinasjoner for en release av mobilbanken
2 x 2 x 2 x 2 x 2 x 2 = 256 kombinasjoner19 enheter
19 x 256 = 4864 test case4 OS versjoner
4 x 4864 = 19456 testerForvent ca 10 minutter per test
10 x 19456 = 3242 timerForvent ca 6 timers testing per dag
6 x 3242 = 540 dagerVed ca 220 arbeidsdager per år
540 / 220 = ??
20
2 ½ år med manuell testing
21 SpareBank 1 - Mobilbank
22
Enkelt å vedlikeholde
Forståelig
Forenklet oppsett
Suksessfaktorer for automatisering
23 Fitnesse eksempel
24 Besparelse i Mobilbanken
FØR: 2-3 dager manuell testing
NÅ: 20 minutter med automatiserte tester
25
Veien til moderne utviklingsorganisasjon
Agenda
Hvor kom vi fra Hvordan levere
- automatisering- arbeidsflyt og verktøy
Veien videre og våre erfaringer
27
Veien til moderne utviklingsorganisasjon
Agenda
Hvor kom vi fra Hvordan levere
- automatisering- arbeidsflyt og verktøy
Veien videre og våre erfaringer
28
Arbeidsflyt og verktøy
29 Konseptkanvas
30
31
Utviklingsprosessen
32 Teste tidligere - “Shift Left”
● Kostnadseffektivt● Tidsbesparande● Finner feil tidligere● Bedre samarbeid
33 Jira
34 Teste på branch
35 Deploy i test
36 Testmiljø
37 Utviklingsprosessen
Utvikling
Merge til
master
Release
TestPull request
38 Deploy til QA, pilot og produksjon
“Sikker og stabil drift”
39 Deploy til produksjon
40
41 Betatesting
42
“Hele siden var bedre før. Dette nye
var ubrukelig. Håper ikke det har
kostet noe.”
43
“Totalt ubrukelig system. La ting være
som det har vært!!!!!!!!!!!!!!!!!!!!! Gi data
idioten sparken å be han slutte å kødde med
nettbanken”
44
“Ble litt stresset til å begynne med, men med litt tilvenning så liker jeg siden bedre og bedre:)”
45
“Digger faceliften! Samtidig har dere
beholdt den systematiske
fremstillingen som for meg oppleves som
ryddig.”
46
Hvor er vi nå
47
Prosjektleveranser
2 uker
Prosessen i 2013
2 uker 2 uker 2 uker 2 uker
Integrasjonstest
Planlegge systemtestSystemtest Akseptansetest Prodsetting
Fast-tracks
2 måneder
48
Prosessen nå
Systemtest QA/Pilot ProdsettingIntegrasjonstest
1 uke
49
Veien videre og våre erfaringer
50
Kontinuerlig
leveranse
Arkitektur 2.0
iOS og Android apper
Ytelsestesting
Mer automatisering
Mindre ende til ende
testing
Mocking
Enkelt oppsett
av testmiljøer
OpenShift
Forretningsressurser
inn i teamene
Tettere på forretning
GDPR & PSD2
Veien videre
Personvern
Betalingstjenestedirektivet
51
Våre erfaringer
52
20%
80%
Testleder
Tester
● Testdatabestilling
● Scrum of Scrum
● Dokumentasjon
● Rapportering
Testlederens rolle
53
Teste tidlig
Verktøy
Team
Helhetsblikk Rett i prod
Faggrupper
Våre erfaringer
