usability & quality
DESCRIPTION
Translation of my presentation for the Portuguese Usability Seminar 2008 about integrating usability in the quality process of software development.TRANSCRIPT
Pedro CustódioMarch 2008
QUsability & Quality
Case Study:
Integrating a Usability process as a quality factor in the software development process
Pedro CustódioMarch 2008
Quality <=> Satisfaction
Pedro CustódioMarch 2008
Development Process
ProductionAnalysis Development
Quality
Development
SpecificationQuality Report
Pedro CustódioMarch 2008
The whole quality process is sustained in a quality evaluation on four major subjects:
Quality Evaluation
Pedro CustódioMarço 2008
Customer
SupportTechnical
UsabilityDesign
Pedro CustódioMarch 2008
Evaluation Scale
Pedro CustódioMarço 2008
N.A.
Critical, not production ready
With serious problems
With problems
O.K. with issues
O.K.
Pedro CustódioMarch 2008
Quality ReportProduce a quality report that states the overall evaluation of a project according to the evaluation matrix
Pedro CustódioMarço 2008
Pedro CustódioMarch 2008
Usability Education
User Centered Design
Raise Credibility
Best Practices Adoption
Development process Integration
Convergence
Pedro Custódio
QMarch 2008
User CenteredDesign
Performance
Content
Easy of Use
Satisfaction
Brand Value
Suitable
Pedro Custódio
QMarch 2008
Why makeusability studies?
Pedro CustódioMarch 2008
Useris someone which is afected by
our products
Pedro CustódioMarch 2008
Reduce Costs
development
support
maintenance
Increase
user satisfaction
user loyalty
user numbers
Business reasons
Pedro Custódio
QMarch 2008
‘software engineering, a practitioners approach’ mcgraw-hill
Cost of changes in a project
1x During Design
6x DuringDevelopment
100x Afterdeployed
Pedro CustódioMarch 2008
Premises
Iterative process
Development process integration
Fast prototyping
Frequently tested with users
Pedro Custódio
QMarch 2008
Usability Process
PlanningDefine the
process
Follow
guidelines
Write a work
plan
Assemble a
team
Have a
KickOff
Meeting
Write work
objectivs
Hire an usability
expert
AnalysisEvaluate
current
product/site
Know your
users
Study usage
flows
Development
Personas
Identify
Usage
Scenarios
Identify
Usage
Scenarios
Design /
Development
Determine
product
requirements
Inventariar
conteúdosCard Sorting
information
Architecture
Develop
prototypes
Develop
product/
service
Tests and
Improvements
Learn from
the
evaluations
Learn from
usability
tests
Develop a
test plan
Review
scenarios
Recruit
testers
Assemble
Usability
tests
Conduct
usability
tests
Results
Analysis
Write a
report
Implement
changes
Pedro CustódioMarch 2008
Planning
Pedro CustódioMarch 2008
KickOff Meetings
Pedro Custódio
QMarch 2008
QUALIDADE @ SAPO - PLANO DE REUNIÃO KICK-OFF / RE-DESENHO
1. Qual é o propósito para o serviço:
a. Qual é o propósito para o serviço ?
b. Quais são os objectivos do serviço?
2. Quais são os objectivos de desenvolvimento deste serviço:
a. Como definem um serviço de sucesso dentro do SAPO
b. Quais serão os factores visíveis de sucesso? Como saber se um serviço tem ou não sucesso?
c. Como descrevem este serviço?
d. Do ponto de vista do SAPO?
e. Do ponto de vista dos utilizadores?
3. Definir audiência e objectivos:
a. Quem são os utilizadores deste serviço? (primários e secundários)
b. Como descrevem os utilizadores? (características como a idade, experiência, educação, etc.)
c. Porque é que estes usam o serviço? (necessidades, interesses e objectivos dos utilizadores)
d. Como é que os utilizadores chegam ao serviço? (contextos)
e. Como é que os utilizadores acedem ao serviço? (equipamentos, tipos de ligação, resoluções,
etc.)
4. Análise e prioritização de funcionalidades/tarefas:
a. O que é que os utilizadores podem/puderam fazer no serviço? (conteúdos, funcionalidades, etc.
b. Quais as funcionalidades mais críticas para os utilizadores? (criticidade)
c. Quais as funcionalidades mais importantes para os utilizadores? (importância)
d. Quais as funcionalidades mais usadas pelos utilizadores? (frequência)
e. Quais as funcionalidades mais sujeitas a problemas de usabilidade? (vulnerabilidade)
f. Quais as tarefas criticas para o sucesso e organização deste serviço?
g. Qual a frequência de utilização do serviço pelos utilizadores?
h. O que os trará de volta?
5. Determinar objectivos mesuráveis de Usabilidade:
a. Que tarefas os utilizadores devem conseguir realizar facilmente com pequenos erros? (eficiência)
b. Que tarefas os utilizadores devem conseguir completar de forma rápida e eficiente? (eficácia)
c. Qual o grau de satisfação desejado para os utilizadores após utilizarem o serviço? (satisfação)
6. Discutir expectativas, requisitos e preferências:
a. Qual é a visão pessoal de cada um para este serviço?
b. Descrever a sua visão inicial do projecto? Qual deve ser o objectivo de longo prazo do site?
c. O que suscitou o redesenho?
d. Existem restrições, obrigações ou directrizes para o serviço?
e. Existem serviços semelhantes que possam servir de exemplo?
f. Existe algum estilo pessoal que prefiram?
g. Que características/atributos/atitude deve o serviço transmitir aos seus utilizadores?
7. Determinar grau e necessidades de acessibilidade:
a. Qual é o grau actual de acessibilidade do serviço?
b. Que tipo de testes de acessibilidade foram feitos?
c. Que tipo de ferramentas de acessibilidade são usados?
d. Quem é o responsável pelas questões de acessibilidade deste serviço?
Meeting Plans
Pedro Custódio
QMarch 2008
8. Identificar recursos disponíveis e necessidades de formação:
a. Qual é o nível de recursos para actualização e manutenção do serviço?
b. Existem pessoas com treino para produzir conteúdos específicos para a Web?
c. Existem designers na equipa deste serviço?
d. Quem são os responsáveis pelo desenvolvimento deste serviço?
e. Quem é o responsável pela promoção e marketing do serviço?
9. Discutir e identificar necessidades tecnológicas:
a. Quais as necessidades de alojamento/equipamentos?
b. O serviço já possui nome para o domínio ou é necessário um novo?
c. Este serviço usa alguma forma de gestor de conteúdos? Se sim, qual?
d. Estão a ser recolhidas estatísticas da utilização do serviço? Se sim, quais?
e. Serviço possui algum tipo de motor de pesquisa? Se sim, qual?
10. Plano de projecto
!
8. Identificar recursos disponíveis e necessidades de formação:
a. Qual é o nível de recursos para actualização e manutenção do serviço?
b. Existem pessoas com treino para produzir conteúdos específicos para a Web?
c. Existem designers na equipa deste serviço?
d. Quem são os responsáveis pelo desenvolvimento deste serviço?
e. Quem é o responsável pela promoção e marketing do serviço?
9. Discutir e identificar necessidades tecnológicas:
a. Quais as necessidades de alojamento/equipamentos?
b. O serviço já possui nome para o domínio ou é necessário um novo?
c. Este serviço usa alguma forma de gestor de conteúdos? Se sim, qual?
d. Estão a ser recolhidas estatísticas da utilização do serviço? Se sim, quais?
e. Serviço possui algum tipo de motor de pesquisa? Se sim, qual?
10. Plano de projecto
!
8. Identificar recursos disponíveis e necessidades de formação:
a. Qual é o nível de recursos para actualização e manutenção do serviço?
b. Existem pessoas com treino para produzir conteúdos específicos para a Web?
c. Existem designers na equipa deste serviço?
d. Quem são os responsáveis pelo desenvolvimento deste serviço?
e. Quem é o responsável pela promoção e marketing do serviço?
9. Discutir e identificar necessidades tecnológicas:
a. Quais as necessidades de alojamento/equipamentos?
b. O serviço já possui nome para o domínio ou é necessário um novo?
c. Este serviço usa alguma forma de gestor de conteúdos? Se sim, qual?
d. Estão a ser recolhidas estatísticas da utilização do serviço? Se sim, quais?
e. Serviço possui algum tipo de motor de pesquisa? Se sim, qual?
10. Plano de projecto
!
8. Identificar recursos disponíveis e necessidades de formação:
a. Qual é o nível de recursos para actualização e manutenção do serviço?
b. Existem pessoas com treino para produzir conteúdos específicos para a Web?
c. Existem designers na equipa deste serviço?
d. Quem são os responsáveis pelo desenvolvimento deste serviço?
e. Quem é o responsável pela promoção e marketing do serviço?
9. Discutir e identificar necessidades tecnológicas:
a. Quais as necessidades de alojamento/equipamentos?
b. O serviço já possui nome para o domínio ou é necessário um novo?
c. Este serviço usa alguma forma de gestor de conteúdos? Se sim, qual?
d. Estão a ser recolhidas estatísticas da utilização do serviço? Se sim, quais?
e. Serviço possui algum tipo de motor de pesquisa? Se sim, qual?
10. Plano de projecto
!
Meeting Plans
Pedro Custódio
QMarch 2008
Usability Process
PlanningDefine the
process
Follow
guidelines
Write a work
plan
Assemble a
team
Have a
KickOff
Meeting
Write work
objectivs
Hire an usability
expert
AnalysisEvaluate
current
product/site
Know your
users
Study usage
flows
Development
Personas
Identify
Usage
Scenarios
Identify
Usage
Scenarios
Design /
Development
Determine
product
requirements
Inventariar
conteúdosCard Sorting
information
Architecture
Develop
prototypes
Develop
product/
service
Tests and
Improvements
Learn from
the
evaluations
Learn from
usability
tests
Develop a
test plan
Review
scenarios
Recruit
testers
Assemble
Usability
tests
Conduct
usability
tests
Results
Analysis
Write a
report
Implement
changes
Pedro CustódioMarch 2008
Analysis
Pedro CustódioMarch 2008
Personas
Pedro CustódioMarch 2008
Advantages
Design: supporting the design process and the service structure;
Design explanations: help sustain and justify decisions from the previous stage;
Build consensus: by categorizing users and behaviors it’s easir to build consesus among the team on choices and implementations;
Evaluation: allow the evaluation of choices in terms of return, since they can be easily tested against selected user groups
Other fields (not development): an important working material for other teams beside the development teams. Teams like marketing and branding or even helping and sustaining company strategic planning.
Pedro CustódioMarch 2008
Use Scenarios and Workflows
Pedro Custódio
QMarch 2008
Usability Process
PlanningDefine the
process
Follow
guidelines
Write a work
plan
Assemble a
team
Have a
KickOff
Meeting
Write work
objectivs
Hire an usability
expert
AnalysisEvaluate
current
product/site
Know your
users
Study usage
flows
Development
Personas
Identify
Usage
Scenarios
Identify
Usage
Scenarios
Design /
Development
Determine
product
requirements
Inventariar
conteúdosCard Sorting
information
Architecture
Develop
prototypes
Develop
product/
service
Tests and
Improvements
Learn from
the
evaluations
Learn from
usability
tests
Develop a
test plan
Review
scenarios
Recruit
testers
Assemble
Usability
tests
Conduct
usability
tests
Results
Analysis
Write a
report
Implement
changes
Pedro CustódioMarch 2008
Design / Development
Pedro CustódioMarch 2008
Information Architecture
Pedro CustódioMarch 2008
Prototyping
BETA
Pedro CustódioMarch 2008
Tests and Improvements
Pedro Custódio
QMarch 2008
Have you ever done a usability test, lost hours writing the usability report
and in the end didn’t seen any results applied?
Pedro Custódio
QMarch 2008
How many times have you read someone else usability report?
Lost time?
Pedro Custódio
QMarch 2008
Presenting Usability Results
Jakob Nielsen, 2005 http://www.useit.com/alertbox/20050425.html
Pedro Custódio
QMarch 2008
Usability Reportsnormally don’t get to those
who need them most!
And few are willing to read them!
Pedro Custódio
QMarch 2008
Traditional Tests Fast Usability Tests
Number of Users
Recruiting Effort
Where to make them
Who makes them
Planning
Preparation
What? And When to test?
Costs
next?
8+ 3/4
Selected according to the audience
Any person with web experience
Usability Lab Any Room
Usability Professional Someone with patience
Weeks planning Anytime
Write and Discuss a test protocol
Select the features we want to test
Normally everything and close to the end of the project
Small tests at any time of the development process
€5000 - €15000+ 0 - €300 (€0 - €100 per user)
A ‘n’ page report a week later / Development meeting
Meeting Immediately after the tests
‘Don’t Make Me Think’ - Steve Krug
Pedro Custódio
QMarch 2008
‘Don’t Make Me Think’ - Steve Krug
Traditional Tests Fast Usability Tests
Number of Users
Recruiting Effort
Where to make them
Who makes them
Planning
Preparation
What? And When to test?
Costs
next?
8+ 3/4
Selected according to the audience
Any person with web experience
Usability Lab Any Room
Usability Professional Someone with patience
Weeks planning Anytime
Write and Discuss a test protocol
Select the features we want to test
Normally everything and close to the end of the project
Small tests at any time of the development process
€5000 - €15000+ 0 - €300 (€0 - €100 per user)
A ‘n’ page report a week later / Development meeting
Meeting Immediately after the tests
Pedro CustódioMarch 2008
ProblemsRecording and analysing all the information
Processing all the recorded materials that came out of the tests
Gather and process all observer’s notes
Evaluate the overall satisfaction for each service/site
Discuss observations
Implementing conclusions
Pedro CustódioMarch 2008
Record Information
Moraehttp://www.techsmith.com/morae.asp
ScreenFlow + VNChttps://www.varasoftware.com/products/screenflow/
Pedro Custódio
QMarch 2008
Demonstração
Pedro Custódio
QMarch 2008
O nosso ‘Setup’
VNC
Sala de Testes
Observadores
Pedro CustódioMarch 2008
Gather and process notesWe assembled a standard observation report form for all observations to use during the tests:
Terminou com Facilidade Terminou com Dificuldade Não conseguiu terminar
(...)2
Terminou com Facilidade Terminou com Dificuldade Não conseguiu terminar
TAREFA 11
Terminou com Facilidade Terminou com Dificuldade Não conseguiu terminar
(...)3
Terminou com Facilidade Terminou com Dificuldade Não conseguiu terminar
(...)4
Terminou com Facilidade Terminou com Dificuldade Não conseguiu terminar
(...)5
Terminou com Facilidade Terminou com Dificuldade Não conseguiu terminar
(...)6
Terminou com Facilidade Terminou com Dificuldade Não conseguiu terminar
(...)7
Terminou com Facilidade Terminou com Dificuldade Não conseguiu terminar
TAREFA 88
Estudo:
Utilizador:
Avaliador:
Data:
Observações:
Pedro CustódioMarch 2008
Recolher e Processar Notas
0
4
Tarefa 1 Tarefa 2 Tarefa 3 Tarefa 4 Tarefa 5 Tarefa 6 Tarefa 7 Tarefa 8
Terminou com facilidade Terminou com problemas Não conseguiu terminar
Pedro CustódioMarch 2008
Evaluate satisfaction
Pedro Custódio
QMarch 2008
Escala de Usabilidade de Serviços Discordo Muito
Concordo Muito
1. Gostaria de usar este serviço frequentemente
2. Achei que o serviço era desnecessariamente complexo
3. Achei o serviço simples de usar
4. Penso que iria precisar de apoio técnico para usar o serviço
5. Achei as várias funcionalidades do serviço bem integradas
6. Penso que havia demasiadas inconsistências no serviço
7. Imagino que a maioria das pessoas aprenda rapidamente a usar o serviço
8. Achei que o serviço não era trivial de usar
9. Senti-me muito confiante a usar o serviço
10. Preciso de aprender muito antes de poder usar este serviço
1 2 3 4 5
1 2 3 4 5
1 2 3 4 5
1 2 3 4 5
1 2 3 4 5
1 2 3 4 5
1 2 3 4 5
1 2 3 4 5
1 2 3 4 5
1 2 3 4 5
‘SUS - A quick and dirty usability scale’ - John Brooke
Pedro CustódioMarch 2008
Gostaria de usar este serviço frequentemente
Achei que o serviço era desnecessariamente complexo
Achei o serviço simples de usar
Penso que iria precisar de apoio técnico para usar o serviço
Achei as várias funcionalidades do serviço bem integradas
Penso que havia demasiadas inconsistências no serviço
Imagino que a maioria das pessoas aprenda rapidamente a usar o serviço
Achei que o serviço não era trivial de usar
Senti-me muito confiante a usar o serviço
Preciso de aprender muito antes de poder usar este serviço
0 4
Discordo Muito Concordo Muito
Avaliar Satisfação
Pedro CustódioMarch 2008
Avaliar Satisfação
Interpretação dos resultados:
cada item varia entre 0 - 4
classificar:
items 1,3,5,7 e 9 = valor atribuído pelo utilizador - 1
items 2,4,6,8 e 10 = 5 - valor atribuído pelo utilizador
Avaliação do grau de satisfação de um serviço:
Multiplicar o valor da soma de todos os items por 2.5
Resultado = 0 -100
Pedro Custódio
QMarch 2008
Total = 22 Classificação SUS = 22 *2.5 = 55
Escala de Usabilidade de Serviços Discordo Muito
Concordo Muito
1. Gostaria de usar este serviço frequentemente
2. Achei que o serviço era desnecessariamente complexo
3. Achei o serviço simples de usar
4. Penso que iria precisar de apoio técnico para usar o serviço
5. Achei as várias funcionalidades do serviço bem integradas
6. Penso que havia demasiadas inconsistências no serviço
7. Imagino que a maioria das pessoas aprenda rapidamente a usar o serviço
8. Achei que o serviço não era trivial de usar
9. Senti-me muito confiante a usar o serviço
10. Preciso de aprender muito antes de poder usar este serviço
X 4
1 2 3 4 5
X 1
1 2 3 4 5
X 1
1 2 3 4 5
X 4
1 2 3 4 5
X 1
1 2 3 4 5
X 2
1 2 3 4 5
X 11 2 3 4 5
X 1
1 2 3 4 5
X 4
1 2 3 4 5
X 3
1 2 3 4 5
Pedro CustódioMarch 2008
next?
Pedro Custódio
QMarch 2008
Sessão Típica
User Test 1
User Test 2
User Test 3
User Test 4
Debriefing
Pedro CustódioMarch 2008
Objectivos do Debriefing
Analisar resultados dos testes
Definir plano de acção e plano de resolução quando for caso disso
Pedro CustódioMarch 2008
Feedback e Statistics
Usage stats
Customer support reports
Eye tracking studies
Usage HeatMaps
...
Pedro CustódioMarch 2008
Questions?
Pedro Custódio
QMarch 2008
http://flickr.com/photos/lightcnd/458382355/
http://flickr.com/photos/unclekris/2359511772/
http://www.flickr.com/photos/johnnyvulkan/239434634/
http://flickr.com/photos/42304632@N00/232004616/
http://flickr.com/photos/jazz_dalek/1845705965/
Photos
References
‘Don’t Make me Think’, Steve Krug
‘Designing for Interaction’, Dan Saffer
Usability.gov
http://www.flickr.com/photos/terry/100917705/
http://flickr.com/photos/torres21/1155965622/
http://flickr.com/photos/torres21/1155108997/
http://flickr.com/photos/nedrichards/735578028/