at ma qualidade molinari v11 final version
DESCRIPTION
Palestra no evento da ALATS/2009 - primeiro semestre - ministrada por Leonardo MolinariTRANSCRIPT
![Page 1: At Ma Qualidade Molinari V11 Final Version](https://reader035.vdocuments.net/reader035/viewer/2022062709/5591b1c61a28ab32518b47a3/html5/thumbnails/1.jpg)
Automação de Testesde Má Qualidade
Como Evitar
Leonardo Molinari
![Page 2: At Ma Qualidade Molinari V11 Final Version](https://reader035.vdocuments.net/reader035/viewer/2022062709/5591b1c61a28ab32518b47a3/html5/thumbnails/2.jpg)
2
Técnicas de Testes Funcionais
“Esvazie sua xícara primeiro, só então você poderá provar meu chá. Afinal de contas a
utilidade da xícara está em poder esvaziar-se. Abra sua mente para receber novas idéias.”
Bruce Lee
![Page 3: At Ma Qualidade Molinari V11 Final Version](https://reader035.vdocuments.net/reader035/viewer/2022062709/5591b1c61a28ab32518b47a3/html5/thumbnails/3.jpg)
3
Agenda
Problemas Tradicionais na Automação Problemas de Estimativas Quando a A.T. Funcionais é Ruim Quando a A.T. de Performance é Ruim Técnica Avançada: HVTA Transformando a A.T. Positivamente
![Page 4: At Ma Qualidade Molinari V11 Final Version](https://reader035.vdocuments.net/reader035/viewer/2022062709/5591b1c61a28ab32518b47a3/html5/thumbnails/4.jpg)
4
Teste de Software
![Page 5: At Ma Qualidade Molinari V11 Final Version](https://reader035.vdocuments.net/reader035/viewer/2022062709/5591b1c61a28ab32518b47a3/html5/thumbnails/5.jpg)
A Empresa
Primeira empresa offshore testing com capital 100% nacional a atuar no
disputado mercado norte-americano.
Uma das primeiras consultorias brasileiras a implementar com sucesso o
conceito de Bureau de testes.
Automação de Testes – Pleno domínio das principais soluções de
Governança de Testes do mercado e opensource.
Atendimento “on demand” para projetos de teste de software
Soluções completas de teste
Our core business is Software Testing!
![Page 6: At Ma Qualidade Molinari V11 Final Version](https://reader035.vdocuments.net/reader035/viewer/2022062709/5591b1c61a28ab32518b47a3/html5/thumbnails/6.jpg)
Produtos e Serviços
Fábrica de Testes• Solução completa de teste
Alocação de Profissionais (Professional Testers!)• Profissionais capacitados
Automação de Testes• Implantação e operacionalização
Consultoria• Desenvolvimento e operacionalização de Processo de Testes e Quality
Assurance – sob medida
Treinamentos• Formação de profissionais e equipe de teste
www.mzpsoft.com.br
![Page 7: At Ma Qualidade Molinari V11 Final Version](https://reader035.vdocuments.net/reader035/viewer/2022062709/5591b1c61a28ab32518b47a3/html5/thumbnails/7.jpg)
Cases
Base de Clientes ``Blue Chip``
UOLGXS - INTERCHANGE
RECALLBORLANDSINDAN
AUDATEX
Alguns ClientesScopus
TelefônicaTask Sistemas
CopelTriad Systems
FinepAquáriosTlantic
SKFScaniaGXS
T-SystemsCaixa
MXM SistemasAvon
Parcerias Estratégicas
Borland – Compuware – Talentfour Tech4b – GPTI – ALATS – EFTI - Didata
Interadapt TV Globo Itaú Synchro SYS Elucid
Montreal Okto
![Page 8: At Ma Qualidade Molinari V11 Final Version](https://reader035.vdocuments.net/reader035/viewer/2022062709/5591b1c61a28ab32518b47a3/html5/thumbnails/8.jpg)
8
Problemas Tradicionais na Automação de Testes
Agenda
![Page 9: At Ma Qualidade Molinari V11 Final Version](https://reader035.vdocuments.net/reader035/viewer/2022062709/5591b1c61a28ab32518b47a3/html5/thumbnails/9.jpg)
9
Inovação
Fonte: IPEA, 2008
![Page 10: At Ma Qualidade Molinari V11 Final Version](https://reader035.vdocuments.net/reader035/viewer/2022062709/5591b1c61a28ab32518b47a3/html5/thumbnails/10.jpg)
10
Inovação
Fonte: Instituto Inovação, 2008
![Page 11: At Ma Qualidade Molinari V11 Final Version](https://reader035.vdocuments.net/reader035/viewer/2022062709/5591b1c61a28ab32518b47a3/html5/thumbnails/11.jpg)
Fato
Introduzir Testes Automatizados é usar conceitos de Inovação em Testes
É introduzir Inovação na Empresa
![Page 12: At Ma Qualidade Molinari V11 Final Version](https://reader035.vdocuments.net/reader035/viewer/2022062709/5591b1c61a28ab32518b47a3/html5/thumbnails/12.jpg)
12
Desafios Atuais de Teste Manual
• 4 QA eng -> somente 20% de cobertura de teste;
• Qualidade Geral Sofre;
• Trabalho de Teste Manual pode não entregar a tempo;
• Número excessivo de erros de execução de testes manual;
• Cronogramas de teste podem ser prejudicados
Teste Automatizado
Uso Sábio de Automação
• Aumento da cobertura de teste de modo a alcançar 80%-90% com recursos existentes.
Problemas Tradicionais na
Automação de Testes
![Page 13: At Ma Qualidade Molinari V11 Final Version](https://reader035.vdocuments.net/reader035/viewer/2022062709/5591b1c61a28ab32518b47a3/html5/thumbnails/13.jpg)
13
Problemas Tradicionais na
Automação de Testes
QUANTO valerá automação?
• Depende de sua ambição....
![Page 14: At Ma Qualidade Molinari V11 Final Version](https://reader035.vdocuments.net/reader035/viewer/2022062709/5591b1c61a28ab32518b47a3/html5/thumbnails/14.jpg)
14
Problemas Tradicionais na
Automação de Testes
QUANDO vale a pena usar automação:• Automação de testes precisa ser aprendida
corretamente • Automação de testes não substitui uma equipe de
testes • Nem tudo pode ser testado mesmo usando
automação • Nem tudo que pode ser testado se precisará
automatizar • Os testes automatizados precisam ser
constantemente atualizados • Inicialmente a automação custa tempo e dinheiro • O planejamento de testes não deve ignorado
![Page 15: At Ma Qualidade Molinari V11 Final Version](https://reader035.vdocuments.net/reader035/viewer/2022062709/5591b1c61a28ab32518b47a3/html5/thumbnails/15.jpg)
15
Problemas Tradicionais na
Automação de Testes
Oba!!!! Vamos sair automatizando:• Cuidado!!!! Perigo! Perigo!
• Testes são pesados: vale a pena automatizar• Teste é pontual: não automatizar;• Automatizar não resolve tudo: não é panacéia;• Tenha sempre um engenheiro de testes junto!!!• Experiência dos testes manuais: use-a!!!
![Page 16: At Ma Qualidade Molinari V11 Final Version](https://reader035.vdocuments.net/reader035/viewer/2022062709/5591b1c61a28ab32518b47a3/html5/thumbnails/16.jpg)
16
Problemas Tradicionais na
Automação de Testes O que você pensa que está certo...
• Qualidade Percebida X Real• O bug que o diretor viu…
• Desenvolvedores não testam• Ups…
• Confiando demais em itens de construídos na aplicação para serem usados nos testes
• Log
• Mudando a Interface e esquecendo dos testes automatizados
![Page 17: At Ma Qualidade Molinari V11 Final Version](https://reader035.vdocuments.net/reader035/viewer/2022062709/5591b1c61a28ab32518b47a3/html5/thumbnails/17.jpg)
17
Problemas Tradicionais na
Automação de Testes O que você pensa que está certo...
• Confiar em somente um engenheiro de testes
• Inibir a Inovação• O cronograma já está pronto• Testes de regressão devem levar em
consideração• Acertos de scripts que não funcionam• Entender o que já funcionava (script)
![Page 18: At Ma Qualidade Molinari V11 Final Version](https://reader035.vdocuments.net/reader035/viewer/2022062709/5591b1c61a28ab32518b47a3/html5/thumbnails/18.jpg)
18
Problemas de Estimativas de Automação
Agenda
![Page 19: At Ma Qualidade Molinari V11 Final Version](https://reader035.vdocuments.net/reader035/viewer/2022062709/5591b1c61a28ab32518b47a3/html5/thumbnails/19.jpg)
19
Problemas de Estimativas de
Automação
Principais Grandes Falhas:• Cuidado!!!! Perigo! Perigo!
• Fazendo as Perguntas Erradas• Arrumando as Atividades Estimadas de forma
Errada• Falhando ao entender o efeito da multiplicidade• Inconsistência nos critérios de medição• Não compensar riscos e dependências
![Page 20: At Ma Qualidade Molinari V11 Final Version](https://reader035.vdocuments.net/reader035/viewer/2022062709/5591b1c61a28ab32518b47a3/html5/thumbnails/20.jpg)
20
Problemas de Estimativas de
AutomaçãoFalhando ao entender o efeito da multiplicidade
![Page 21: At Ma Qualidade Molinari V11 Final Version](https://reader035.vdocuments.net/reader035/viewer/2022062709/5591b1c61a28ab32518b47a3/html5/thumbnails/21.jpg)
21
Problemas de Estimativas de
AutomaçãoInconsistência nos critérios de medição
Dias? Meses ? Anos? Minutos ?
![Page 22: At Ma Qualidade Molinari V11 Final Version](https://reader035.vdocuments.net/reader035/viewer/2022062709/5591b1c61a28ab32518b47a3/html5/thumbnails/22.jpg)
22
Quando a Automação de Testes Funcionais é Ruim
Agenda
![Page 23: At Ma Qualidade Molinari V11 Final Version](https://reader035.vdocuments.net/reader035/viewer/2022062709/5591b1c61a28ab32518b47a3/html5/thumbnails/23.jpg)
23
Quando a Automação de Testes Funcionais
é Ruim O que você pensa que está certo...
• Desenvolver script =/= programação• Não modularizar scripts =/= reutilização• Ups não testei o script• O que o script faz?• A ferramenta é uma porcaria• Não usou data-driving testing• Em vez de pensar primeiro, saiu gravando…
• Objetivos
![Page 24: At Ma Qualidade Molinari V11 Final Version](https://reader035.vdocuments.net/reader035/viewer/2022062709/5591b1c61a28ab32518b47a3/html5/thumbnails/24.jpg)
24
Quando a Automação de Testes Funcionais
é Ruim O que você pensa que está certo...
• Não investigou como a aplicação funciona primeiro
• Acha que está bom e que não pode fazer melhor
• Não estudou corretamente a ferramenta• Não foi além da ferramenta• Gravou tudo num super-script
![Page 25: At Ma Qualidade Molinari V11 Final Version](https://reader035.vdocuments.net/reader035/viewer/2022062709/5591b1c61a28ab32518b47a3/html5/thumbnails/25.jpg)
25
Quando a Automação de Testes de Performance é Ruim
Agenda
![Page 26: At Ma Qualidade Molinari V11 Final Version](https://reader035.vdocuments.net/reader035/viewer/2022062709/5591b1c61a28ab32518b47a3/html5/thumbnails/26.jpg)
26
Quando a Automação de Testes de
Performance é Ruim O que você pensa que está certo...
• Desenvolver script =/= programação• Não modularizar scripts =/= reutilização• Ups não testei o script• O que o script faz?• A ferramenta é uma porcaria• Não usou data-driving testing• Em vez de pensar primeiro, saiu gravando…
• Objetivos
![Page 27: At Ma Qualidade Molinari V11 Final Version](https://reader035.vdocuments.net/reader035/viewer/2022062709/5591b1c61a28ab32518b47a3/html5/thumbnails/27.jpg)
27
Quando a Automação de Testes de
Performance é Ruim O que você pensa que está certo...
• Não entendeu conceitos de Performance• Não investigou como a aplicação funciona • Não estudou corretamente a ferramenta• Depois dos testes, não analisou:
• Logs • Gráficos• Métricas obtidas
• Não questionou os resultados dos testes
![Page 28: At Ma Qualidade Molinari V11 Final Version](https://reader035.vdocuments.net/reader035/viewer/2022062709/5591b1c61a28ab32518b47a3/html5/thumbnails/28.jpg)
28
Técnica Avançada: HVTA
Agenda
![Page 29: At Ma Qualidade Molinari V11 Final Version](https://reader035.vdocuments.net/reader035/viewer/2022062709/5591b1c61a28ab32518b47a3/html5/thumbnails/29.jpg)
29
Técnica Avançada: HVTA
HVTA• High Volume Test Automation
• Qtde de Casos de Testes Criados
• Qtde de Casos de Testes que podem ser gerados
![Page 30: At Ma Qualidade Molinari V11 Final Version](https://reader035.vdocuments.net/reader035/viewer/2022062709/5591b1c61a28ab32518b47a3/html5/thumbnails/30.jpg)
30
Técnica Avançada: HVTA
HVTA• High Volume Test Automation
• Perguntas:– Quantos testes precisa criar para automatizar tudo?– Quantos scripts automatizados você criou?– Você já explorou novas situações de teste mesmo a
aplicação já estando OK?– Você já usou variáveis aleatórias (input) como dados
de entradas?– Os seus scripts dependem sempre dos meus dados
para teste? E se mudarmos?
![Page 31: At Ma Qualidade Molinari V11 Final Version](https://reader035.vdocuments.net/reader035/viewer/2022062709/5591b1c61a28ab32518b47a3/html5/thumbnails/31.jpg)
31
Técnica Avançada: HVTA
HVTA• High Volume Test Automation
• Importante:– Estratégia de Solução que busca ter dados de teste
independente da sua tradicional.» Uma nova execução de teste nunca será igual a
anterior Testes Aleatórios
• Trata do problema:– Independente script X dependente script
![Page 32: At Ma Qualidade Molinari V11 Final Version](https://reader035.vdocuments.net/reader035/viewer/2022062709/5591b1c61a28ab32518b47a3/html5/thumbnails/32.jpg)
32
Transformando a Automação de Testes Positivamente
Agenda
![Page 33: At Ma Qualidade Molinari V11 Final Version](https://reader035.vdocuments.net/reader035/viewer/2022062709/5591b1c61a28ab32518b47a3/html5/thumbnails/33.jpg)
33
Transformando a Automação de Testes
Positivamente Principais Pontos:
• No planejamento• Definir objetivos e concordar com eles
• Na criação de scripts• Crie padrões e guidelines• Revise aleatoriamente alguns scripts / pessoa• Projete os scripts para reuso• Projete scripts manuteníveis
• Geral• Gere relatórios de teste de forma clara• Automatize pequenas tarefas. Ex: criação de BD• Não esqueça da Gerência de Configuração• A.T. ë um projeto dentro de um projeto de testes.
![Page 34: At Ma Qualidade Molinari V11 Final Version](https://reader035.vdocuments.net/reader035/viewer/2022062709/5591b1c61a28ab32518b47a3/html5/thumbnails/34.jpg)
34
Bonus Track
![Page 35: At Ma Qualidade Molinari V11 Final Version](https://reader035.vdocuments.net/reader035/viewer/2022062709/5591b1c61a28ab32518b47a3/html5/thumbnails/35.jpg)
Bonus Track
Inovação em Testes XE Testes de Performance
![Page 36: At Ma Qualidade Molinari V11 Final Version](https://reader035.vdocuments.net/reader035/viewer/2022062709/5591b1c61a28ab32518b47a3/html5/thumbnails/36.jpg)
Prefácio de:
Hélio Amauri Sanchez
Diretor da MZP
![Page 37: At Ma Qualidade Molinari V11 Final Version](https://reader035.vdocuments.net/reader035/viewer/2022062709/5591b1c61a28ab32518b47a3/html5/thumbnails/37.jpg)
37
Para Pensar...
“Questione ou você será questionado. Não faça nada que nada você fará.”
• Leonardo Molinari
![Page 38: At Ma Qualidade Molinari V11 Final Version](https://reader035.vdocuments.net/reader035/viewer/2022062709/5591b1c61a28ab32518b47a3/html5/thumbnails/38.jpg)
38
Dúvidas
Muito Obrigado !!!! Leonardo Molinari Site da MZP: http://www.mzpsoft.com.br E-mail 1: [email protected] Blog: http://diariodaqualidade.blogspot.com