vi ebts implantação de fábrica de teste - desafios, resultados e melhores práticas

Implantação de Fábrica de Teste: desafios, resultados e melhores Práticas

Welington Costa Monteiro – ABR/2012

Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas

Agenda

• Apresentação

• O cenário inicial dos testes

• Desafios

• Implantando a Fábrica de Teste

• Resultados

• Melhores Práticas

• Próximos Passos

• Conclusão

VI EBTS


Apresentação

O palestrante

Gerente de Testes de Software da Prodemge

Consultor de aquisição habilitado pelo MPS.BR

Especialista em Qualidade de Software com certificações pela ALATS e ISQTB

Membro e revisor técnico do TMMi

16 anos de experiência na área de TI

Graduado em Ciência da Computação

Pós-graduação em Gerência de Tecnologia da Informação

VI EBTS


Apresentação

A Prodemge

1ª maior empresa de TIC de

Minas Gerais em faturamento

(ranking Assespro-MG 2008)

Companhia de economia mista,

apoia as ações estratégicas da

administração pública mineira na

área de TIC - Tecnologia da

Informação e Comunicação.

VI EBTS


Apresentação

A Prodemge – Produtos e Serviços

Sistemas de Informação

Serviços de Rede

Armazéns de Informações

Data Center

Gestão de Conteúdo

Serviços de Infraestrutura

Certificação Digital

Recursos Humanos

Finanças

Segurança Pública

Orçamento e Planejamento

Gestão

Gestão de conteúdo

VI EBTS


Apresentação

A Prodemge – DDS

Diretoria de Desenvolvimento de Sistemas

Estrutura da Diretoria de Desenvolvimento de Sistemas (Resumida)

SSC SSD SSO SAS

GSS

GSM GSO

GST

GSA

GPS

GPR

GSH GSC

VI EBTS

SCS

GDI

GCJ

GTS


Apresentação

A Prodemge – A Fábrica de Software

A fábrica de software foi criada há 5 anos e tem 115 colaboradores.

É segmentada em 3 gerências e um núcleo de subcontratação (núcleo administrativo)

Atende as demais gerências da empresa (especificação) na construção e testes

sistemas em plataforma baixa (Java, PHP e dot Net) e também na construção de sítios,

intranets e portais corporativos

VI EBTS

Superintendência de Fábrica de Software

Gerência de Construção

Diversos

Gerência de Construção Java

Gerência de Testes de Software

Núcleo de Subcontratação


Apresentação

A Prodemge – A Fábrica de Teste

A Fábrica de teste está implantada há quase 2 anos

Conta atualmente com 30 profissionais, sendo 20% estagiários

Capacidade média mensal de testes funcionais 1000 PF (2012)

01 CTAL-TM, 08 profissionais certificados CFTL e 02 certificados CBTS

01 profissional habilitado como consultor de implementação do MPT.BR (OUT/2011)

VI EBTS

Superintendência de Fábrica de Software

Gerência de Construção

Diversos

Gerência de Construção Java

Gerência de Testes de Software

Núcleo de Subcontratação


Agenda

• Apresentação


• Desafios

• Implantação da Fábrica de Teste

• Resultados



• Conclusão

VI EBTS


O cenário inicial dos testes

“Eu já vi este bug antes” – Déjà vu

“A aplicação estava funcionando na versão anterior” – Síndrome do Casamento

“Eu sempre fiz deste jeito” – Síndrome da Gabriela

“Este bug não é bug! ” – Ser ou não ser ?

“ Não temos tempo para testar tudo mesmo” - Deus Deadline

“ Terei que fazer uma melhoria por causa do teste” - Caso Patológico

VI EBTS


• Os testes eram baseados apenas nos requisitos funcionais, e de forma superficial pelo fato de não ter métricas para planejar os prazos de testes.

Não existia equipe de teste

independente

• A ausência de uma atividade de teste para avaliar o funcionamento básico da aplicação não era realizado. Desta forma no caso de aplicações compiladas, a posterior manutenção era comprometida pelas “bibliotecas esquecidas”

Problemas de manutenção das

aplicações

• Em virtude do desenvolvimento interativo incremental, ocorriam inúmeros falsos defeitos em virtudes das versões do banco de dados não estarem compatíveis, ou seja, foi utilizada a versão X para a construção e a X’ para os testes.

Incompatibilidade de versões de BD

VI EBTS



•Os casos de testes eram elaborados de forma exploratória, sem utilizar metodologias específicas de testes e isto onerava e muito o prazo do projeto, em virtude da responsabilidade ser da equipe de especificação.

Inexistência da Documentação de

Teste

• Dificuldade de entendimento e de reprodução dos erros, o que gerava um grande atraso na correção dos defeitos

Falta de padronização no relato de defeitos

• Não existia um processo de testes completo, era apenas uma atividade descrita no processo de desenvolvimento, e que era executada após o codificação da aplicação. A execução era somente manual;

Ineficiência e baixa cobertura dos

testes

VI EBTS


Agenda

• Apresentação


• Desafios


• Resultados



• Conclusão

VI EBTS


Desafios

A empresa buscava na área de desenvolvimento

Maior agilidade no processo

Cumprir 100% dos prazos acordados

Melhorar a qualidade do software construído

E o cliente?

Sistema Usuário interage com o sistema

SIMPLIFICAR O PROCESSO:

VI EBTS


Desafios

Paradoxo: Simplificar os processos existentes e Implantar um novo processo de qualidade ?

Qual seria a melhor alternativa?

Os testes deveriam ser automáticos

VI EBTS


Desafios

Cinco principais ações:

1. Buscar um patrocinador para o projeto de Fábrica de Teste na empresa, com teria por objetivo atender as demandas de projetos de plataforma baixa da Prodemge;

2. Interiorizar a importância dos testes em todo o processo de desenvolvimento e não apenas como uma parte do ciclo do mesmo;

VI EBTS


Desafios

Cinco principais ações:

3. Implantar um processo de testes compatível com o processo de desenvolvimento da empresa;

4. Ter capacidade de atendimento de todas as demandas de plataforma baixa das áreas;

5. Demonstrar o ROI da implantação da fábrica de teste;

VI EBTS


Agenda

• Apresentação


• Desafios


• Resultados



• Conclusão

VI EBTS


Implantação da Fábrica de Teste

Doze passos para a implantação:

1. Definição de terminologias

2. Identificação dos serviços a serem prestados

3. Definição de métricas dos serviços prestados para

planejamento e acompanhamento de produtividade

4. Especialização dos papéis da equipe

5. Elaboração do processo completo e detalhado

VI EBTS



8. Elaboração de Guias para a execução dos procedimentos para

execução das atividades

9. Definição de um ambientes de testes compatível com o

ambiente de homologação

10.Avaliação de ferramentas disponíveis no mercado

VI EBTS




11. Elaboração de documentos administrativos para controle

(solicitação, parecer, etc)

12. Definição de indicadores para busca contínua da melhoria do

processo

VI EBTS



Definição de Terminologias

GLOSSÁRIO PADRÃO DE TERMOS UTILIZADOS EM TESTE DE SOFTWARE (55 páginas) Versão 1.3br (01 de Julho de 2007) Produzido pelo “Glossary Working Party” International Software Testing Qualification Board Editor Erik van Veenendaal (Holanda) Notificação do Detentor dos Direitos Autorais Este documento poderá ser copiado na íntegra ou em parte desde de que haja menção à sua fonte.

VI EBTS


Identificação dos serviços a serem prestados

Teste Unitário

Teste Integrado

Fábrica de Software

Checklist de ERSw

Checklist de Casos de

Testes

Elaboração de Casos de

Testes

Inspeção de Código Fonte

Smoke Test

Teste Funcional

Automação de Teste

Fábrica de Teste

Teste de Desempenho

Teste de Stress

Teste de Segurança

Área de Segurança

Teste de Carga

Área de Produção

VI EBTS



Definição de métricas dos serviços prestados para planejamento e acompanhamento de produtividade

Métrica de Produtividade: PF

Taxa de entrega: 90%

Exemplo de cálculo: Elaboração de casos de testes

Fonte: UNILASALLE - TCC 2009 – Tatiana Brezezinski

VI EBTS



Especialização dos papéis da equipe

Coordenador de Testes

Analistas de

Testes

Arquiteto de Testes

Testadores Automatizadores

Gerente de

Testes

Teste Líder

VI EBTS



Elaboração do processo detalhado

VI EBTS



Elaboração de guias de procedimentos para a execução das atividades

- Guia para Elaboração de Casos de Testes

- Guia de Configuração de Ambiente

- Guia para Inspeção de Código Fonte

- Guia do Smoke Test

- Guia dos Testes Funcionais

(Padronização de relato de defeito / Testes exploratórios)

- Guia para Automação de Testes

VI EBTS



Definição de um ambiente de testes compatível com o ambiente de homologação

VI EBTS



Avaliação das ferramentas disponíveis no mercado

VI EBTS



Elaboração de documentos administrativos para controle

- Solicitação de Testes

- Parecer Smoke Test

- Parecer Teste Funcional

- Check-list ERSw

- Check-list Casos de Testes

VI EBTS



Definição de indicadores para busca contínua da melhoria do processo

Evolução e amadurecimento da cultura de testes Maturidade

Menor ciclo de estabilização dos sistemas de negócio Restrição

Maior volume de testes gerenciados pelos Analistas Produtividade

Menor volume de defeitos “não-procedentes” Confiabilidade

Maior precisão na detecção de defeitos Eficácia

Menor custo de execução dos testes Custo

Menor tempo de execução dos testes Prazo

Maior volume de casos de testes Qualidade

IMPACTO DA FÁBRICA DE TESTE INDICADOR

VI EBTS


Agenda

• Apresentação


• Desafios


• Resultados



• Conclusão

VI EBTS


Resultados

• Aplicações mais estáveis (melhora da qualidade do

produto)

• Diminuição significativa dos defeitos no ambiente de

produção (redução de custos)

• Melhora significativa dos artefatos entregues para o

desenvolvimento dentro dos padrões estabelecidos pelo

processo (Ponto de controle de qualidade)

Na prática

VI EBTS


Resultados

• Redução das dúvidas dos desenvolvedores em virtude

dos relatos dos incidentes (tempo de correção dos defeitos)

• Geração de script de testes funcionais para testes de

desempenho (Integração e otimização do processo entre

áreas)

• Automação de aplicações críticas (redução drástica de

retrabalho)

Na prática

VI EBTS


Resultados

Exemplo de projeto

Projeto em plataforma baixa : 400 PF aproximadamente

63%

28%

9%

Percentual de incidentes encontrados por área

Área de Testes

Área de Especificação (Negócio)

Cliente

VI EBTS


Resultados

O grande resultado

A Fábrica de Teste tornou-se

fundamental na proposta de

melhoria contínua de qualidade de

software da PRODEMGE.

VI EBTS


Agenda

• Apresentação


• Desafios


• Resultados



• Conclusão

VI EBTS


Melhores práticas 1. Não testarás sem documentação

2. Honrarás os casos de testes

3. Validarás o banco de dados

4. Realizarás a inspeção de código

5. Controlarás o ambiente de testes

6. Registrarás todos os incidentes

7. Não marretarás os dados dos testes

8. Evitarás reteste manual

9. Nem tudo automatizarás

10.O processo sempre seguirás

VI EBTS


Agenda

• Apresentação


• Desafios


• Resultados



• Conclusão

VI EBTS


Próximos passos

- Avaliação do MPT.BR (melhoria de processo)

- Adoção da métrica de Ponto de Teste (esforço e cobertura)

- Aquisição de um suíte de teste (integração)

- Execução de teste automatizado programado (sistemas críticos)

- Edital de contratação de fábrica de testes (sazonalidade)

- Teste de Baseado em Risco (estratégia de teste)

- Análise Preditiva de Testes(precisão no prazo do ciclo de teste)

- Teste de Acessibilidade (ampliar atuação)

VI EBTS


Agenda

• Apresentação


• Desafios


• Resultados



• Conclusão

VI EBTS


Conclusão

“Não se pode enxertar qualidade em um produto de software mal construído apenas com teste, mas também não é possível construir um produto com qualidade sem teste e análise”

Mauro Pezzè e Michal Young

VI EBTS


Conclusão

OBRIGADO ! Welington Costa Monteiro

[email protected]

(31) 3915-4467

VI EBTS

welingtonmonteiro

twitter/fabricadeteste

pages/fabricadetestes

mailto:[email protected]

http://www.google.com.br/imgres?imgurl=http://ibxk.com.br/materias/3003/8766.jpg&imgrefurl=http://www.tecmundo.com.br/3003-como-usar-o-twitter-pelo-celular.htm&usg=__ndhwf719PrqkUWYp7ldngMz7E2Y=&h=250&w=250&sz=32&hl=pt-BR&start=17&zoom=1&tbnid=SH_oEVcTcHSGCM:&tbnh=111&tbnw=111&ei=OCqGT-yZHeO18AHP083DCA&prev=/search%3Fq%3Dtwitter%26hl%3Dpt-BR%26sa%3DX%26biw%3D1280%26bih%3D603%26tbm%3Disch%26prmd%3Dimvns&itbs=1

http://www.google.com.br/imgres?imgurl=http://preparednesspro.files.wordpress.com/2008/12/facebook-logo-jpg.jpg&imgrefurl=http://preparednesspro.wordpress.com/about-preparedness-pro/facebook-logo-jpg/&usg=__QEvJ3PuPuf6OFZluV9MokNtHa_8=&h=256&w=256&sz=26&hl=pt-BR&start=2&zoom=1&tbnid=WkOhaDYI6IAkoM:&tbnh=111&tbnw=111&ei=TCuGT76XFeyJ8gHa5JXBCA&prev=/search%3Fq%3Dlogo%2Bfacebook%26hl%3Dpt-BR%26sa%3DX%26biw%3D1280%26bih%3D603%26tbm%3Disch%26prmd%3Dimvns&itbs=1

vi ebts implantação de fábrica de teste - desafios, resultados e melhores práticas

Documents