vvteste: ambiente de geração e gerenciamento de testes e ... · leitura do arquivo de script da...
TRANSCRIPT
Marcos Flávio S. Reis – IBTA
Ana Maria Ambrosio – INPE
Maurício G. Vieira Ferreira – INPE
1
VVTeste: Ambiente de geração e gerenciamento de
testes e de defeitos como apoio aos processos de
Verificação e Validação do MPS.br
WAMPS 2012 -VIII WORKSHOP ANUAL DO MPS – 24 de outubro de 2012
Criar um ambiente integrado, alinhado as normas de desenvolvimentode software, que apoiasse as atividades de Verificação e Validaçãoatravés da geração e do gerenciamento de testes e da gestão dedefeitos, mantendo uma base de conhecimento de testes de softwareúnica, capaz de gerenciar dados históricos e auxiliar emplanejamento de novos projetos de testes.
Objetivo definido
4
Ferramenta responsável pela criação dos casos de testes.
Passos:
1. As máquinas são modeladas no Modelador de Máquinas de Estados.
2. As máquinas são processadas na Condado e os casos de testes são gerados.
3. Os arquivos com os casos gerados são salvos.
Condado
11
Módulo Integração Condado x TestLink
Passos
1. Leitura do arquivo de Script da Condado.
2. Definição dos dados comuns dos casos de testes, que são: Prefixo, Número inicial da sequência de casos, resumo e pré-requisitos.
3. Definição de até cinco palavras chaves.
4. Definição do local onde o arquivo XML deve ser salvo.
MICT
12
Já com a personalização feita na TestLink, os casos de testes são importados em suítes de testes.
Passos
1. Criar uma suíte de testes.
2. Acionar a importação de casos de testes da Ferramenta utilizando o arquivo XML gerado pelo MICT.
3. Definição das informações dos campos personalizados.
TestLink - Importação dos casos de
testes
13
Durante todo o andamento do projeto de testes, as duas ferramentas são utilizadas para gerenciamento dos testes e dos defeitos encontrados.
TestLink & Mantis
14
Módulo Aquisição de Dados.
Passos
1. Conectar aos bancos de dados do TestLink e do Mantis.
2. Definir os projetos que serão exportados.
3. Definir o local de gravação dos arquivos.
4. Processar e gerar os arquivos XMLs com as informações dos projetos de testes
MAD
15
Módulo Inclusão de Dados.
Passos
1. Selecionar os arquivos XMLs do TestLink e da Mantis
2. Processar e incluir/atualizar as informações na base de conhecimento.
MID
16
Módulo Consulta de Dados.
Passos
1. Escolher uma consulta pré-definida ou definir uma personalizada.
2. Processamento dos dados e exibição dos gráficos.
MCD
18
Verificação
20
Verificação
VER1
VER2
VER3
VER4
VER5
VER6
O que? Espera-se que os produtos que serão avaliados sejam localizados eescolhidos.
No caso da Verificação, essa informação pode ser adquirida do plano doprojeto ou dos requisitos descritos. Na Validação, a importância para ocliente e a complexidade das funcionalidades é considerada durante essaidentificação.
Como? Os requisitos são consultados ou alterados na ferramenta TestLink. Outrofator importante, é que informações de projetos anteriores podem seradquiridas tanto na TestLink como na Base de conhecimento para ajudar aavaliar a complexidade dos produtos de trabalho
VER1 - Produtos de trabalho a serem verificados são identificados
Verificação
21
O que? Como o próprio nome já diz, este é o momento de realizar o planejamento. Tanto a Validação como na Verificação, a técnica de teste é citada como forma de realizar essas avaliações.Para que o teste possa ser executado, os casos de testes precisam ser criados, registrados e estarem disponíveis aos envolvidos.A divisão dos trabalhos entre os envolvidos também é uma atividade importante, pois interfere no cronograma.
VER2 - Uma estratégia de verificação é desenvolvida e implementada, estabelecendo cronograma, revisores envolvidos, métodos para verificação e qualquer material a ser utilizado na verificação
Verificação
VER1
VER2
VER3
VER4
VER5
VER6
Verificação
22
Verificação
VER1
VER2
VER3
VER4
VER5
VER6
Como? As ferramentas auxiliam em algumas atividades desses processos. Além disso, o ambiente foca apenas na técnica de teste. O objetivo é gerar subsídios para a preparação da estratégia de V&V. Para a geração dos casos de testes o ambiente disponibiliza a ferramenta Condado para os produtos de trabalho que possam ser modelados através de MEFEs. Neste caso, eles são criados automaticamente e integrados à ferramenta de gerenciamento dos testes, a TestLink.O VVTeste, via a TestLink tem um papel muito importante nessa atividade, porque além de consumir os casos de testes gerados pela Condado, ele permite que outros casos sejam descritos. Além disso, ele também permite a divisão do trabalho entre os envolvidos na avaliação.Todas as informações referentes aos métodos adotados e informações da estratégia adotada que esteja diretamente ligada à execução da avaliação são descritas na Testlink, a qual pode ser facilmente consultada por todos os membros envolvidos.
VER2 - Uma estratégia de verificação é desenvolvida e implementada, estabelecendo cronograma, revisores envolvidos, métodos para verificação e qualquer material a ser utilizado na verificação
Verificação
23
Verificação
VER1
VER2
VER3
VER4
VER5
VER6
O que? Para essas atividades espera-se que todas as informações e estruturasnecessárias para a avaliação dos produtos de trabalhos sejam definidas, issoinclui os critérios e procedimentos de testes, ferramentas de apoio paraplanejamento, gerenciamento e execução dos testes e a infraestrutura ehardwares necessários.
Como? Os critérios e procedimentos podem ser armazenados no VVTeste, via a TestLink, juntamente com cada um dos casos de testes gerados.Conforme descrito pelo modelo, os aspectos importantes para o ambiente estabelecido é que ele seja capaz de gerenciar o planejamento e a execução dos testes. Isso também pode ser feito através da TestLink.Este ambiente não contempla nenhuma forma automatizada de execução dos testes, pois normalmente este tipo de ferramenta depende muito da arquitetura utilizada no desenvolvimento do software, sendo assim, caso a organização deseje automatizar a execução, deverá avaliar uma ferramenta que atenda as características do produto.
VER3 - Critérios e procedimentos para verificação dos produtos de trabalho a serem verificados são identificados e um ambiente para verificação é estabelecido
Verificação
24
Verificação
VER1
VER2
VER3
VER4
VER5
VER6
O que? Espera-se que todo o planejamento realizado seja executado, utilizandodiversas técnicas, que segundo o modelo, inclui obrigatoriamente os testes eas revisões por pares para aVerificação.
Como? Durante a execução das atividades as informações são consultadas e dirigidasno VVTeste, através da TestLink. Nela os executores registram quais os casosde testes foram executados com sucesso, quais falharam e os que foramimpedidos de serem avaliados. O gerente acompanha, através dos gráficos edas interfaces da TestLink, o andamento das atividades e compara oandamento cronograma estipulado.
VER4 - Atividades de verificação, incluindo testes e revisões por pares, são executadas
Verificação
25
Verificação
VER1
VER2
VER3
VER4
VER5
VER6
O que? Este resultado espera que todos os problemas encontrados sejam documentos e que sejam definidos quais serão tratados.Ressalta a importação do acompanhamento do problema até a sua conclusão, apesar de estabelecer que a organização tenha liberdade para não corrigir todos os problemas, de acordo com os seus critérios de avaliação.
Como? O VVTeste, via a Mantis, registre esses defeitos. A integração entre TestLinke Mantis, permite relacionar os casos de testes aos defeitos encontrados. AMantis permite o acompanhamento do defeito/problema até a suaresolução, aumentando a segurança sobre os relatos registrados.
VER5 - Defeitos são identificados
Verificação
26
Verificação
VER1
VER2
VER3
VER4
VER5
VER6
O que? Tem a finalidade de avaliar os resultados obtidos durante a verificação/validação.Os envolvidos devem responder perguntas do tipo:- Os critérios definidos foram satisfeitos?- As ações corretivas planejadas foram concluídas?- A verificação/validação foi executada conforme planejado?- Os resultados obtidos permitem a aprovação do artefato?
Como? As ferramentas Mantis e TestLink disponibilizam diversos relatórios e gráficos que auxiliam na análise dos resultados.Além disso, através da Base de conhecimento e do módulo MCD, as resultados podem ser analisados de outras formas, inclusive comparando com projeto ou baterias de testes anteriores.
VER6 - Resultados de atividades de verificação são analisados e disponibilizados para as partes interessadas
Conclusões
28
� Conceitos de planejamento e execução de testes e ferramentas livres interligadas, gerando uma base de conhecimento de testes.
� Análise mais apurada do processo de testes de software
� Informações são utilizadas como base histórica e lições aprendidas para projetos futuros.
� Ferramentas OpenSource.
� MPS.Br.