Инструменты автоматизации тестирования – дефективные

Дмитрий Химион. Performance Lab

Дмитрий Химион руководитель направления

автоматизации тестированияPerformance Lab

Skype: Picasso-Key Email: d.khimion@pflb.ru

Докладчик на конференциях:– SQA Days 13– ITSM Forum– SQA Days 14– SQA Days 1524 проекта по автоматизации тестирования

+4 проекта - прототипы инструментария АТ

План доклада

• «Горе от ума» - flash back SQA Days 14• Из чего состоят инструменты• Аспекты и критерии оценки инструментов• Разложим инструменты по критериям• А что нам надо от инструментов?• «Интеграционный стандарт»• Итоги• Вопросы и ответы

«Горе от ума» - flash back SQA Days 14

Единая системаавторизации

«Горе от ума» - flash back SQA Days 14

«Горе от ума» - flash back SQA Days 14

«Горе от ума» - flash back SQA Days 14

Мониторинг качества

разработки

Из чего состоят инструменты?

• Язык разработки тестов• Удобство разработки• Инструментарий отладки

IDE

• Интеграция с «внешним миром»• ОбработчикиAPI• «Object spy» – захват объектов• Взаимодействие с технологиями• Работы с процессами

Platform

• Управление записью• Автоматическое определение элементов• Форматирование тестов

Record&Play

• Параметризация• Управление тестами• Запуск/прерывание

Test management

• Файловые расширения• Настройка и дополнение логовLogs/Reports

Модули оценки инструментов

IDE API

Platform Record&Play

Test management Logs/Reports

TO

Привет!

Размерность оценки критериев

КритерийОценка

-1 0 1

Рефакторинг       

Работает только после серьёзных доработок

Пользоваться можно, но надо явно доработать

Приемлемое качество работы

Вроде норм

КритерийОценка

-2 -1 0 1

 Рефакторинг        

КритерийОценка

-1 0 1

Рефакторинг       

Функционал в инструменте существует номинально

А ведь факт

Размерность оценки критериев

Рассмотрим критерии

IDE

Критерий ОценкаНавигация по коду  Рефакторинг кода  Подсветка синтаксиса  Интеграция с Bug tracker/VCS/CI  Кастомизация  Инструментарий отладки  Язык описания теста  

-5 из +7

Блокнот!

API

Критерий Оценка

DDT/KDT/ODT  

Надёжность работы API  

Скорость работы API  

Расширение API  

-1 из +4

Рассмотрим критерии

Platform

Критерий ОценкаВзаимодействие с 1 технологией  Взаимодействие с 2-3 технологиями  Взаимодействие с всеми заявленными технологиями  Распознавание элементов интерфейса  Взаимодействие с процессами  

-1 из +5

Рассмотрим критерии

Platform

Критерий ОценкаВзаимодействие с 1 технологией  Взаимодействие с 2-3 технологиями  Взаимодействие с всеми заявленными технологиями  Распознавание элементов интерфейса  Взаимодействие с процессами  

-1 из +5

Рассмотрим критерии

Record&Play

Критерий ОценкаЗапись тестаКачество записанного кодаВоспроизведение тестаАвтоматическое определение элементовФорматирование записанного теста

-3 из +5

Рассмотрим критерии

Test management

Критерий ОценкаПараметризация тестов  Комбинирование/предицирование тестов  Механизм управления запуском тестов  Прогон тестов по расписанию/триггеру  Механизмы прерывания теста

-2 из +5

Рассмотрим критерии

Logs/Reports

Критерий Оценка

Глубина по разделению ошибок  Доступные расширения  Оптимизация объёма лога  Расширение информативности лога  

-3 из +4

Рассмотрим критерии

Сводка по результатам оценки

IDE

API

Platform

Record&Play

Test management

Logs/Reports

-5

-1

-1

-3

-2

-3

Что нам надо от инструментов?

IDE

API

Platform

Record&Play

Test management

Logs/Reports

-5

-1

-1

-3

-2

-3

Что нам надо от инструментов?

IDE

API

Platform

Record&Play

Test management

Logs/Reports

-5

-1

-1

-3

-2

-3

«Интеграционный стандарт»

• Универсализация «непригодных» модулей инструментов:– Test development (record&play)– Test management– Logs/Reports– Handlers for API

AT tool

Test management

LogsReports

Handlersfor API

System Under Test

Итоги

• Интеграция инструментов в среды разработки• Эволюция инструментов автоматизации в составной конструктор• Составляющие инструментов – отдельные решения• Развитие механизмов тестирования в сторону генерации тестов• Ориентация градации ошибок на стандарты типа ISO

Вопросы и ответы

• Контакты: Skype: Picasso-Key Email: d.khimion@pflb.ru

?

Большое спасибо!

• Контакты: Skype: Picasso-Key Email: d.khimion@pflb.ru

The dark side of automation tools hides very much job