getting maximum from testing automation
TRANSCRIPT
Получаем максимум от автоматизации
Антон СиротаSkype: Yader-2007
Обо мне
Тимлид группы автоматизации
Активный спикер QA Talk в Херсоне, Одессе и Львове
Докладчик QA School в Херсоне
Создатель менторских программ, а также ментор
QA Automation в компании
Основатель и куратор внутреннего курса Thucydides
С#
Когда автоматизация считается успешной?
Автотесты не пропускают баги
Не более 5% рандомно падающих тестов
Все тесты успевают пробежать за ночь (до 10ч.)
Имеем чистую и доступную для всех отчетность
Автотесты покрывают большую часть тестовых
сценариев
Каждый раз тестировать руками долго
Нужны автоматическ
ие тесты
С чего все начиналось
JenkinsMavenTestNGSelenium RCJava
Как все начиналось
Был Selenium RC который все действия делал через JS
Были “какие-то” автотесты
Автотесты гонялись, но мы все-равно проходили все
тест кейсы руками
Не было никакой отчетности
Стабильно 20% тестов падало по непонятным на то
причинам
QA мешали тестам, тесты мешали QA
Вскоре тесты стали бежать более 12ти часов
Как с этим всем бороться?
Нужно понимать причины падений быстро
Нужны логиСделали 2 уровня логирования и информативные логи при падении
Нужно понимать причины падений быстро
Давайте делать скриншотыДобавили взятие скриншота на падении и доступ к нему прямо из CI
Нужно понимать причины падений быстро
Будем сохранять всю страницуНачали сохранять всю html страницу при падении теста
Что делаем для получения качественного кода и стабильных результатов
Code Review Review board
Прогон в персональных
группах перед тем как тесты уйдут в основную группу
Нужно улучшить сам процесс
Каждый тест прикреплять к тест
кейсу
Отмечать в Test Manager все
автоматизированные тест кейсы
Автоматизировать нужные тест кейсы
Добавить ежедневную отчетность
Завести тикет
Выключить тест
Оставить тесту комментарий с номером тикета
Оставить комментарий в
тикете
Ждать когда баг устранят и
вернется тикет
Включить тест и закрыть тикет
Что делать когда тест словил баг?
Изменения в требованиях
Апдейт тест кейса
Тикет на QA Automation
команду
Апдейт автотеста
Закрыть тикет
Что делать если поменялись требования?
Все довольно таки не плохо
А посмотрим-ка на общую статистику
Dashboard View - https://wiki.jenkins-ci.org/display/JENKINS/Dashboard+View
Для заказчика также важны отчеты и прогресс
Тесты бегут долго, нужно что-то менять
Распараллеливание
Долой QA “мешающих” нашим автотестам!
А может объединим усилия?
Dev1 Dev2 QA Prod
Dev1 Dev2 QA Prod
Auto1 Auto2 QA Prod
Manual QA
Automation
А что вы делаете с результатами автотестов?
А мы больше ничего не делаем, у нас автотесты самостоятельные
Как происходит автоотмечание
+
Что имеем сейчас в результате
Автоматизация стала быстрой и налаженной
Более 60% санити и регрессии проходится автотестами
Покрыли 2700 сценариев, 300 из которых мобильные
2700 х 2 сервера = 5400 результатов тестов за ночь
От 2х то 5-ит процентов тестов валятся ночью если нет
блокеров.
Каждую итерацию имеем автоматически проставленные
результаты в тест сьютах
Чистая и подробная ежедневная отчетность
Перешли на Continuous Delivery
Continuous Delivery
Auto Manual AutoAutoAuto
Puppet Module Unit
Tests
Platform Tests
Deliver To Staging
Application Acceptance
Tests
Deploy To Production
Post Deploy Tests
