Лилия Зданевич "automation testing save time and money"

19
AUTOMATION TESTING. Saves time and money, isn’t it? Liliya Zdanevych DataArt

Upload: dataart

Post on 27-Jul-2015

108 views

Category:

Education


0 download

TRANSCRIPT

Page 1: Лилия Зданевич "Automation testing save time and money"

AUTOMATION TESTING.

Saves time and money, isn’t it?

Liliya Zdanevych

DataArt

Page 2: Лилия Зданевич "Automation testing save time and money"

About meLiliya Zdanevych

Sr. Automation QA

at DataArt 7+ years of professional expertise in the Information Technologies (IT) industry

• Programming and Markup Languages:• Java, Groovy, Ruby, XPath, HTML, Unix shell, Windows batch file, XML, JS

• Testing Environment:• Selenium RC/WebDriver, JUnit, TestNG, SoapUI, Robotium, JMeter, Thucydides, Cucumber,

Mockito, Appium, Protractor, WebDriverJS, Jbehave, easyb.

Page 3: Лилия Зданевич "Automation testing save time and money"

Save time

• Functional testing;

• Integration testing;

• Regression testing (change request, defect fix, refactoring);

• Stress testing;

• Performance;

Page 4: Лилия Зданевич "Automation testing save time and money"

Save time && money

• Repeatability :

• Run tests after each commit to development branch;• Run tests when pull request created;• Run nightly tests;• Run smoke tests on production;• Run tests when environment was upgraded;• Run tests when libs upgraded;

- It avoids the risk of human errors!

- It is sufficiently inexpensive!

Page 5: Лилия Зданевич "Automation testing save time and money"

Save time

•Reusable

• Reuse steps;• Generate new scenarios using different combination of steps;• Create alternate scenarios;

Page 6: Лилия Зданевич "Automation testing save time and money"

Save time

Logs and Reports:

• Add good logs;• Generate test results reporting;

• Defect reporting;• Automatically gather all data from any application, legacy system,

web, or internal database;• Share reports automatically;

Page 7: Лилия Зданевич "Automation testing save time and money"

Save time

Write tests using tests cases or requirements:

• Tests verify all the requirements of the software being tested;• Every statement is easy to understand; • Support for data-driven testing;

Page 8: Лилия Зданевич "Automation testing save time and money"

Save time & money

Speed:

• Automation tests are faster than human testing;• Automate all routine actions (build, environment configuration, database

injections);

Page 9: Лилия Зданевич "Automation testing save time and money"

Save time && money

Increase Coverage

• Testers can create a test suite with tests to cover every feature within the application;• Tests can be run with different configurations;• Tests can be run on multiple computers;• Tests can be run in parallel;

Page 10: Лилия Зданевич "Automation testing save time and money"

Save time && money

In the same time:

• Tests are working in the same time manual tester learn;

• Manual tester tests new functionality while computers test existing functionality;

Page 11: Лилия Зданевич "Automation testing save time and money"

Save time && money

Education:

• Tool training;• Workshops;• Mentoring;

Page 12: Лилия Зданевич "Automation testing save time and money"

Save your interest

• Interest in implementing automated testing;

• Independence;

• Everyone can see results;

• Nobody wants to keep filling the same forms each time;

Page 13: Лилия Зданевич "Automation testing save time and money"

Cost Benefits Analysis of Test Automation

Simple ROI ( Automation Return-on-Investment) - Monetary Savings of Automated Execution vs Manual Execution

ROI автоматизации = (X-Y) / Y;

Где:X – затраты на ручное тестирование.Y – затраты на автоматизацию.

Прибыль = ( X – Y) * N;

X – время на ручное тестирование.Y – время на выполнение авто-тестов.N – кол-во запусков за определенный промежуток времени.

Page 14: Лилия Зданевич "Automation testing save time and money"

Why we hate automation testing?

• Tests break too often when developer change something in existed functionality;

• Pass or fail results may not be reliable;

• Lost application errors;

Page 15: Лилия Зданевич "Automation testing save time and money"

IF I am manual QA engineer, how to start?

С чего начать изучение автоматизации?

Должны ли тестировщики уметь кодировать?

С чего автоматизация должна начинаться?

Test Design и его влияние на автоматизацию?

Что именно мы хотим автоматизировать?

Page 16: Лилия Зданевич "Automation testing save time and money"

Wish

Page 17: Лилия Зданевич "Automation testing save time and money"

The applicability of automation

Проект в котором автоматизация нужна (Много функционала, работа с большими объёмами данных, permissions, рутинные операции, исключение человеческого фактора, возможность быстро проверить функционал на разных платформах\браузерах)

Проекты, для которых автоматизация не нужна (POC(в которых функционал неустоявшийся, постоянно меняющийся), короткие проекты, трудоемкость автоматизации)

Page 18: Лилия Зданевич "Automation testing save time and money"

Start Automation Testing Выбор инструмента автоматизации

Выбор языка программирования ООП Регулярные выражения (для разбора текста или output) Xpath/css SQL

Определиться какую часть приложения\функционала автоматизировать.

Оцените по времени сколько займет тот или иной тест или покрытие фичи в целом

CI (визуализируйте выполнение)

Рефакторинг

Код ревью

Просите о помощи

Логирование

Отчеты

Page 19: Лилия Зданевич "Automation testing save time and money"

Automation is about making our lives easier