Когда стоит закончить автоматизировать?
TRANSCRIPT
![Page 1: Когда стоит закончить автоматизировать?](https://reader034.vdocuments.net/reader034/viewer/2022051404/5872cd6c1a28ab74188b45e9/html5/thumbnails/1.jpg)
Когда стоит закончить автоматизировать?
![Page 2: Когда стоит закончить автоматизировать?](https://reader034.vdocuments.net/reader034/viewer/2022051404/5872cd6c1a28ab74188b45e9/html5/thumbnails/2.jpg)
Об авторе:
- Automation QA в SoftServe- 5 лет опыта- организатор QA Dnepr community
Skype: pashidlosEmail: [email protected]
![Page 3: Когда стоит закончить автоматизировать?](https://reader034.vdocuments.net/reader034/viewer/2022051404/5872cd6c1a28ab74188b45e9/html5/thumbnails/3.jpg)
• Проблемы• Декомпозиция проекта• Синхронизация автоматизированного и ручного тестирования• Расчеты (часы/$)• Заключение• Вопросы
План
![Page 4: Когда стоит закончить автоматизировать?](https://reader034.vdocuments.net/reader034/viewer/2022051404/5872cd6c1a28ab74188b45e9/html5/thumbnails/4.jpg)
• Раздельная работа QA
• Отсутствует стратегия автоматизации
• Приоритеты не определены
• Сроки не согласованы
Проблемы
![Page 5: Когда стоит закончить автоматизировать?](https://reader034.vdocuments.net/reader034/viewer/2022051404/5872cd6c1a28ab74188b45e9/html5/thumbnails/5.jpg)
• Провели декомпозицю проекта
• Определили критичность с точки зрения системы
• Определили лучшие части для автоматизации
Что мы сделали:
![Page 6: Когда стоит закончить автоматизировать?](https://reader034.vdocuments.net/reader034/viewer/2022051404/5872cd6c1a28ab74188b45e9/html5/thumbnails/6.jpg)
Декомпозиция
![Page 7: Когда стоит закончить автоматизировать?](https://reader034.vdocuments.net/reader034/viewer/2022051404/5872cd6c1a28ab74188b45e9/html5/thumbnails/7.jpg)
Критичность функционала
• Critical• Major• Normal
![Page 8: Когда стоит закончить автоматизировать?](https://reader034.vdocuments.net/reader034/viewer/2022051404/5872cd6c1a28ab74188b45e9/html5/thumbnails/8.jpg)
Лучший функционал для автоматизации
• Как быстро можно написать тест?• Сколько времени уходит на ручной
прогон?• Код будет использован повторно?• Тест будет стабилен?
![Page 9: Когда стоит закончить автоматизировать?](https://reader034.vdocuments.net/reader034/viewer/2022051404/5872cd6c1a28ab74188b45e9/html5/thumbnails/9.jpg)
Комбинируем...
Система Автоматизация
Critical P1 P1P2
Major P2 P1P2
P1 P3Normal P2 P3
P3 P1P2P3
АвтоматизацияСистема
![Page 10: Когда стоит закончить автоматизировать?](https://reader034.vdocuments.net/reader034/viewer/2022051404/5872cd6c1a28ab74188b45e9/html5/thumbnails/10.jpg)
Чек-лист
![Page 11: Когда стоит закончить автоматизировать?](https://reader034.vdocuments.net/reader034/viewer/2022051404/5872cd6c1a28ab74188b45e9/html5/thumbnails/11.jpg)
Оценка времени для тестов
• P1: 12ч• P2: 27ч• P3: 6ч
ИТОГО: 45ч
![Page 12: Когда стоит закончить автоматизировать?](https://reader034.vdocuments.net/reader034/viewer/2022051404/5872cd6c1a28ab74188b45e9/html5/thumbnails/12.jpg)
Оценка времени для ручной проверки
• P1: 2ч• P2: 1.5ч• P3: 0.5ч
ИТОГО: 4ч
![Page 13: Когда стоит закончить автоматизировать?](https://reader034.vdocuments.net/reader034/viewer/2022051404/5872cd6c1a28ab74188b45e9/html5/thumbnails/13.jpg)
Реальные затраты при ручной проверке
В среднем два прогона тестов за релиз:
ИТОГО: 8ч
![Page 14: Когда стоит закончить автоматизировать?](https://reader034.vdocuments.net/reader034/viewer/2022051404/5872cd6c1a28ab74188b45e9/html5/thumbnails/14.jpg)
Расчеты в часахИтого P1 P2 P3
Автоматизация (ч) 45 12 27 6
Ручная проверка (ч) 8 4 3 1
Реальные цифры по регрессии (в среднем два прогона за релиз)
Количество релизов 6 3 9 6
Окупаемость автоматизации
![Page 15: Когда стоит закончить автоматизировать?](https://reader034.vdocuments.net/reader034/viewer/2022051404/5872cd6c1a28ab74188b45e9/html5/thumbnails/15.jpg)
Расчеты в деньгахQA рейт: 10$/ч
• P1: 2ч = 20$• P2: 1.5ч = 15$• P3: 0.5ч = 5$
ИТОГО: 4ч= 40$
Automation QA рейт: 15$/ч
• P1: 12ч = 180$• P2: 27ч = 405$• P3: 6ч = 90$
TOTAL: 45ч = 675$
![Page 16: Когда стоит закончить автоматизировать?](https://reader034.vdocuments.net/reader034/viewer/2022051404/5872cd6c1a28ab74188b45e9/html5/thumbnails/16.jpg)
Расчеты в деньгахИтого P1 P2 P3
Автоматизация ($) 675 180 405 90
Ручная проверка ($) 80 40 30 10
Окупаемость автоматизации
Реальные цифры по регрессии (в среднем два прогона за релиз)
Количество релизов 9 5 14 9
![Page 17: Когда стоит закончить автоматизировать?](https://reader034.vdocuments.net/reader034/viewer/2022051404/5872cd6c1a28ab74188b45e9/html5/thumbnails/17.jpg)
График окупаемости
А как же поддержка тестов?
![Page 18: Когда стоит закончить автоматизировать?](https://reader034.vdocuments.net/reader034/viewer/2022051404/5872cd6c1a28ab74188b45e9/html5/thumbnails/18.jpg)
Поддержка
+10 - 20 % каждый релиз
![Page 19: Когда стоит закончить автоматизировать?](https://reader034.vdocuments.net/reader034/viewer/2022051404/5872cd6c1a28ab74188b45e9/html5/thumbnails/19.jpg)
Расчеты с учетом затрат на поддержку
Тесты Стоимость ($) 10% ($) 20% ($)
Total 675 67.5 135
P1 180 18 36
P2 405 40.5 90
P3 90 9 18
![Page 20: Когда стоит закончить автоматизировать?](https://reader034.vdocuments.net/reader034/viewer/2022051404/5872cd6c1a28ab74188b45e9/html5/thumbnails/20.jpg)
График окупаемости с учетом поддержки
![Page 21: Когда стоит закончить автоматизировать?](https://reader034.vdocuments.net/reader034/viewer/2022051404/5872cd6c1a28ab74188b45e9/html5/thumbnails/21.jpg)
Расчет автоматизации Р1 тестовИтого P1 P2 P3
Автоматизация ($) 675 180 405 90
Ручная проверка ($) 80 40 30 10
Реальные цифры по регрессии (в среднем два прогона за релиз)
Количество релизов 9 5 14 9
Окупаемость автоматизации
![Page 22: Когда стоит закончить автоматизировать?](https://reader034.vdocuments.net/reader034/viewer/2022051404/5872cd6c1a28ab74188b45e9/html5/thumbnails/22.jpg)
Расчет автоматизации Р1 тестов с учетом поддержки
Тесты Стоимость ($) 10% ($) 20% ($)
Total 675 67.5 135
P1 180 18 36
P2 405 40.5 90
P3 90 9 18
![Page 23: Когда стоит закончить автоматизировать?](https://reader034.vdocuments.net/reader034/viewer/2022051404/5872cd6c1a28ab74188b45e9/html5/thumbnails/23.jpg)
График окупаемости Р1 тестов с учетом поддержки
P2+P3 нужно проверить вручную!
![Page 24: Когда стоит закончить автоматизировать?](https://reader034.vdocuments.net/reader034/viewer/2022051404/5872cd6c1a28ab74188b45e9/html5/thumbnails/24.jpg)
Добавляем Р2+Р3 тестыИтого P1 P2 P3
Автоматизация ($) 675 180 405 90
Ручная проверка ($) 80 40 30 10
Реальные цифры по регрессии (в среднем два прогона за релиз)
Количество релизов 9 5 14 9
Окупаемость автоматизации
![Page 25: Когда стоит закончить автоматизировать?](https://reader034.vdocuments.net/reader034/viewer/2022051404/5872cd6c1a28ab74188b45e9/html5/thumbnails/25.jpg)
График окупаемости
![Page 26: Когда стоит закончить автоматизировать?](https://reader034.vdocuments.net/reader034/viewer/2022051404/5872cd6c1a28ab74188b45e9/html5/thumbnails/26.jpg)
Пример из жизни
ПокрытиеЗатраты на
автоматизацию (ч) Тесты (ч) Поддержка (ч)Ручное
тестирование (ч) Затраты на релиз (ч)0% 0 0 96 96
33% 552 526 26 48 74
66% 1104 1051 52 16 68
99% 1,656 1577 79 4 83
![Page 27: Когда стоит закончить автоматизировать?](https://reader034.vdocuments.net/reader034/viewer/2022051404/5872cd6c1a28ab74188b45e9/html5/thumbnails/27.jpg)
График окупаемости (ч)
![Page 28: Когда стоит закончить автоматизировать?](https://reader034.vdocuments.net/reader034/viewer/2022051404/5872cd6c1a28ab74188b45e9/html5/thumbnails/28.jpg)
Расчет окупаемости ($)
ПокрытиеЗатраты на
автоматизацию ($) Тесты ($) Поддержка ($)Ручное
тестирование ($) Затраты на релиз ($)0% 0 0 960 960
33% 8280 7890 390 480 870
66% 16560 15765 780 160 940
99% 24840 23655 1185 40 1225
QA рейт: 10$/ч Automation QA рейт: 15$/ч
![Page 29: Когда стоит закончить автоматизировать?](https://reader034.vdocuments.net/reader034/viewer/2022051404/5872cd6c1a28ab74188b45e9/html5/thumbnails/29.jpg)
График окупаемости ($)
![Page 30: Когда стоит закончить автоматизировать?](https://reader034.vdocuments.net/reader034/viewer/2022051404/5872cd6c1a28ab74188b45e9/html5/thumbnails/30.jpg)
• Автоматизировать сложные для ручной проверки тесты
• Уменьшать время на поддержку тестов
• Следить за изменением затрат на регрессию
Как ускорить окупаемость автоматизации?
![Page 31: Когда стоит закончить автоматизировать?](https://reader034.vdocuments.net/reader034/viewer/2022051404/5872cd6c1a28ab74188b45e9/html5/thumbnails/31.jpg)
• Текущие затраты на регрессию (ТЗР)▪Ручное тестирование (ч/$)▪Поддержка автоматизированных тестов (ч/$)
• Ожидаемые затраты на регрессию (ОЗР)▪Ручное тестирование (ч/$)▪Поддержка автоматизированных тестов (ч/$)
Что отслеживать:
![Page 32: Когда стоит закончить автоматизировать?](https://reader034.vdocuments.net/reader034/viewer/2022051404/5872cd6c1a28ab74188b45e9/html5/thumbnails/32.jpg)
ТЗР > ОЗР
ТЗР = ОЗР
ТЗР < ОЗР
Summary
Ручное тестирование
Автоматизация
![Page 34: Когда стоит закончить автоматизировать?](https://reader034.vdocuments.net/reader034/viewer/2022051404/5872cd6c1a28ab74188b45e9/html5/thumbnails/34.jpg)