Тестирование в стиле «heavy metal*»Часть 2

* Хэви метал

Роман Ивлиев

2

Если это все-таки случилось, то

как же быть?

3

Как же быть?

Во-первых,

посчитаем

4

Как будем считать

•Учет ограничений бюджета или

сроков.

•Аналогия с предыдущими проектами.

•Экспертная оценка.

•Декомпозиция работ.

•Эмпирические оценки.

5

Что будем учитывать, чтобы не промахнуться

•Неполноту требований.

•Непредусмотренные проблемы,

связанные с изменением оборудования.

•Непредусмотренные проблемы,

связанные с использованием 3rd party.

•Условное время выполнения задачи.

•Время на интеграцию.

•Время на подготовку персонала.

6

Как же быть?

Во-вторых,

добавим гибкости

7

Тестирование спешит на помощь

8

Two test or not too test

Тестируем только то, что необходимо

Тестер: «Я нашел баг, самолет

не умеет летать задом на

перед»

PM: «А с чего ты взял, что он

должен это делать?»

9

О пользе и вреде Unit-тестов

Польза

•Unit-тест показал,

что код работает.

•Unit-тест – верный

путь к

автоматизации.

Вред

•Unit-тест показал,

что код работает

именно там, где его

выполнили;

поэтому...

10

Трассировка всего на все

Трассируем:

• код на требования,

• код на железо,

• код на тесты,

• тесты на железо,

• софт на железо,

• софт на код,

и т.д.

11

Конфигурационное тестирование

И

уделяем кучу

внимания

конфигурационному

тестированию

12

Чистота – залог успеха - 1

Ищем сразу, иначе:

• сложнее искать,

• сложнее исправлять,

• сложнее

перепроверить.

13

Чистота – залог успеха - 2

Перепроверяем сразу после

исправления, иначе:

•сложнее искать,

•сложнее перепроверить,

•«а был ли мальчик?» (с)

14

Готово = сделано + протестированно

То, что сделано, но не

проверено:

•портит статистику,

•вводит в заблуждение,

•это неправда .

15

Как же быть?

В-третьих,

«повторение – мать учения»

16

Автоматизация всего, что можно автоматизировать

Обширное ручное тестирование для

встраиваемых проектов достаточно

сложно, если вообще возможно, поэтому:

•ручное тестирование только для того,

чтобы потом его автоматизировать;

•ручное тестирование только там, где нет

возможности его автоматизировать.

17

Два типа тестирования

Пакетный запуск

До первого падения

18

Тестовые лаборатории

Пример архитектуры тестовой лаборатории

19

В результате…

20

В результате-1

•Тратим время, чтобы оценить

заранее и не тратить время потом.

•Следим за «чистотой».

•Думаем и тщательно выбираем,

перед тем, как броситься нажимать

кнопки.

21

В результате-2

•Трассируем все на все.

•Пробуем построить атоматизированный

стенд.

•Накапливаем и расширяем автотесты.

•Если удалось автоматизировать -95+% -

очень хорошо.

•Гоняем автотесты в двух режимах.

22

В результате-3

Надеемся и верим

23

Спасибо за внимание!

С уважением,

Роман Ивлиев

E-почта: Roman.ivliev@mail.ru

http://dumtest.livejournal.com