8-я Международная конференцияСанкт-Петербург, Россия

Нерелизное тестированиеЕвгения Фирсова

Когда релизы – это слишком медленно

Большим релизам – нет:

• Процессы в разработке:

• объём работ – до 70 новых задач в месяц;

• распараллеливание – до 10 потоков

одновременно.

• Организационные особенности:

• периодическая смена приоритетов;

• календарные ограничения релизов.

Нерелизное тестирование

Предмет, объект, основание

Одновременно в тестировании:

• релиз1:

• задача 1;

• … пакет

• задача N1:

• …

• релиз N:

• задача NN.

Нерелизное тестирование

Куда идёшь, путник?

Фиксируем цели для ОТ:

• Адекватный задаче выбор

требуемого уровня качества.

• Минимизация времени

на подготовку релизов.

• Совместное с разработкой планирование.

Нерелизное тестирование

Оценка переданного в ОТ релиза

Критерии готовности:

• окончательность постановки;

• вероятность незапланированных

изменений после начала тестирования;

• полнота сборки пакета;

• ожидания по каждой задаче;

• планируемое перетестирование.

Нерелизное тестирование

Оценка переданного в ОТ релиза

Параметры релиза:

• приоритет, срочность, дедлайны;

• вероятность, что релиз будет отложен;

• обязательность/наличие тест-плана;

• доступность оптимального ресурса

(в ОТ и разработке);

• нетестируемый функционал:

• если тестирование невозможно;

• если тестирование не нужно.Нерелизное тестирование

Что тестируем на самом деле?

Подлежит проверке:

• типизация изменений: логические,

интерфейсные, …;

• реализация, меняющая глобальное

поведение компонент;

• «рубильники», способы выкладки и отката;

• предчувствия и сомнения разработчика.

Нерелизное тестирование

Пора начинать?

Выбор момента для начала тестирования:

• рассчитывая длительность тестирования:

• опыт аналогичных задач;

• скорость закрытия багов;

• процессы в реальном времени;

• асинхронные процессы;

• длительность регрессионного тестирования;

• как можно ближе к дате возможной выкладки.

Нерелизное тестирование

Остановиться и подождать

Тестировщики могут ждать:

• готовность релиза;

• и релизов всех связанных компонент;

• наличие необходимых ресурсов

(люди, сервера, настройки, деньги, …);

• исправление найденных ошибок;

• помощь в воспроизведении проблем;

• экспертная оценка источника проблем;

• выкладки.Нерелизное тестирование

Считаем цыплят

Результат тестирования:

• основание для смены постановки;

• отмашка на выкладку;

• список багов;

• отдельно неисправленные в данном релизе;

• тест-план для регрессионного тестирования.

Нерелизное тестирование

За счёт и вопреки

Стоимость скорости:

• перетестирование:

• если пакет устарел;

• после рефакторинга;

• перед выкладкой;

• отсутствие/написание «задним числом» тест-планов;

• частое переключение между релизами;

• частичная передача проверок разработчикам;

• наконец, скорость тестирования.Нерелизное тестирование

Уточнения? Вопросы?

Нерелизное тестирование

saigo@yandex.ru – задать любые вопросы

www.control-freak.ru – почитать подробнее об управлении версиями, задачами, проблемами и людьми