the analysis of test scenario coverage for a ucm-model

Санкт-Петербургский государственный политехнический

университет

Анализ покрытия UCM-модели

тестовыми сценариями

Никита Воинов

(доцент каф.ИУС, ИИТУ, СПбПУ;

[email protected])


университет 2

План

• Актуальные проблемы

• Нотация UCM

• Критерии покрытия UCM-модели

• Анализ покрытия UCM-модели

• Заключение



Актуальные проблемы

• Вовлеченность заказчика в процесс разработки

• Сокращение трудоемкости создания формальной

модели проектируемой системы

• Размеры современных программных систем

Требуется усовершенствование технологии тестирования на основе

моделей для решения сформулированных проблем

• Повышение качества программного обеспечения (ПО)

• Предотвращение ошибок на ранних этапах проекта

Тестирование на основе моделей



1. Исходные требования 2. UCM-модель (UCM - Use Case Maps)

Схема подхода (1)

Исходные требования на

неформальном языке

Формальная

модель

спецификации

требований и

архитектуры

3. Модель базовых протоколов

Формальная модель для

верификации

…



4. Структурирование модели и тестовые сценарии

Схема подхода (2)

Диаграмма состояний

для модели

Результирующая

трасса для модели

…

Трасса для компонента

модели

Диаграмма

состояний для

компонента модели



Нотация UCM (Use Case Maps)

• UCM – последовательность событий, описывающих поведение системы

• Задается набором взаимодействующих между собой диаграмм

• Наглядное представление поведения системы и взаимодействий между

ее компонентами

Высокоуровневое описание проектируемой системы,

сохраняющее при этом все сценарии ее поведения



Критерии покрытия UCM-модели

• Функциональный критерий

– Матрица отслеживания

• Структурные критерии

– Покрытие UCM-элементов

– Покрытие UCM-ветвей

– Покрытие UCM-путей (частичный критерий путей;

необходима дополнительная информация от

пользователя)



Матрица отслеживания • Формулировка последовательности наблюдаемых событий в

строгом порядок исполнения

• Формулировка цепочек базовых протоколов

• Отслеживание соответствия между событиями,

характеризующими требования в терминах исходных

спецификаций и элементами UCM-модели

Связь между тестовыми

сценариями и

требованиями;

идентификация

покрытых и непокрытых

требований



Покрытие UCM-элементов и UCM-

ветвей • Формирование общего множества элементов (U) и

ветвей (B) UCM-модели

• Формирование множества покрытых элементов

(Tэл) и ветвей (Tвт) в тестовых сценариях:

• Вычисление непокрытых элементов и ветвей UCM-

модели:

N

i

M

j

ijэл UET0 0

)(

N

i

M

j

ijвт BBT0 0

)(

элэл TUS втвт TBS



Покрытие UCM-элементов и UCM-

ветвей

Список UCM-ветвей и содержащихся

в них UCM-элементов

Список тестовых сценариев и

содержащихся в них UCM-ветвей

Покрытые UCM-ветви

Непокрытые UCM-ветви



Покрытие UCM-путей

• Необходима дополнительная информация от

пользователя – гиды (guides)

• Если все заданные пользователем гиды (G)

обеспечены тестовыми сценариями (T), то

считается, что данный критерий (K) удовлетворен:

KTTGG ji :

• Анализ заключается в поиске вхождения UCM-

элементов гида в последовательность UCM-

элементов тестового сценария



Покрытие UCM-путей Список гидов с

индикацией

непокрытых

тестовыми

сценариями

Гид со списком

входящих в него

UCM-элементов

Тестовый сценарий,

соответствующий

гиду



Визуальный анализ покрытия Отображение покрытия

тестового сценария Отображение покрытия

отдельной UCM-ветви



Инструментальная реализация

• Набор программных средств, интегрированных в

инструмент автоматического анализа UCM GA

– элементы View в среде разработки Eclipse

– реализация на Java и Perl

• Инструмент внедрен в автоматическую цепочку

верификации и тестирования VRS/TAT



Заключение

• Автоматическая и визуальная оценка покрытия UCM-

модели

• Отображение покрытия как всего тестового

сценария, так и его частей

• Отображение непокрытых элементов и сценариев

(необходимо для отладки тестового набора)

• Инструмент применен в рамках создания тестовых

сценариев для 4 телекоммуникационных проектов

Спасибо за внимание

the analysis of test scenario coverage for a ucm-model

Science