Случайное тестирование

Случайное тестированиеSoftware Testing 101

Марат Ахин

Санкт-Петербургский государственный политехнический университет

Марат Ахин (СПбГПУ) RT 2014 245 / 346

Содержание

1 Случайное тестированиеГенерация тестовFuzzingGenerative random testingMutation random testingDirected random testing

Случайное тестирование Генерация тестов

Генерация тестов

Развитие идеи генерации тестовых оракуловПолная автоматизация процесса тестирования

Основная идеяЗаставить компьютер работать вместо нас

ДешевлеБыстрееНет человеческого фактора

Автоматическая генерация компонентов тестов

Входные данныеПоследовательности вызовов APIТестовые оракулы

Результаты очень сильно зависят от того, что именно мы тестируем...

kd-treestoimd5sumPDF reader

Случайное тестирование Fuzzing

Fuzzing

Прародитель случайного тестирования

Полностью случайные данныеВариант smoke testing

P8FT8PjBG7s71Bw1a8EP4svDPL5g4E791TJcs5t9ZbxQAsLZx436PdJcxk3vq61192

Fuzzing

Используем слабые оракулыПри необходимости вставляем заглушки

Что такое случайные данные?Набор байтВызовы функций APIПользовательский ввод

Fuzzing

1989 – первое применение фаззинга на утилитах *NIX1995 – повторная проверка утилит *NIX2000 – проверка Windows NT/Windows 20002006 – проверка утилит Mac OS X

Стали ли результаты лучше?

Fuzzing

Нет!

Все стало еще хуже!

GUI: 26% -> 45% -> 64% -> 73%Многие баги, обнаруженные фаззингом, были исправлены......но появилось еще больше новых!

Fuzzing

md5sumkd-treestoiPDF reader

Работает для всех программНо есть одно «но»... c©

Проблема валидности данных

Полностью случайные данные являются невалидными входнымиданными для большинства программ

Проблема валидности данных

Большинство программ ожидают структурированные входныеданные

P8FT8PjBG7s71Bw1a8EP4svDPL5g4E791TJcs5t9ZbxQAsLZx436PdJcxk3vq61192

vs3.1415926535897932384626433832797[(1,0,0),(0,1,0),(0,0,1),(1,1,1)]

Случайное тестирование Generative random testing

Generative random testing

Если мы знаем структуру, то мы можем ей воспользоваться

Генерируем отдельные элементыКомбинируем их в соответствии с заданной структуройВносим случайные нарушения структуры

Что такое структура?

Набор правил генерацииГрамматикаФормальная спецификацияСтандарт на формат входных файлов

kd-treestoiPDF reader

Работает для структурированных входных данныхНо есть одно «но»... c©

Проблема сложной структуры

Иногда структура входных данных является слишком сложной

Случайное тестирование Mutation random testing

Mutation random testing

Обычно у нас есть какой-то набор тестовых входных данных

Подвергаем тестовые данные мутацииПри этом возможно использование знания структуры данныхЧасть данных может генерироваться случайно

Какие могут быть мутационные трансформации?

Добавление нового фрагментаУдаление старого фрагментаИзменение фрагмента

Обмен двух фрагментов местамиЗамена значений на граничные

PDF readerWeb browser

Работает практически для всегоНо есть одно «но»... c©

Проблема скелета в шкафу

Добраться до самых дальних закоулков нельзя

Случайное тестирование Directed random testing

Directed random testing

В чем заключаются основные проблемы случайного тестирования?

Некорректные тестыЭквивалентные тестыДлинные тесты

Некорректные тесты

Более строгие правила генерации/мутацииЯвный учет некорректных тестов

Эквивалентные тесты

Обнаружение тестов, на которых программа ведет себяодинаковым образом

СтатическиДинамически

Вспомним про тестовое покрытие...

Длинные тесты

Минимизация тестовДихотомияСтохастический поискЭволюционные алгоритмы

Delta debugging

А можно ли еще лучше?

Каждый новый тест минимально отличается от имеющихсяКаждый новый тест улучшает тестовое покрытиеКаждый новый тест должен генерироваться достаточно быстро

Concolic testing

Комбинируем информацию о конкретных выполненияхпрограммы......и информацию о символическом поведении программы

Комбинация статического и динамического анализов

Satisfiability modulo theories

1 void f(int x) {2 int y = x^2;34 bool A = x > 0;5 bool B = x < 10;6 bool C = y > 20;78 if (B && C) {9 if (A) {

10 ...11 }12 }13 }

SMT to the rescue

1 x, y = Ints(’x y’)2 A, B, C = Bools(’A B C’)34 s = Solver ()56 s.add(y == x * x)7 s.add(A == (x > 0))8 s.add(B == (x < 10))9 s.add(C == (y > 20))

Satisfiability modulo theories

1 print s.check(B and C, A)2 print s.model ()3 # sat4 # [A = True , B = True , y = 25, x = 5, C = True]56 print s.check(B and C, Not(A))7 print s.model ()8 # sat9 # [A = False , B = True , y = 25, x = -5, C = True]

1011 print s.check(Not(B and C))12 print s.model ()13 # sat14 # [A = False , B = True , y = 0, x = 0, C = False]

Проблемы concolic testing

Почему я слышу об этом впервые в жизни?

Это сложноЭто очень сложноЭто очень-очень сложно

Проблемы concolic testing

Инструментирование программыМоделирование памятиВзрыв пространства состояний

Оптимизации!

Concolic testing

Microsoft Research500+ машино-летБолее трети всех багов в различных проектах MicrosoftРазвивается вместе с тестируемым им ПО

Visual StudioMicrosoft Office

Проблема мистера Икс

Некоторые части системы могут быть «черным ящиком»

W.I.L.T. What I Learned Today?

W.I.L.T.

Случайное тестирование

Education

Тестирование юзабилити

Нагрузочное тестирование vdi

Регрессионное тестирование...

Тестирование технологий и...

Тестирование на проникновение

Регрессионное тестирование

Тестирование - это не просто...

Гибкое тестирование

Тестирование приемников...

Тестирование инсталляторов

Детерминированное и случайное в...

Быстрое тестирование

Тестирование ПО

тестирование дошкольники

нагрузочное тестирование

СТАТИСТИЧЕСКИЙ ЭКСПЕРИМЕНТ С...

Исследовательское тестирование

Введение в тестирование (что...

Тестирование продуктов

Тестирование телеком-систем