Техники тест-дизайна, основанные на спецификации

Тестирование по сценариям использования
Тестирование по пользовательским историям
Комбинаторные виды тестирования
Доменный анализ
1
2
3
ПЛАН
ЛЕКЦИИ

Сценарий использования (use case) описывает взаимодействия между участниками (включая пользователей и систему) приводящие к полезным результатам для заказчика или пользователя системы. Сценарии использования могут быть описаны на уровне абстракций (бизнес сценарий использования, уровень бизнес-процессов, не связанный с технологией) или на системном уровне (сценарий использования системы на уровне системного функционала).
Каждый сценарий использования имеет предусловия, необходимые для успешного выполнения сценария. Каждый сценарий использования завершается постусловиями, являющимися наблюдаемыми результатами и итоговым состоянием системы после выполнения сценария.
Сценарий использования обычно имеет основной (наиболее вероятный) сценарий и альтернативные сценарии. Сценарии использования описываются как «потоки процессов» в системе, основанные на типовом предполагаемом использовании.
Тестирование
по сценариям
использования

Тестирование
по сценариям
использования

Тестирование
по сценариям
использования

Тесты, построенные на основе сценариев использования, являются наиболее полезными для выявления дефектов в потоках процессов во время реального использования системы.
Сценарии использования очень полезны для разработки приёмочных тестов с участием заказчика или пользователей.
Также они могут выявить дефекты интеграции, вызванные взаимодействием различных компонентов, не выявляемые индивидуальным тестированием компонентов.
Проектирование тестовых сценариев на основе сценариев использования может быть объединено с другими методами, основанными на спецификации.
Покрытие считается 100%, если тестами покрыты основной путь use case-а и все альтернативные пути.
Тестирование
по сценариям
использования

Задание
Для use case из примера написать тесты, необходимые для достижения 100%-го покрытия.

В некоторых гибких методологиях разработки ПО спецификации готовятся в виде пользовательских историй (User Stories).
Пользовательская история описывает часть функциональности (или полностью всю), которую можно спроектировать, реализовать, протестировать и продемонстрировать за одну итерацию.
Эти пользовательские истории описывают как функциональные, так и не функциональные требования, а также включают описание приемочных критериев.
На основании приемочных критериев и принимается решение о готовности реализованной функциональности.
Тестирование
по пользова-
теским
историям

Для минимального покрытия user story необходимо, чтоб были проверены все критерии приемки.
При тестировании пользовательских историй чаще всего находятся различные проблемы функционального характера.
Также могут быть обнаружены проблемы интеграции реализованной функциональности с уже существующей.
Нередко могут быть обнаружены проблемы с производительностью, пользовательским интерфейсом и обработкой ошибок.
Тестирование
по пользова-
теским
историям

Тестирование
по пользова-
теским
историям

Тестирование
по пользова-
теским
историям

Задание
Придумать user story для программы ListBoxer и написать acceptance criteria для этой пользовательской истории.

Комбинаторные виды тестирования используются, когда в тестируемой системе есть несколько параметров, каждый из которых имеет свои значения, и различные комбинации этих значений приводят (или могут привести) к различным результатам.
Для наглядного отображения комбинаций может быть использована техника построения дерева классификации (подробней тут).
Комбинаторные
виды
тестирования

Для системы, позволяющей выбирать Шрифт, Стиль и Размер, дерево классификаций может выглядеть, как на картинке слева (это часть дерева).

Покрытие имеет несколько уровней.
Если в тестах участвуют N параметров, то можно говорить о N-wise покрытии. Это когда все возможные комбинации из N параметров покрыты тестами.
Самый распространенный уровень покрытия - это 2-wise (pairwise). Это когда все возможные пары параметров покрыты тестами. Составление тестов для достижения 2-wise покрытия также называется попарное тестирование (pairwise testing).
Есть еще 1-wise покрыти (singleton). Это когда каждый параметр встречается в тестах хотя бы один раз.
Комбинаторные
виды
тестирования

Страховая компания предлагает полисы для жилья. Их есть несколько вариантов. Они зависят от типа здания, материала, из которого оно построено и от его расположения.
Тип здания:
Частный дом
Дом на 2 хозяина
Многоквартирный дом
Коттедж
Материалы:
Дерево
Бетон
Кирпич
Смешанный
Расположение:
Город
Пригород
Сельская местность
Пустыня
Надо подготовить тестовые данные для 100%-го pairwise покрытия.
Задание

Всего должно получится 16 вариантов (тестов).
Их можно составлять вручную, а можно при помощи инструмента.

Домен - это определенный набор значений.
Набор может быть определен как диапазон значений одной переменной (одномерный домен, например, «мужчины в возрасте от 24 до 66 лет»), так и диапазоны значений взаимодействующих переменных (многомерный домен, например, «мужчины от 24 до 66 лет, а также весом от 69 до 90 кг»).
Когда домен одномерный, то применяются техники разбиения на классы эквивалентности и анализ граничных значений.
Когда домен двухмерный, то берутся значения за пределами домена, на границах домена и внутри домена.
Рассмотрим на примере.
Доменный
анализ

В существующей системе для людей, ведущих здоровый образ жизни нужно сделать рассылку и пригласить на марафон мужчин от 18 до 42 лет, весом от 60 до 90 кг.
Вот наш домен:
Задание
Для проверки правильности рассылки нужно взять значения, отмеченные желтым:
возраст = 50, вес = 45
возраст = 30, вес = 60
возраст = 18, вес = 70
возраст = 30, вес = 70
Эти значения нужно использовать для проверки правильности рассылки.

Задание
Система отслеживает параметры влажности и температуры в помещении.
Если влажность находится в пределах от 50% до 70% и температура от 16 до 22 градусов, то система выдает, что параметры оптимальны.
Если температура и\или влажность выходят за эти пределы, то слышен сигнал и выдается сообщение, что параметры вышли за оптимальные пределы.
Нужно подготовить тестовые данные для этой системы, используя доменный анализ.
Задание

Home Task
1
2
Часть 1
Применить разбиение на классы эквивалентности, анализ граничных значений, тестирование таблицы решений и тестирование таблицы переходов для системы на следующем слайде.
Часть 2
Написать 2 use case для сайта deveducation и покрыть их тестами (для существующей функциональности).
Часть 3
Написать 2 user story для сайта deveducation и описать приемочные критерии для них (для существующей функциональности).
Часть 4
Предположим, что сайт deveducation должен работать на мобильных телефонах и планшетах (iOS, Android), а также на ПК (Windows OS), в браузерах: Safari, Chrome, Firefox, IE.
Нужно провести конфигурационное тестирование. Используйте pairwise testing и опишите все возможные конфигурации.
(Обратите внимание, что не все пары возможны в принципе. Например, нет ПК с iOS и Android.)

Это система переводов. Пользователи могут получать или отправлять переводы.
Чтобы получить перевод, пользователь должен в точности указать Amount, Name, Address, которые отправитель указывал при отправлении этого перевода, а также должен указать верное значение в MTCN (это секретный код, отосланный получателю, после того, как перевод прошел успешно).
Задание