Фреймворк для авто-тестирования веб-сервисов своими силами

О себе
Воробьев Андрей
Test Automation Engineer EPAM Systems
Автор и ведущий тренингов для начинающих по авто-тестированию веб-сервисов
[e-mail]

Профессиональный жаргон

Авто-тестирование
веб-сервиса
Запрос
Ответ
Ответ
правильный?
Да
Тест
пройден
БАГ

Авто-тестирование
веб-сервиса
Покупать продукт
или
разрабатывать самим?

Как решить?
Для того, чтобы принять верное решение, достаточно ответить только на один вопрос:
“Насколько тривиальные задачи требуется решить”

Сложно или просто?

Сложно или просто?
Просто:
Простые входные данные(числа, строки)
Примитивные типы валидаций (=, >, <, contains)
Простые выборки в базу. Малый объем выборок
Сложно:
Сложные входные данные (части запросов, которые нужно группировать друг с другом)
Сложная валидация (по шаблону, по данным которые тоже нужно откуда-нибудь получить )
Поддержка транзакций БД, кэширования

Сложно или просто?

Сложно или просто?

Сложно или просто?
Лина Воробьева
Сергей Воробьев

Сложно или просто?
Валентина Криводубская
Дмитрий Криводубский
Ядвига Воробьева
Николай Воробьев

Сложно или просто?
Анна Криводубская
Петр Криводубский Криводубский“>
…
…
…
…
…
…
N == ?

Просто
SOAP, Rest, HTTP, JMS, DB
XPath Assertions
XQuery Assertions
Logging
Scripting Support (Groovy, JavaScript)
WS Security
…. and more

Сложно
Java/C#/…
WS implementation
*Unit testing Frameworks

«Сделай сам»
Клиент веб-сервиса (для отправки запросов и получения ответов от сервера)
Реализация работы с БД, другими источниками входных/выходных данных
Набор валидаций, которые нужны ВАМ (XPath, XQuery, DB, равно, содержит, больше\меньше, соответствует заданному формату)
Фреймворк для тестирования
Веб Сервиса – это всего лишь:

Task list ☺

Подготовка запроса
Андрей Воробьев

Подготовка запроса
soapUI
Java Property files
Data Source (excel)
DB via ‘Property Transfer’
использование groovy
Java-based framework
Java Property files
DB (+ORM, cashing, transactions)
ЛЮБЫЕ другие источники данных (Windows Active Directory, http, ftp, etc)

Отправка запроса/Получение ответа
soapUI
ВСЕ уже сделано за вас
Java-based framework
JAX-WS
Spring-WS
…
ЛЮБЫЕ другие источники имплементации, которые удобно использовать ВАМ

Валидация ответа
Лина Воробьева
Сергей Воробьев

soapUI – это тоже Java код

Архитектура
или то, над чем стоит поломать голову…

Архитектура. Основные принципы
Каждый из компонентов не зависит от другого
Модульность

Архитектура. Основные принципы
Легко добавлять:
новый функционал
новые типы валидаций
Расширяемость

Архитектура. Основные принципы
Достаточно посмотреть
на исходный код теста,
чтобы понять что он делает
Читаемость

Архитектура. Компоненты

Архитектура. Диаграмма последовательности

Компоненты. Тест
TestNG
базовые типы валидации
группировка в сьюты
отчеты о прохождении тестов
возможность выполнять тесты в несколько потоков
зависимости между тестами

Компоненты

Компоненты. Процессор шаблонов
Данные
Шаблон
Готовый
запрос

Компоненты. Процессор шаблонов
Шаблон
${amountValue}
${currencyValue}

Компоненты. Процессор шаблонов
Данные
amountValue = 100
currencyValue = USD

Компоненты. Процессор шаблонов
Готовый
запрос
100
USD

Компоненты

Компоненты. XML - модель
Мы используем…

Компоненты. SOAP-клиент
исходный код может быть сгенерирован автоматически по WSDL-схеме
исходный код нужно писать самому

Компоненты

Компоненты. Валидация

Компоненты. Валидация. Ответ

Почему это так важно
Новые тесты
создаются
быстро

Почему это так важно
Старые тесты
поддерживать
просто
2 x 2

soapUI Pro умеет…
измерять степень покрытия тестами
тестирование безопасности (SQL-инъекции, XPath-инъекции)
производить нагрузочное тестирование
интегрироваться в сборку сервиса и CI-цикл
создавать Mock-сервисы

soapUI vs. разработка
не нужно никаких подготовительных работ
новые тесты создаются медленно
старые тесты поддерживаются медленно
квалификация авто-тестировщика ниже среднего
базовый набор функционала*
* расширяется только groovy-скриптингом

soapUI vs. разработка
перед написанием тестов необходимо разработать механизмы отправки, получения и валидации
новые тесты создаются быстро
старые тесты поддерживать просто
квалификация авто-тестировщика выше среднего

soapUI vs. разработка

soapUI vs. разработка
Любые протоколы
Любые источники входных и выходных данных (Active Directory, POP3, SMTP)
Простота валидации сложных типов данных (даты, UUID)

Наш опыт
На разработку
Фреймворка и первого
теста путем
проб и ошибок
ушло около
2 человеко-месяцев

Наш опыт
Сейчас,
имея опыт,
Это можно
сделать за
2 человеко-недели

Ваши вопросы!

Спасибо за внимание!
Воробьев Андрей
Test Automation Engineer
EPAM, Минск

Валидация ответа
soapUI
Fault/Success
Contains
XPath
Xquery
Schema Compilance
Timeout
WS-Security Status
Groovy
…
Java-based framework
JUnit
TestNG
XmlUnit
HtmlUnit
DbUnit
…*Unit

Компоненты. Процессор шаблонов