Швейцарский нож тестировщика или JMeter не только для нагрузки

Обо мне
В области разработки ПО > 10 лет, тестирование > 5 лет.
Тестирование как бизнес-приложения(Web, API, desktop), так и инфраструктурные решения(Интеграции через HTTP, JMS, JDBC, Kafka…)
Основной стек – Java(Scala)/JMeter, Gatling, Postman

О чем поговорим
Базовое описание Apache JMeter
Создание функционального теста
Дополнительные возможности
Описание других сценариев использования
Работа в команде

Что такое Apache JMeter
Open Source application designed to load test applications and measure performance. By The Apache Software Foundation

Что такое Apache JMeter
Open Source application designed to load test applications and measure performance. By The Apache Software Foundation

Внешний вид

Компоненты JMeter

Тест цепочки отправки логов

Тест цепочки отправки логов

Thread group

Sampler

Sampler

Отправка лог-записи

Отправка лог-записи

Просмотр результата отправки

Просмотр результата отправки

Просмотр результата отправки

Чтение лог-записи из ES

Проверка текста в ответе

Проверка текста в ответе

Дублирование запросов

Дублирование запросов

Pre-processor для подстановки времени

Текущее время в переменной

Добавление переменной и функции

Переменная в запросе лог-записи

Подстановка значения переменной и функции

Ошибка при запросе лог-записи

Добавление таймаута

Тест пройден!

Ошибка в цепочке

Офсеты Kafka

Проверка увеличения офсета Kafka

Получение офсета

Сохранение текущего офсета

Сравнение офсетов до отправки и после

Ошибка осталась

Плагины

SSH Protocol Support

SSH Sampler

Команда проверки статуса

Ошибка приложения

Настройки для разных стендов

Настройки для разных стендов

Logic Controllers

Проверка нескольких хостов

ForEach контроллер

ForEach контроллер

ForEach контроллер

Реальный пример теста

Несколько экземпляров

Что еще делаем JMeter
Mock сервисов
Мониторинг
Запуск Java кода
Запуск в CI
Тесты из Swagger/Openapi

Mock-сервер c WireMock

Mock-сервер c WireMock

Мониторинг с Zabbix

Мониторинг с Zabbix

CI
./jmeter.sh -n -t ELKTest.jmx \
-l reports/$(date -d "today" +"%%Y%%m%%d_%%H%%M%%S").log \
-e -o reports/$(date -d "today" +"%%Y%%m%%d_%%H%%M%%S")

CI

CI

CI

CI

Запуск кода
Fat jar

Запуск кода

Swagger/Openapi

Swagger/Openapi

Swagger/Openapi

Swagger/Openapi

Swagger/Openapi

Swagger/Openapi

Еще используем для работы с
Чтением-записью файлов
JDBC
JMS/AMQP

Еще классные особенности
Кроссплатформенность
Установка копированием
Быстрый старт

Запуск конкретного сценария

Запуск конкретного сценария

Повторное использование блоков
Test Fragment

Повторное использование блоков

Повторное использование блоков

Повторное использование блоков

Повторное использование блоков

Командная работа
~ 262 jmx
~ 5337 Test cases (xml)
Описанная структура тестов
Регламент создания новых и изменения текущих тестов
Инструкции для запуска

Минусы и проблемы
Сценарий – xml файл
При работе с GIT сложно мержить изменения
Переменные – строки
Неудобно работать с бинарными http протоколами
Иногда требуется понимание JVM
Нельзя отменить изменения ctrl-z
Scala в JSR223 работает плохо
…

Границы применимости и выбор инструмента
Слишком громоздкий для некоторых задач
Вклад в изучение
Может быть хуже специализированных инструментов
Гибкость в некоторых моментах хуже, чем у кода