Тестирование производительности SportsBook 2.0 с использованием k6

QA Automation Engineer
Занимаюсь автоматизацией тестирования SportsBook 2.0 в компании Altenar, которая является поставщиком программного обеспечения, для лицензированных игорных операторов
Об авторе
Daniil Matafonov
Email: [e-mail]

Altenar — международная B2B компания, с офисами в России, на Мальте и в Греции. Основным направлением является разработка платформы для лицензированных букмекеров, оперирующих в Европе и Южной Америке.
О компании

SportsBook - программное обеспечение, предназначенное для выполнения ставок на различные спортивные соревнования, включая гольф, футбол, баскетбол, бейсбол, хоккей, скачки, виртуальные виды спорта и другие.
О продукте

Архитектура SportsBook 2.0 Google Cloud Cluster

SportsBook 2.0 NLAM cluster

Нагрузочное тестирование с использованием JMeter
Цель:
Выполнить стресс-тестирование проекта Hybrid и получить показатели производительности таких запросов как PlaceBet, BetHistory, CalculateCashout , Cashout.
Окружение: Stage
Конфигурация: 3 VMs in VMWare cluster with 4 vCPUs, 4 gb.

Ограниченный мониторинг тестов (трудоемкость анализа логов запуска тестов);
Трудоемкость создания тестового сценария (необходим опыт для понимания элементов JMeter, регулярных выражений, обработки сеансов и т.д.);
Ограниченные возможности создания тестовых сценариев с помощью кода
Недостатки JMeter

Инструмент с возможностью поддержкой различных режимов отладки (просмотр тела ответов, возможность отключения отладочных логов)
Инструмент, который облегчит вовлечение новых участников в процесс разработки тестов (простой и понятный подход для разработки сценариев, поддержка GitOps практик [обзор кода, процесс утверждения с помощью запросов pull и так далее])
Инструмент, позволяющий разрабатывать тесты на простом и понятном языке программирования
Поддержка CI / CD
Анализ требований
Ограниченный мониторинг тестов
Трудоемкость создания тестового сценария
Ограниченные возможности создания тестовых сценариев
Трудоемкость использования тестов на Jmeter в сборках
Проблемы
Решения

Анализ инструментов

Гибкость тестового сценария
Производительность
Язык скриптов
Достоинства и недостатки
Порог вхождения
Вывод статистики
Распределенное тестирование

K6 как оптимальный инструмент для нагрузочного тестирования
Преимущества:
поддержка протоколов http1.1 / 1.2; gRPC;
кроссплатформенность (Linux, Mac, Windows, Docker образ)
разработка тестов на JS
поддержка GitOps практик
возможность использования в CI сборках
возможность запуска из cloud
развитое комьюнити
Выводы

K6 - современный инструмент для нагрузочного тестирования,
разработанный компанией Load Impact.
Features:
CLI-инструмент с удобным для разработчика API
HTTP/1.1, HTTP/2, WebSocket поддержка протоколов
Разработка тестов на JavaScript ES2015/ES6 - с поддержкой локальных и удаленных модулей
Automation-friendly: checks (like asserts) and thresholds for easy and flexible CI configuration!
TLS features: клиентские сертификаты, настраиваемые SSL/TLS
Вывод результатов тестов: InfluxDB (+Grafana), JSON, k6 Cloud, Kafka, StatsD, DataDog
Облачное выполнение и распределенные тесты (на инфраструктуре, управляемой Load Impact)

VUs
Параметр, определяющий количество Virtual users, которые будут выполняться одновременно.
Options
https://k6.io/docs/using-k6/options

HTTP Debug
Логирует HTTP запросы и ответы. Исключает тело по умолчанию, чтобы включить тело необходимо использовать --http-debug=full.
Options
https://k6.io/docs/using-k6/options

Duration
Задает общую продолжительность выполнения теста.
В течение этого времени каждый VU будет выполнять сценарий в цикле. Доступен в К6 run и К6 cloud.
Options
https://k6.io/docs/using-k6/options

Iterations
Параметр, задающий фиксированное число итераций для выполнения сценария, в течение которого сценарий будет выполняться в цикле.
Options
https://k6.io/docs/using-k6/options

Minimum Iteration Duration
Задает минимальную продолжительность для каждого отдельного выполнения (т. е. итерации)функции по умолчанию. Любые итерации, которые выполняться быстрее, приведут к тому, что VU будет спать в течение оставшегося времени, пока не будет достигнута заданная минимальная продолжительность.
Options
https://k6.io/docs/using-k6/options

Compatibility Mode
Поддержка запуска сценариев с различными режимами ECMAScript.
Более подробно про режимы запуска JavaScript Compatibility Mode documentation.
Options
https://k6.io/docs/using-k6/options

Discard Response Bodies
Параметр позволяет отбросить тело ответа.
Options
https://k6.io/docs/using-k6/options

Scenarios
Представляют собой шаблоны выполнения с различными настройками VU, итераций, исполняющими различные функции (кроме default) и использующими различные переменные окружения, теги и другое.
Options
https://k6.io/docs/using-k6/options

shared-iterations
per-vu-iterations
constant-vus
ramping-us
constant-arrival-rate
ramping-arrival-rate
externally-controlled
Scenarios (k6 v.0.27)

Механизм проверок схож с assertions, но основное отличие в том, что checks не останавливают выполнение, а просто сохраняют результат проверки (pass / fail ) и позволяют скрипту продолжить выполнение.
Проверки отлично подходят для кодификации утверждений, относящихся к HTTP-запросам/ответам, например, что код ответа равен 2xx:
Checks

Built-in metrics

Custom
Counter (суммарная метрика)
Gauge (хранит только последнее значение)
Rate (отслеживает процент значений, отличных от нуля)
Trend (собирает статистику(min/max/avg/percentiles) для ряда значений)
Metrics

Windows
Вы можете вручную загрузить и установить official .msi installation package или, если вы используете chocolatey package manager, следуйте этим инструкциям для установки latest версии k6 из репозитория.
Docker
docker pull loadimpact/k6
Linux (deb and rpm packages)
https://k6.io/docs/getting-started/installation#linux-deb-and-rpm-packages
Mac (brew)
https://k6.io/docs/getting-started/installation#mac-brew
Install

При запуске теста с количеством VUS > 2000 k6 прерывал выполнение с ошибкой. FATA[0052] stream error: stream ID 5; INTERNAL_ERROR
Ограниченная поддержка параллелизации тестов (платная поддержка в k6 cloud)
Недостаточно гибкая настройка конфигурации сценариев
Проблемы в k6 (version 0.26.0)

Цель:
Выполнить нагрузочное тестирование проекта SportsBook 2.0 и получить показатели производительности таких методов как signIn, GetEvents, place, betHistory, PrintCoupon, Cashout, OpenBetsCount.
Окружение: Stage
Конфигурация: VM (24 CPU / 25 GB RAM)
Тестовый сценарий:
Выполнение теста разделено на группы
1 группа вызывает методы SignIn, GetEvents, place, BetHistory, PrintCoupon, Cashout, OpenBetsCount (10% от общего числа VUS на тест)
2 группа SignIn, BetHistory, Cashout, OpenBetsCount (30% от общего числа VUS на тест)
3 группа SignIn, BetHistory, OpenBetsCount (60% от общего числа VUS на тест)
Нагрузочное тестирование с использованием k6

Реализация тестового сценария. Вызов метода SignIn

auth.js
Реализация тестового сценария. Функция auth()

placeBet.js
Реализация тестового сценария. Функция placeBet()

Сценарий выполнения тестов в config.js
Конфигурация

компиляция:
npm run-script webpack
Сборка тестов

запуск тестов

Статистика проверок

Метрики. Вывод показателей в console

Метрики. InfluxDB и Grafana