1 Тестирование производительности веб–приложений: Как перестать беспокоиться и начать делать ЭТО Тимур Хайруллин Организатор.

Я САМ
Тимур Хайруллин
Руководитель службы нагрузочного тестирования
[e-mail]

ЗАЧЕМ Я ТУТ
Мне интересно услышать мнение о нашей работе, о том, что мы делаем

А ЧТО МЫ ДЕЛАЕМ?
Тестирование производительности веб-приложений
Тестирование производительности клиент-серверных систем
Про тестирование standalone-программ я мало что знаю

ТЕСТИРОВАНИЕ
Тестирование такое тестирование ;-)

ТРЕБОВАНИЯ
Не тормозить;
Не падать;
Не допускать ошибок.

ТОРМОЗА :-(
+100ms = 1% падения продаж (amazon.com)
+400ms = 7-9% падения трафика (Yahoo)

ПРОСТОЕ ПРАВИЛО
0,1с незаметное
>1с ощущаются задержки
10с потеряли фокус

НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕ

«ДЛИННЫЙ ХВОСТ»

ТРЕБОВАНИЯ
Не тормозить: Все ответы быстрее N секунд? Нет!
Например:
>95% ответов быстрее 1 с,
И >98% ответов быстрее 3 с,
И >99.5% ответов быстрее 5 с.

ТРЕБОВАНИЯ
Не допускать ошибок,
Не падать:
Например, <0,5% ответов с недопустимым кодом
И содержащих ошибки функционала

ВРЕМЯ ОТВЕТА И НАГРУЗКА

ГЛАВНЫЙ ПОКАЗАТЕЛЬ
RPS (Requests Per Second, запросов в секунду)

ЕЩЁ ТРЕБОВАНИЯ
Менеджер (или маркетолог) сервиса обычно умеет оперировать понятием «пользователь»

ГРАФИК RPS

ГРАФИК RPS: ДЕТАЛЬНО

НАГРУЗКА: ДЕТАЛЬНО

НАГРУЗКА: СОБЫТИЯ
Наши выиграли!

НАГРУЗКА И ЖИЗНЬ
Олимпиада кончилась
Выходные

НАГРУЗКА: НЕДЕЛЯ

НАГРУЗКА: НЕДЕЛЯ

НАГРУЗКА: ГОД К ГОДУ

НАГРУЗКА: ПЛАНЫ РОСТА
Как изменится нагрузка через год?
Как изменится поведение пользователей через год?
А через два?

ТРЕБОВАНИЯ: ПОДИТОГ
Скорость загрузки страниц
ПЛЮС
Известные дневные и недельные тренды
ПЛЮС
ЗАПЛАНИРОВАННЫЙ рост
выраженные в RPS

ВИДЫ ТЕСТИРОВАНИЯ

ОЦЕНОЧНОЕ
Нагрузка растёт. Когда сервис сломается?

ДЛИТЕЛЬНОЕ
Нагрузка постоянна. Не сломается ли что-нибудь с течением времени?

СТРЕСС
Нагрузка выше критической. Как поведёт себя сервис?

ОБЪЁМНОЕ
Нагрузка стандартная. База данных (например) увеличена на два порядка. Как поведёт себя сервис?

ЭКЗОТИЧЕСКИЕ ВИДЫ
Spike testing, availability, scalability, recovery…

ТЕСТИРОВАНИЕ: НУ ДАВАЙ УЖЕ!
Что теперь с этим делать?
Возьмите свой любимый инструмент и…

ИНСТРУМЕНТЫ
ХА-ХА! Инструменты сакс :-(

ИНСТРУМЕНТЫ: ПОДХОДЫ
Opensource: бедно, зато бесплатно
Propertiary: дорого, зато наворочено
Homemade: ОЧЕНЬ дорого и сложно, зато есть всё

ИНСТРУМЕНТЫ: ПОДХОДЫ
У нас 1+3
Возьмите Jmeter от Apache Jakarta

ТЕСТОВЫЙ СТЕНД
Реалистичное окружение? ХА-ХА!

ТЕСТИРОВАНИЕ: ПРОЦЕСС
Нагрузочное ТЕСТИРОВАНИЕ
Выявление багов как несоответствие проекта требованиям
Работа с багом как обычно:
Багтрекер
Ответственный
Починка
Закрытие бага

ТЕСТИРОВАНИЕ: ПРОЦЕСС
Регрессионное
Приёмочное
Исследовательское
Оперативное

РЕГРЕССИОННОЕ

МЕТРИКИ
Нагрузка разладки

ТЕСТИРОВЩИК – ЭТО…
Аналитик: работает с требованиями

ТЕСТИРОВЩИК – ЭТО…
Тест-дизайнер и «танкист» – проектирует и выполняет тесты

ТЕСТИРОВЩИК – ЭТО…
Тест-менеджер: работает с изменениями и управляет ресурсами

ТЕСТИРОВЩИК – ЭТО…
Исследователь и евангелист: работает с новыми методиками, рассказывает команде

ТЕСТИРОВЩИК – ЭТО…