Тестируем производительность: результаты нагрузочного тестирования, выполненного компаниями «1С-Битрикс», «Онтико» и .masterhost

Экскурс в историю
Предыдущее нагрузочное тестирование проводилось в 2007 году совместно с компаниями QSOFT и .masterhost. Тестировалась версия 6.0 (MySQL), редакции «Старт» и «Бизнес».
На типовом (для того времени) оборудовании – на выделенном сервере Kraftway Express ISP ES11:
1 593 983 хита в сутки на редакции «Бизнес»
6 012 311 хитов в сутки на редакции «Старт»

Новое нагрузочное тестирование
Новое нагрузочное тестирование было проведено в 2010 году совместно с компаниями «Онтико» и .masterhost. Тестировалась версия 9.5 (MySQL), редакции «Старт» и «Бизнес».
На типовом оборудовании 2010 года – на выделенном сервере HP ProLiant DL120:
8 511 355 хитов в сутки на редакции «Бизнес»
12 420 746 хитов в сутки на редакции «Старт»
85 103 456 хитов в сутки на редакции «Старт» (с включенной опцией «HTML кеширование»)

За три года – на 430% быстрее!
+110%
+430%

Нагрузочное тестирование проектов
Нагрузочное тестирование - обязательный этап настройки.
Нагрузочное тестирование является важнейшей процедурой подготовки крупного проекта к открытию.
Нагрузочное тестирование позволяет определить предел работоспособности созданного проекта именно на выбранном оборудовании.
Зачастую, простые корректировки конфигурации могут ускорить проект в 5-10 раз и сделать его устойчивым к стрессовым нагрузкам.

Цели нагрузочного тестирования платформы
Проверка и оптимизация конфигурации серверного программного обеспечения (цель – получить идеальное веб-окружение; тесты проводились на «1С-Битрикс: Веб-окружение» версии 1.6, по результатам выпущена версия 2.0).
Оценка максимальной производительности, которую способны выдерживать типовые редакции на выделенном оборудовании.
Влияние опций и модулей продукта на производительность.
Оценка стабильности при максимальных нагрузках при проведении 24-часовых тестов.
Выявление ограничений конфигурации, определение методов дальнейшего масштабирования и оптимизации.
Проверка продукта в различных сценариях

Используемое оборудование
Для тестовых установок «1С-Битрикс: Управление сайтом» использовался выделенный сервер «EuroDedicated Универсальный», предоставленный компанией .masterhost:
HP ProLiant DL120, 1×Intel Quad Core X3210, 1×1TB SATA, 8GB RAM
Обычный заурядный сервер, доступный каждому!
Аренда: 5 000 руб./мес.

ОС и серверное ПО
Система: CentOS 5.3 x86_64
bitrix-env.rpm – пакет для установки и настройки Linux окружения и продуктов «1С-Битрикс»:
mysql-server 5.1.х
httpd-server (Apache 2.2.х)
zend-server-ce-php
mod-php
nginx
memcached
catdoc
xpdf

1С-Битрикс: Веб-окружение Linux
Минимальные расходы на развертывание оптимальной конфигурации
Наилучшая производительность на выделенных под проект ресурсах
Сбалансированность под большие нагрузки
Автоматическое конфигурирование под ресурсы сервера
Проверено нагрузочными тестами
Проверено отделом безопасности
Оптимизировано для работы Корпоративного Портала
Инсталлятор продуктов «1С-Битрикс»
Бесплатно! Экономит 200-300 часов администрирования.

Тестируемые продукты
Редакция «Бизнес», «Интернет-магазин», демо-данные, редакция с большим набором модулей, веб-аналитикой, проактивной защитой и антивирусом, готовое решение для быстрого старта бизнеса, динамический контент, авторизация пользователей
Редакция «Старт», «Корпоративный сайт производственной компании», демо-версия, ограниченный набор модулей, отсутствие веб-аналитики, типичный сайт-визитка. Опция «HTML кеширование» выключена - оценка производительности программной платформы.
Редакция «Старт», опция «HTML кеширование» включена – оценка производительности промо-сайта, созданного и работающего на программной платформе «1С-Битрикс: Управление сайтом».

Тестирующее оборудование и ПО
Рабочая станция для установки ПО тестирования – выделенный сервер, предоставленный компанией .masterhost - «EuroDedicated-Win Универсальный»: HP ProLiant DL120 / Dual Core Intel Pentium E2160, 1.80GHz / 2x500GB SATA / 4GB RAM
Windows Server Web Edition 2003
ПО для генерации нагрузки и анализа результатов - WAPT 7.0
Сеть: 100 Мбит сетевые адаптеры на тестовом и тестирующем серверах

WAPT 7.0
http://www.loadtestingtool.com/
Гибкая регулировка нагрузки (количество одновременных подключений, скорость канала, задержка между хитами и т.п.)
Обширные возможности логирования и мониторинга
Большое количество отчетных данных

Профили пользователей

Профили пользователей

Профили пользователей

На старт! Внимание! Марш!
Файловая система ext3 с опцией noatime
fs.file-max = 999999
Отключены CustomLog (Apache) и access_log (nginx) для 24-часовых тестов
Прочие настройки автоматически установлены пакетом bitrix-env.rpm

Монитор производительности
«Бизнес»: до начала тестов (в состоянии покоя) – 66 единиц

Эталонный тест
Редакция «Бизнес»

Выбор условий тестирования
Ограничение скорости соединения (до 256k), изменение количества просматриваемых страниц в одной сессии и увеличение времени между хитами практически не влияют на сравниваемые показатели производительности.

Тест 2: Zend Server CE vs. APC
Zend Server CE – 12-минутные тесты
APC apc.shm_size=256 (Мб)
Скорость генерации страниц сократилась на 11%

Тест 3: PHP 5.2.6 vs. PHP 5.3.3
PHP 5.2 – 12-минутные тесты
PHP 5.3.3
Отличия в результатах – не более, чем на 1% в разные стороны

Тест 4: продукт – хранение сессий в БД
Эталон – 12-минутный тест
Сессии в БД
Скорость генерации страниц сократилась на 3%

Тест 5: продукт – хранение кэша в memcached
Эталон – 12-минутный тест
Кэш в memcached
Скорость генерации страниц сократилась на 15%

Тест 6: влияние модуля веб-аналитики
На 12-часовом тесте – значительно падение скорости генерации страниц:
потребление mysqld до 120% ядра CPU
load average – до 12-13
Почему?

Тест 6: диагностика
Общая оценка производительности упала примерно в 3 раза

Тест 6: диагностика
Закладка «Разработка» показывает страницы, создающие максимальную нагрузку

Тест 6: диагностика

Тест 6: диагностика… и «лечение»
Максимальное время выполнения у запроса к B_STAT_SESSION, который выполняется по индексу (IP_FIRST_NUMBER,DATE_STAT типа Date).
Генерация нагрузки – с одного IP адреса. Соответственно индекс обладал нулевой избирательностью.
Для исправления ситуации (приближения к реальной жизни), изменим случайным образом данные в таблице B_STAT_SESSION:
mysql > update b_stat_session set IP_FIRST_NUMBER = FLOOR(1520000000 + RAND() * (232669));
При повторном тестировании получаем скорость генерации - 85 стр./сек.
Таким образом, модуль веб-аналитики в наших тестовых условиях снижает скорость генерации страниц на15%.

Тест 7: влияние модуля проактивной защиты
Эталон – 12-минутный тест
Проактивная защита включена
Скорость генерации страниц сократилась на 3%

Тест 8: влияние веб-антивируса
Эталон – 12-минутный тест
Веб-антивирус включен
Скорость генерации страниц сократилась на 5%

Тест 9: влияние прочих модулей
Эталон – 12-минутный тест
Включены: блоги, веб-сервисы, формы, обучение и т.д.
Скорость генерации страниц сократилась на 3%

Оценка производительности продукта
Сценарии «боевых» тестов:
Тест 10: оценка производительности интернет-магазина, созданного и работающего на программной платформе «1С-Битрикс: Управление сайтом» (редакция «Бизнес», опция «HTML кеширование» выключена, опция «Проактивный фильтр (Web Application Firewall)» включена).
Тест 11: оценка производительности программной платформы «1С-Битрикс: Управление сайтом» (редакция «Старт», опция «HTML кеширование» выключена).
Тест12: оценка производительности промо-сайта, созданного и работающего на программной платформе «1С-Битрикс: Управление сайтом» (редакция «Старт», опция «HTML кеширование» включена).

Тест 10: «Бизнес», «Интернет-магазин»
8 511 355 страниц в сутки
21 925 авторизованных пользователей интернет-магазина
13 155 оформленных заказов в интернет магазине

Тест 11: «Старт»
12 420 746 страниц в сутки

Тест 12: «Старт», «Промо-сайт»
Уже при скорости 300 стр./сек. ограничивающим фактором стал сетевой интерфейс (100 Мбит).
При отключенной статике стабильная работа системы продолжалась при скорости генерации страниц около 1000-1100 стр./сек.

Тест 12: «Старт», «HTML кеширование»
85 103 456 страниц в сутки
Лимит нагрузки был достигнут из-за ограничения сетевых интерфейсов (100 Мбит) на сервере и тестирующей станции. В данном тесте была отключена выдача статического контента, 1 хит - 1 страница (без js, css, jpg, gif и т.п. файлов).

Результат на стандартном оборудовании
Результаты нагрузочного тестирования подтверждают, что «1С-Битрикс: Управление сайтом» стабильно работает в условиях сверхбольших нагрузок.
В условиях реальных приложений полученные в тестах цифры могут служить ориентиром для настройки приложения и принятия решения о необходимости масштабирования веб-сервера и базы данных.

Проекты с высокой нагрузкой