Яндекс

О чем я хочу рассказать?
Развитии системы статистики
Проблемах и их решении

Зачем нужна система расчета статистики

Почему нужна система расчета статистики
Много проектов
Много данных
Потребовалось считать статистику регулярно и единообразно

Сначала данных и проектов было мало
< 10Gb в сутки

Исходная архитектура
в СУБД складываем только необходимые фрагменты строк из лога
СУБД резервируем
считаем возможности экстенсивного роста неограниченными
Проблема: конструкция не масштабируется.

Данных и проектов еще было мало
< 100Gb в сутки

Первая попытка масштабирования
кластеризация считающих машин("парсеров")‏
кластеризация СУБД
SAN с использование iscsi
Проблема: все пропало, сеть не может обеспечить нужную производительность :(

Когда данных стало 200-300Гб в сутки

Вторая попытка масштабирования
Пределы экстенсивного роста
Научились эффективно балансировать нагрузку на сеть (а именно TCP сессии iscsi)‏
Учли особенности работы с кластеризованной СУБД
Проблема: монолитность системы

Вторая попытка масштабирования
Пределы экстенсивного роста

Финальное решение

Сейчас ежесуточно статистика обрабатывает 2-3Тб данных

"оптимальность инструмента"‏ расчетов
разделение монолитной системы на обособленные функциональному признаку подсистемы
11
Пересмотр архитектуры

А будет еще больше…
Рост в 3-4 раза каждый год!

Пересмотр архитектуры: почему?
Недостатки старой архитектуры:
- сложности масштабирования
- монолитность системы
Достоинства старой архитектуры:
- единая точка входа
- SQL-интерфейс
- ну и то что она как-то работает :)

Пересмотр архитектуры: почему?
Недостатки новой архитектуры:
Необходимость локализации расчетов
Достоинства новой архитектуры Масштабируемость
Надежность
Большая емкость вычислительных и сетевых ресурсов

Итог:
Нерешаемые проблемы решаются просто
Децентрализация системы сильно упрощает ее обслуживание. Децентрализация системы повышает ее надежность.
(возможно этот слайд нафиг не нужен)‏

Итог:
Децентрализация системы
Специализация
компонентов
Автономность
компонентов
«Простота»
компонентов
Отказоустойчивость
Производительность
Простота в обслуживании
и высокая эффективность