Быстрое развертывание шаблонов и статики в Mail.Ru Кондратов Николай Технический руководитель почтовой службы

HighLoad++ 2010
О чем мы?
система шаблонов
организация работы верстальщиков
процесс разработки и тестирования
тестовая среда
VCS
развертывание

HighLoad++ 2010
Хорошая система работы со статикой:
удобство и скорость в работе
версионность и бэкап
параллельная работа верстальщиков
независимая разработка фич
параллельное тестирование
независимое внедрение фич
быстрое развертывание на серверах
быстрый откат

HighLoad++ 2010
Система шаблонов
HTML-текст с командами управления
переменные, функции, инклуды, условия, etc. на фронтендах – компилированные
одни шаблоны для Perl, С, Python
##SetVars(UserName=Вася)##
Привет, ##UserName##!

HighLoad++ 2010
Как это было: CVS
Схема репозитория
mail.ru/
mail/
templates/
images/
js/
css/
my/ photo/
video/
Что лежит:
шаблоны
картинки
swf
бинарные файлы
etc.
Почта
Мир
Фото

HighLoad++ 2010
Как это было: работа верстальщика
сцепление версий
Проблемы
одна ветка в CVS теги для версионности
vasya
petya
vasya

HighLoad++ 2010
Как это было: работа верстальщика
долгое внесение изменений
«мусорные» коммиты
Проблемы
любая раскладка – через репозиторий
боевая и тестовая раскладка – по одной схеме

HighLoad++ 2010
Как это было: раскладка
CVS
deploy
upload
Фронтенды (Почта, Мир, etc.)
БД
Мониторинг
верстальщик
ssh

HighLoad++ 2010
Как это было: минусы
долгий процесс разработки
шаблоны всех проектов на всех фронтендах
долгое распространение шаблонов

HighLoad++ 2010
Как это было: минусы CVS
размер репозитория – 2,8 Гб, 55 тыс. файлов
медленный
тяжелые ветки
плохой мердж

HighLoad++ 2010
Что сделали
перевод репозитория CVS ? git
разделение репозиториев
использование веток реорганизация тестового окружения
изменение схемы работы верстальщиков
дополнительная логика при раскладке шаблонов
Ускорение разработки. Как?

HighLoad++ 2010
Переход на git – разделение репозиториев
разделили репозитории (статика и шаблоны)
git с шаблонами – 600 Мб (около 16 тыс. файлов)
git со статикой – 3.2 Гб (около 38 тыс. файлов)
Статика
Шаблоны
картинки
бинарные данные
шаблоны
CSS
JS

HighLoad++ 2010
Переход на git – разделение на ветки
разделили на ветки:
master prerelease
ветки разработки

HighLoad++ 2010
Переход на git - хуки
hooks:
проверка синтаксиса шаблонов
обработка шаблонов
автоматическая раскладка
etc.

HighLoad++ 2010
Процесс разработки
создаем ветку на основе master
вносим изменения
коммитим, тестируем
переносим изменения из ветки в prerelease
тестируем prerelease
переносим изменения из prerelease в master
раскладываем

HighLoad++ 2010
Общая схема (потоки данных)

HighLoad++ 2010
Общая схема (действия)
hook
http
http
samba
ssh
scp
scp

HighLoad++ 2010
Тестовые серверы
DOCUMENT_ROOT сервера – директория с шаблонами
dev.mail.ru – master
branch-1.dev.mail.ru – ветка branch-1
виртуальные машины с общим диском
размер каждой директории – около 200 Мб
количество веток – около 500
для полного хранения – 100 Гб

HighLoad++ 2010
FUSE (Filesystem on Userspace)
храним только отличающиеся файлы
отключаем компиляцию шаблонов
недостающие файлы в ветке берем из master
итоговый размер 5 Гб
branch-1.mail.ru/*
mail.ru/*
deploy/branch-1/*
FUSE

HighLoad++ 2010
mail.ru/ master
1.htm
2.htm
deploy/
branch-1/ branch-1
2.htm (измененный файл)
mail.ru.deploy/
mail.ru.branch-1/ (DOCUMENT_ROOT для branch-1.dev.mail.ru)
FUSE (Filesystem on Userspace)

HighLoad++ 2010
mail.ru/ master
1.htm
2.htm
deploy/
branch-1/ branch-1
2.htm (измененный файл)
mail.ru.deploy/
mail.ru.branch-1/ (DOCUMENT_ROOT для branch-1.dev.mail.ru)
FUSE (Filesystem on Userspace)
http://branch-1.dev.mail.ru/1.htm
FUSE
1.htm

HighLoad++ 2010
mail.ru/ master
1.htm
2.htm
deploy/
branch-1/ branch-1
2.htm (измененный файл)
mail.ru.deploy/
mail.ru.branch-1/ (DOCUMENT_ROOT для branch-1.dev.mail.ru)
FUSE (Filesystem on Userspace)
http://branch-1.dev.mail.ru/2.htm
FUSE
2.htm

HighLoad++ 2010
git + windows
длинная цепочка действий для раскладки
принцип «сохранил – увидел»
решение – Samba + перенос репозитория
git
верстальщик
Вася
samba
ssh
/home/vasya/
Проблемы

HighLoad++ 2010
Процесс:
клонирование репозитория в /home/vasya
редактирование через Samba
проверка на vasya.dev.mail.ru
новая ветка (на основе master)
push
раскладка по хуку на тестовый сервер
мердж в prerelese
раскладка по хуку
мердж в master
ручная раскладка на живые
Samba

HighLoad++ 2010
Раскладчик
модульность
проверка шаблонов
различная обработка разных типов файлов
компиляция шаблонов
ищем diff
зависимости
обработка
компиляция
архивация
заливка по scp

HighLoad++ 2010
Раскладчик – вкусности
условная обработка файла в зависимости от меток в нем
JS
сборка
минимизация
именование файлов
Шаблон
переводы строк
перекодировка
и любые глупости

HighLoad++ 2010
Раскладчик – пример метки
метка в первой строке файла
JS
// @build
// @build-minify
Шаблон
build-strip-newlines --> build-strip-newlines -->

HighLoad++ 2010
Мониторинг раскладки
инкрементный номер каждой раскладки
в БД – позиция на каждом сервере
мониторим состояние раскладчика
мониторим позиции на каждом сервере

HighLoad++ 2010
Результаты
упростили жизнь верстальщикам
возможность параллельной разработки фич
ускорение отладки и тестирования
улучшение работы с репозиторием

HighLoad++ 2010
Но есть проблема…
узкое место – получение архивов с шаблонами из одного источника
upload
f1
f2
f3
f1373

HighLoad++ 2010
Простое решение… шардинг
увеличить количество отдающих серверов
uploadN
f1
f2
f(N-1)
fN
upload1
…………..

HighLoad++ 2010
Хорошее решение: peer-to-peer
с upload-сервера отдача в режиме супер-сидирования
фронтенды обмениваются между собой
f1
f2
f3
fN
upload