Организация доставки видеоконтента пользователям

Содержание
Видео: организация файлового хранилища.
Вещания: ретрансляция.
Географическая распределенность: подход.
Географически распределенные видеофайлы и вещания.

Видеофайлы
Объем хранения:
на хранение 1 секунды видео требуется ~ 250 Кб (FLV, оригинал, 3GP, …);
средняя длительность видео ~ 4 минут;
для 1 млн. видео необходимо 60 Тб.
Одно видео = 5 файлов + 15 картинок.

Файловый сервер
Файловый сервер
(2-4 Тб, RAID)
просмотр видео, HTTP-streaming
«Морда» /
Сервер
кодирования
WebDAV
удаление, создание,
копирование файлов и т.п.

Кластер файловых серверов
Какой сервер выбрать?
diskfree
нагрузка
случайно
Файловый
сервер №1
Файловый
сервер №2
Файловый
сервер №n
…

Файловый сервер
Отдача контента (статика):
FLV-streaming (lighttpd, nginx);
Оригинал, 3GP, MPEG-4 – любой HTTP-сервер.
Управление файлами (WebDAV):
Apache, nginx, …
Доступ к файлам:
Любой WebDAV-клиент (PHP, Python, …)

Бэкап данных
Объем данных не позволяет использовать традиционные схемы.
Решение - кросс-бэкап:
Бэкап 2
Файлы 1
Бэкап 1
Файлы 2
1
2

Кросс-бэкап
Основа – rsync.
Проблема вычисления свободного места:
периодичность выполнения бэкапа.

Вещания
Клиент: Adobe Flash Player;
Сервер: Adobe FMS, pyFMS, …;
Протокол: RTMP;
Проблема – «мультиплицирование» потока на количество зрителей вещания.

Ретрансляция вещаний

Геораспределенность
Контент должен быть «близко» к потребителю:
региональное развитие (РФ);
международные рынки.
Проблемы:
сетевые каналы (пропускная способность);
разница в стоимости локального и внешнего трафика.

Посетитель
IP-адрес
Посетитель
Географическое
положение:
- страна;
- регион;
- город.
БД GeoIP

Ресурс
Ресурс
Сервер
Географическое
положение 1
Копии
ресурса
Зеркалирующие
сервера
Географическое
положение 2
Географическое
положение 3

Вычисление расстояний
Москва
Киев
Харьков
Хьюстон
Таллин
Пермь
Находка
20
5
15
40
30
5
10
20
15

Вычисление расстояний
Поиск кратчайшего пути во взвешенном орграфе.
Фиксированное количество концов пути: расположение серверов.
Слабосвязанный граф, кеширование вычисленных расстояний.

Выбор копии ресурса
Из мест расположения ресурса и его копий выбираем ближайший к пользователю;
Если таких мест несколько – выбираем случайно (в соответствие с весом).

Начисление бонусов
Всем местам, где ресурс отсутствует сегодня, начисляем бонус:
где k – коэффициент, определяющий скорость копирования ресурсов.

Копирование ресурса
Как только бонус ресурса относительно места превышает некоторый предел:
выполняется копирование ресурса на любой из серверов, расположенных в данном географическом месте.

Гео: видеофайлы
Ресурс – видеофайл;
Первичная копия ресурса – файл, расположенный на файловом сервере;
Копии ресурса – копии файла, расположенные на зеркалирующих файловых серверах;
Обращение к ресурсу – просмотр видео, скачивание;
Копирование ресурса – копирование файла на зеркалирующий файловый сервер.

Гео: вещания
Ресурс – вещание;
Первичная копия ресурса – вещание на сервере, к которому подключен автор вещания;
Копии ресурса – ретрансляция вещания;
Обращение к ресурсу – «вход» в вещание;
Копирование ресурса – создание нового источника ретрансляции.

Заключение
Результат:
контент надежно хранится;
хранилище масштабируется;
контент «приближается» к пользователю по мере необходимости.
Альтернативы:
CDN;
распределенные файловые системы.