Сети датацентров и виртуализация. Вычислительные сети и телекоммуникации

Внутренний вид среднестатистического датацентра

Основные технические вызовы в классическом ДЦ
Электропитание (300 Вт на юнит, 10-12 КВт на стойку,резерв)
Охлаждение (1 КВт ~ 3400 BTU/час, резерв)
Пожаротушение (фреон, углекислота, порошок уходи)
Управление трафиком
Контроль доступа
Борьба с владельцами здания

Жизненный цикл среднестатистического клиента
Shared-хостинг
Облачный сервер
Аренда сервера
Co-location

Рост вычислительной мощности на ватт

Рост плотности записи HDD и SSD

Увеличение плотности компоновки устройств
HP DL380G4
2004 год
HP DL380 Gen9
2014 год

Изменение направления трафика

Стандартная трехуровневая архитектура

Классический ДЦ с архитектурой Top of Rack (ToR)

Классический ДЦ с архитектурой Top of Rack (ToR)
Достоинства
Медная проводка сосредоточена в пределах стойки
Меньшая стоимость и большая организованность кабелей
Возможность увеличения скоростей в будущем
Легкость добавления стоек
Недостатки
Большее количество коммутаторов
Худшая масштабируемость с точки зрения STP
Чистая L2-сеть до уровня aggregation
Сложность управления конфигурацией коммутаторов

Классический ДЦ с архитектурой End of Row (EoR)

Классический ДЦ с архитектурой End of Row (EoR)
Достоинства
Меньшее количество коммутаторов
Лучшая масштабируемость с точки зрения STP
Меньшее количество портов на уровне aggregation
Общая точка конфигурирования на весь ряд
Недостатки
Безумная медная проводка через весь ряд
Сложность поддержания патч-панелей в порядке
Увеличение скоростей выше 10G крайне проблематично
Добавление стойки превращается в войсковую операцию

Архитектура Leaf-Spine (сети Клоза)

Архитектура Leaf-Spine (сети Клоза)
Достоинства
Высокая отказоустойчивость
Ориентация на горизонтальные потоки трафика
Высокая производительность за счет отказа от STP
Мгновенная реконфигурация при сбоях
Недостатки
Отсутствует L2-домен как класс
Увеличение стоимости коммутаторов и проводки
Сложный технологический стек
Неочевидный процесс поиска решения проблем

А теперь со всем этим мы попытаемся взлететь..

Классический сценарий балансировки/резервирования нагрузки

Классический сценарий географического резервирования кластера

Общие особенности сетей виртуальных машин
Чего хочется
Как правило требуется L2-связность на уровне гипервизоров
Желательна L2-связность для СХД
Клиенты хотят строить собственные сети поверх сетей ДЦ
Клиенты хотят самостоятельно конфигурировать эти сети
Клиентские сети должны тоже быть L2-прозрачны
Что есть
L2 только между гипервизором и leaf-коммутатором
Кругом L3-маршрутизация с ECMP
Много быстрых процессоров и толстых каналов связи

Оверлейные сетевые технологии (Overlay Networks)
В железе
Кадр L2 покидает гипервизор как есть
Leaf-коммутатор инкапсулирует L2 в L3, т.е. кадр Ethernet помещается внутрь пакета IP (yeah, baby!)
L3-пакет вычурным образом маршрутизируется внутри ДЦ и, возможно, через WAN
На Leaf-коммутаторе назначения исходный L2-кадр вынимается из пакета L3
Кадр L2 передается гипервизору как есть
Реализации – TRILL, SPB, FabricPath

Оверлейные сетевые технологии (Overlay Networks)
В софте
Кадр L2 инкапсулируется в пакет L3 непосредственно на гипервизоре внутри виртуального коммутатора
L3-пакет вычурным образом маршрутизируется через Leaf-Spine внутри ДЦ и, возможно, через WAN
Кадр L2 вынимается из пакета L3 непосредственно на гипервизоре назначения
Реализации – VXLAN, NVGRE

Оверлейные сетевые технологии (Overlay Networks)
Общие проблемы
Необходимость построения топологии конечных и промежуточных узлов. TRILL использует IS-IS, VXLAN использует BGP
Таблица MAC-адресов становится распределенной
Broadcast и multicast трафик становится опасным
Значительное сокращение полезного MTU
Возможно появление медленных и слабо выявляемых петель

TRILL (Transparent Interconnection of Lots of Links)

TRILL (Transparent Interconnection of Lots of Links)

VXLAN

VXLAN