Разработка архитектуры катастрофоустойчивых центров обработки данных «О чем не надо забывать и о чем стоит подумать» Михаил Мыс

Центр обработки данных
ЦОД — комплекс программно -аппаратных средств, обеспечивающий работоспособность и доступность
ИТ-сервисов компании для решения
бизнес-задач и включающий:
Вычислительные мощности
Системы хранения данных
Сетевую инфраструктуру
Обеспечивающие (инженерные) системы
Помещение физической защиты
Системы управления и мониторинга

Цель создания ЦОД
Обеспечение безотказной работы ИС предприятия с требуемыми уровнями доступности, надежности, безопасности и управляемости
(При этом, уровень доступности определяется в том числе надежностью обеспечивающих систем, таких как электропитание, кондиционирование,…)

Риск потери данных и ИТ-сервисов
Потеря данных в результате ЧС является для многих компаний фатальной
Особенно это актуально для организаций с большой филиальной структурой и единым ЦОД
Хранение резервных копий в том же ЦОД делает вероятность фатального исхода максимальной
Плюс в финансовых организациях одно из основных требований к ИТ – высокая производительность, для on-line процессинга ИС должна работать в режиме
24 х 7, при вероятности безотказной работы 0,9999
Закон Мерфи:
«Если что-то может пойти не так – это случится!»
Закон Белла:
«Мерфи был оптимистом»

Консолидировать или?...
Консолидация информационных ресурсов в ЦОД с целью обеспечения необходимого уровня качества ИТ-сервисов, противоречит обеспечению катастрофоустойчивости ИС из-за возникновения «единой точки отказа» и увеличения вероятности полной потери ИС и данных в случае катастрофы или потери доступа к ЦОД

Катастрофоустойчивый ЦОД
Устойчивость ЦОД к катастрофам обеспечивается созданием распределенного катастрофо-устойчивого центра обработки данных (КЦОД), путем построения одного или нескольких территориально удаленных резервных ЦОД

Уровень готовности КЦОД
Возможные уровни готовности КЦОД:
Наличие резервного помещения ЦОД с готовой инженерной инфраструктурой и минимальными вычислительными мощностями
То же, но с необходимыми вычислительными мощностями для полного резервирования
То же, но с «холодным» резервированием данных
То же, но с «горячим» резервированием данных
Распределенная работа двух или более ЦОД
и т.п. …

Компромисс между уровнем надежности и готовности КЦОД и его стоимостью определяется исходя из задачи - обеспечить гарантированное функционирование ИС, доступность критичных ИТ-сервисов и сохранность данных в случае наступления ЧС
Баланс стоимости и готовности

КЦОД в финансовой компании
(одна из типичных ситуаций)
Особенности
Филиальная сеть
Централизованная обработка и хранение данных
Высокая критичность сохранности данных и доступности ИТ-сервисов
Вариант – размещение резервного ЦОД в помещении одного из географически-удаленных филиалов
Вариант – параллельная работа двух ЦОД, позволяющая не только реализовать «горячий» резерв, но и разделить задачи

Что необходимо решить?
Какие аппаратно-программные средства разместить в резервном ЦОД?
Какой необходим запас «мощности»?
Какой будет режим взаимодействия с основным ЦОД?
На каком расстоянии от основного расположить?
Какие пути обмена данными будут использоваться?
…
Ответы на эти вопросы определяются на основе анализа влияния возможных ЧС на бизнес

Архитектура ЦОД
Энергоснабжение
Климат.система
Вентиляция и
дымоудаление
Помещение ф.з.
Охранно-пожарная
сигнализация
Видеонаблюдение
Пожаротушение
Мониторинг
Серверы, кластеры
И Т – с е р в и с ы
Сист. резервн. копирования
ОС и ПО
Системы хран. данных
Сетевая и телек. подсистема
Разграничение
доступа

Помещение физической защиты
Обеспечивает необходимый уровень защиты от:
Пожара и/или задымления
Затопления или протечек
Резких температурных изменений
Взлома или частичного разрушения здания
Наличия электромагнитных излучений, пыли
Помещения ЦОД могут быть как отдельными с выполненным приспособлением, так и сборными серверными комнатами с модульной структурой, позволяющими создавать помещения произвольной формы в уже построенном здании

Критерии выбора помещения
Расчетная нагрузка на перекрытие - от 500 кг/кв.м
Наличие 2 независимых вводов от электросетей и запаса мощности
Возможность установки дизель-генератора
Подвалы и старые реконструированные здания часто обладают высоким риском заливов, пожаров и пр.
Возможность подъезда общественным транспортом
Этаж помещения желательно понижать (но не ниже первого)
Наличие возможности проноса оборудования
Прохождение систем водоснабжения, отопления или канализации через ЦОД либо над ним создает риск залива
Желательна, чтобы территория, прилегающая к ЦОД, охранялась по периметру
и др.

Гарантированное энергоснабжение
Система высокой критичности
Для КЦОД необходимо обеспечение первой (и вплоть до первой особой) категории электроснабжения
Необходимо учитывать перспективы развития на 4 - 5 лет (мощность потребляемая ЦОД в 100 кв.м., может
достичь 300 кВА)
Адаптивный подход – постепенное наращивание мощности и состава компонент ЦОД

Гарантированное энергоснабжение
Мобильный генератор требует большего времени для старта
Стационарный генератор требует наличия экологического проекта
Нагрузка на генератор не должна превышать 70% его мощности
Система энергоснабжения должна включать АВР и ИБП
Энергоснабжение резервируется и для критичных обеспечивающих систем

Система кондиционирования
Система высокой критичности
Выход системы кондиционирования
(холодоснабжения) из строя всего на
30 минут может повлечь за собой
нагрев помещения ЦОД до 60-70 град.
Температура от 19 до 24 град.,
влажность от 40 до 80 %
На 1 кВт энергопотребления -
- 1 кВт хладопроизводства
Резервирование системы эффективно
по схеме N+1
Согласованное(!) место установки внешних блоков теплообмена. Расстояние между внешними и внутренними блоками не должно превышать 100 метров
Высокая влажность –> выпадение росы
Сухой воздух –> малоэффективен для охлаждения, повышается электростатический потенциал,
сокращается срок службы изоляции

Охранно-пожарная сигнализация и система пожаротушения
Система высокой критичности
Все помещения, оборудованные системой газового пожаротушения, должны быть
оснащены световой и звуковой
сигнализацией
Пожарная сигнализация должна быть
состыкована со схемой управления
системой охлаждения, чтобы
производить аварийное отключение кондиционирующего оборудования
Система разграничения физического
доступа, включающаяся по сигналу
пожарной тревоги, должна автоматически разблокировать все помещения для обеспечения беспрепятственной эвакуации персонала
Помещение ЦОД должно быть оборудовано системой дымоудаления

Мониторинг состояния ЦОД
«профилактика болезни дешевле ее лечения»
Система мониторинга обнаруживает проблемы на ранней стадии
Контролируемые параметры:
Режим электропитания
Температура, влажность, точка росы
Задымление, наличие протечек воды
Доступ и видеонаблюдение
Единый центр мониторинга контролирует состояние всех серверных помещений круглосуточно
Наличие системы мониторинга позволяет иметь полную картину состояния ЦОД’ов в режиме реального времени и устранять различные проблемы до момента причинения ими вреда

О чем также не стоит забывать!
Организационные вопросы:
Регламент доступа в помещение
резервного ЦОД
Инструкции по штатному обслуживанию и реагированию на аварийные ситуации
Регламент работы эксплуатационных служб
Наличие рабочих мест в резервном ЦОД

О чем также не стоит забывать!
Вопрос собственности помещений или возможности «влияния» на собственника
Выделение мощностей энергосетью
Единая стратегия и корпоративные стандарты
Единые решения для филиальных ЦОД
Мониторинг инженерной инфраструктуры

Немного примеров из жизни
Пух в климатических системах
Некорректное резервирование энергоснабжения
«Солярку» не подвезли, а в другом месте заморозили
«Душ» для Superdome