Практика внедрения BGP Flowspec в сети оператора связи

BGP Flowspec
О сервисе:
RFC5575
Позволяет передавать Flow Specification по протоколу BGP
Можно представить как распределенный access-list на сети провайдера
Часто используется для предотвращения некоторых видов DDoS атак на четвертом уровне OSI (Amplification/UDP flood).

Flow Specification
Параметры
(передаются как NLRI):
Destination prefix
Source prefix
IP protocol
Port
Destination port
Source port
ICMP type
ICMP code
TCP flags
Packet length
DSCP
Fragment
Действия (передаются как extended-community):
Traffic-rate
Traffic-action
Redirect
Traffic-marking

Типичный сценарий атаки (до ddos)

Типичный сценарий атаки (ddos)

Типичный сценарий атаки(используем flowspec)

Рассмотренные варианты внедрения
Включение address-family IPv4/IPv6 flowspec на PE маршрутизаторах и клиентских сессиях :
Валидация правил? (vendor-specific, more-specific, etc)
Возможность «потерять» PE при приеме некорректного правила
Необходима поддержка BGP FS в «железе»
Написание ПО(контроллер BGP FS):
Возможность любого типа валидации
Отделение сети оператора от клиентских сессий BGP FS
Возможность установки правил без аппаратной поддержки у клиента
Возможности масштабирования

Валидация правил
Обязательное наличие destination prefix
Destination prefix должен быть лучшим маршрутом в сети оператора, и приниматься с клиентской сессии
Запрет спецификации портов(dst/src) не с протоколами tcp/udp
Запрет указания tcp-flag не в протоколе tcp
Запрет указания icmp-type/code не в протоколе icmp
Ограничения с учетом используемого оборудования на сети (vendor-specific).

Внедрение BGP Flowspec

Внедрение BGP Flowspec (+ статистика/мониторинг)

Внедрение BGP Flowspec ( + web requests)

Статистика и мониторинг
Съем статистики с маршрутизаторов
Отправка метрик в систему статистики
Периодическая ревалидация правил
Контроль наличия правил в маршрутизаторах

Web портал
Статистика и управление правилами
Просмотр истории по выставленным правилам
Экспорт счетчиков правил (match/drop) в json
Возможность передавать flowspec:
Для клиентов с маршртутизаторами без поддержки bgp flowspec
В случае отсутствия доступа к сети/маршрутизатору
Просто/быстро/удобно

Установка flowspec через web

Примеры графиков
У клиентов в личном кабинете:
У администраторов ☺ :

Rate-limit
В Cisco ASR9K flowspec применяется на входе -> при наличии N линков(на разных NP) возможны подобные ситуации.

Детектирование DDoS
Атаки на полосу(UDP Flood/Amplification):
BGP Flowspec применим практически ко всем случаям
Детектирование достаточно незатратно(Netflow/Sflow), в том числе и на транзите
Атаки на сетевой стек(Syn/Ack flood, conntrack …):
BGP Flowspec применим редко
Детектирование на транзите не всегда возможно
Application-based атаки:
BGP Flowspec неприменим
Простое детектирование на транзите невозможно (без DPI и аналитики)

Топ 10 типов ddos атак (AKAMAI)
BGP Flowspec применим более чем в 75% случаев

Cтатистика (Раском)
Выборка из >5000 реальных правил

Cтатистика (Раском)

Cтатистика (Раском)
>85% трафика ddos атак, детектированных с помощью BGP Flowspec(клиентские правила)
приходят с зарубежных стыков (в основном Tier1 операторы)

Hardware limitation. Не рекомендуется использовать flowspec в качестве перманентных access-list и всегда убирать неиспользуемые
Bad validation. Не стоит испытывать прочность операторской(вендорной) валидации правил и всегда следовать RFC:
Падение ядра сети Cloudflare (match packet-length >64K)
Во время тестов неккоректными правилами несколько раз потерян Juniper vMX(вылет RPD)
Understanding. Если нет понимания о bgp flowspec и его применениях, то не стоит применять эту услугу.
Рекомендации

Планы на развитие
Введение второго контроллера на базе GoBGP
Резервирование
Страховка от «багов» ПО
API
Установка/снятие правил
Статистика (raw)
Информирование/снятие правил по которым нет трафика
Интеграция c продуктом детектирования атак на базе netflow/sflow
Доработка web-портала