Технологии глобальных сетей

Движущие силы экспансии Ethernet
Ethernet операторского класса (Carrier Ethernet, или Carrier Grade Ethernet) — это сравнительно новый термин, под которым скрывается целый спектр различных технологий, а также новые виды услуг, которые операторы связи предоставляют в глобальном масштабе.
В эти технологии входит усовершенствованная версия Ethernet, а также MPLS и технологии первичных сетей, такие как SDH, OTN и DWDM.
Классическая технология Ethernet разрабатывалась исключительно как технология локальных сетей, и до недавнего времени сети этого класса и были единственной областью ее применения. Однако бесспорный успех Ethernet в локальных сетях, где она вытеснила все остальные технологии, привел к напрашивающейся идее об использовании этой технологии и в глобальных сетях (которые по большей части являются операторскими). Эта услуга может у разных провайдеров называться по-разному — Carrier Ethernet, Ethernet VPN, VPLS, ELINE или ELAN.
Потенциальных преимуществ от экспансии Ethernet за пределы локальных сетей несколько:
1.Для Пользователей:
соединять свои территориально рассредоточенные сети LAN на уровне коммутаторов Ethernet и без привлечения протокола IP.
соединив сети на канальном уровне, пользователи свободны в выборе IP-адресов для своих сетей, т.е. они могут применить частные IP – адреса 192.168.Х.Х
Версии Ethernet операторского класса

2. Для провайдеров Ethernet операторского класса важна и как популярная услуга, и как внутренняя быстрая транспортная технология канального уровня.
3. Низкая стоимость портов Ethernet по сравнению с портами любой другой технологии.
4. Унификация - сетевой уровень уже давно демонстрирует однородность благодаря доминированию протокола IP, и перспектива получить однородный канальный уровень в виде Ethernet выглядит очень заманчивой.
Для того чтобы успешно работать в сетях операторов связи, технология и воплощающее ее оборудование должны обладать определенным набором характеристик, среди которых, в первую очередь, нужно отметить надежность, отказоустойчивость, масштабируемость и управляемость. Эталоном такой технологии может служить технология SDH. Ethernet в своем классическом виде технологии локальной сети не готова стать технологией глобальных сетей.
Чтобы соперничать с SDH или MPLS, превратившись в технологию операторского класса, Ethernet надо улучшить свою функциональность, при этом наиболее важным является решение двух задач:
Эксплуатационные и административные характеристики должны поддерживаться протоколами администрирования и обеспечивать мониторинг состояния соединений, а также локализацию и устранение неисправностей.
Версии Ethernet операторского класса

Необходимо принципиально обеспечить изоляцию адресных пространств сети Ethernet провайдера от адресных пространств сетей Ethernet пользователей. Пространство МАС- адресов Ethernet является плоским, так что если сеть Ethernet провайдера соединить непосредственно (а не через маршрутизатор) с сетями Ethernet пользователей, то всем коммутаторам сети Ethernet провайдера придется иметь дело с МАС- адресами пользовательского оборудования, а у крупного провайдера их может насчитываться сотни тысяч.
Различные варианты реализации услуги
Разработчики технологии глобальной Ethernet -пытаются решить обе задачи. Основное условие, которое должно быть выполнено, это: для пользователя глобальная услуга Ethernet всегда предоставляется с помощью набора стандартных интерфейсов Ethernet (Ethernet UNI) на каналах доступа к сети провайдера.
Эти интерфейсы поддерживают одну из спецификаций Ethernet физического уровня, например 100Base-FX или 1000Base-LX, а также стандартные кадры Ethernet. Кроме того, существует некоторое описание услуги, которое определяет ее основные параметры, такие как топологию взаимодействия сетей пользователей (например, двухточечную, как показано на рисунке, звездообразную или полносвязную), пропускную способность логического соединения или же гарантированный уровень качества обслуживания кадров.
Версии Ethernet операторского класса

Рис. 6-34.1. Различные варианты реализации услуги Carrier Ethernet
Версии Ethernet операторского класса

Однако внутренняя организация такой услуги в пределах сети разных провайдеров может отличаться значительно
Сегодня можно выделить три основных варианта подобной организации в зависимости от используемой внутренней транспортной технологии.
Ethernet поверх MPLS (Ethernet over MPLS, EoMPLS). В этом случае MPLS-туннели используются как основной транспортный механизм провайдера, позволяющий эмулировать услугу Ethernet для клиентов. Технология MPLS зрелая технология с более чем 10-летней историей, обладает необходимыми качествами для операторов связи, а именно:
поддержка детерминированных маршрутов;
наличие механизма быстрой перемаршрутизации, обеспечивающего быстрое (сравнимое с SDH) переключение с основного маршрута на резервный;
развитые средства контроля работоспособности соединений.
Сегодня данный подход является одним из самых распространенных при реализации услуги Ethernet VPN в сетях операторов связи.
Версии Ethernet операторского класса

Стандартизация Ethernet как услуги
Работой по созданию технологически нейтральных спецификаций глобальной услуги Ethernet занимается организация под названием Metro Ethernet Forum (MEF).
Использование термина Metro в названии этой организации отражает начальную ситуацию развития Ethernet операторского класса, когда такие услуги предоставлялись в основном в масштабах города.
Организация MEF разработала несколько спецификаций, которые позволяют потребителю и поставщику услуги разработать нужный вариант услуги Ethernet, используя терминологию и параметры, независящие от конкретной внутренней реализации этой услуги провайдером (например MPLS или SDH).
В MEF вводится три типа услуг виртуальных частных сетей Ethernet, которые отличаются топологией связей между сайтами пользователей.
Соответственно, имеются три типа виртуального соединения Ethernet (Ethernet Virtual Circuit, EVC), объединяющих сетевые интерфейсы пользователей (User Network Interface, UNI). (Рис. 6-34.2):
«точка-точка» (двухточечная топология);
«каждый с каждым» (полносвязная топология);
«дерево» (древовидная топология).
Версии Ethernet операторского класса

Рис. 6-34.2. Три типа услуг Ethernet
Версии Ethernet операторского класса

Версии Ethernet операторского класса
Рис.6-34.3. Возможные топологии EVC:
А) - точка-точка (E-Line);
Б) - многоточка-многоточка (E-LAN);
В) - точка-многоточка (Е-Тгее)

В зависимости от типа используемого соединения различаются и типы услуг:
E-LINE- услуга связывает только два пользовательских сайта через двухточечное EVC-соединение - соответствует услуге выделенной линии.
E-LAN- услуга аналогична услуге локальной сети, так как она позволяет связать неограниченное число пользовательских сайтов таким образом, что каждый сайт может взаимодействовать с каждым. При этом соблюдается логика работы локальной сети — кадры Ethernet с неизученными и широковещательными МАС- адресами передаются всем сайтам, а кадры с изученными уникальными МАС- адресами — только тому сайту, в котором находится конечный узел с данным адресом.
E-TREE- в локальных сетях ей аналога нет. Пользовательские сайты делятся на корневые и листовые. Листовые сайты могут взаимодействовать только с корневыми, но не между собой. Корневые сайты могут взаимодействовать друг с другом.
Кроме того, в спецификациях MEF вводятся два варианта каждого типа услуги и использует термины «частная услуга» и «виртуальная частная услуга».
Они классифицируются по двум признакам: топологии виртуальных соединений и тем, как происходит идентификация: физически на основе порта или логически на основе виртуальной сети (Virtual LAN, VLAN). Благодаря VLAN в пользовательском оборудовании достаточно одного физического порта для нескольких виртуальных соединений.
Версии Ethernet операторского класса

В первом варианте пользовательский сайт определяется как сеть, подключенная к отдельному физическому интерфейсу UNI. Значения идентификаторов VLAN в пользовательских кадрах в расчет не принимаются. В названии этого варианта услуги к названию типа добавляется термин «частный» (private), например, для услуги типа E-LINE этот вариант называют частной линией Ethernet (Ethernet Private Line, EPL).
В другом варианте услуги к одному и тому же физическому интерфейсу UNI могут быть подключены различные пользовательские сайты. В этом случае они различаются по значению идентификатора VLAN. Другими словами, провайдер внутри своей сети сохраняет деление локальной сети на VLAN, сделанное пользователем. В варианте услуги с учетом VLAN добавляется название «виртуальная частная», например, для услуги типа E-LINE это будет виртуальная частная линия Ethernet (Ethernet Virtual Private Line, EVPL).
Помимо указанных определений услуг, спецификации MEF стандартизуют некоторые важные параметры услуг, например, услуга может характеризоваться гарантированным уровнем пропускной способности соединения, а также гарантированными параметрами QoS.
Терминология MEF постепенно набирает приверженцев в мире.
Версии Ethernet операторского класса

23 февраля 2012 года изобретатель Ethernet Боб Меткалф представил новое поколение Ethernet – Carrier Ethernet 2.0 (CE 2.0).
Первое поколение Carrier Ethernet, которое сейчас стали обозначать CE 1.0, обеспечивало оказание стандартизированных услуг в сети одного поставщика услуг. CE 2.0 поддерживает различные приложения в нескольких взаимосвязанных сетях различных операторов региональных и глобальных сетей. CE 2.0 отличают три важнейшие новые особенности:
несколько классов обслуживания (Multi-CoS); (теперь для каждого класса определены требования к основным параметрам производительности.)
Взаимосвязанность;(означает стандартизацию обмена трафиком между операторами, что позволит операторам обеспечивать для пользователей сквозное обслуживание из конца в конец с единым соглашением об уровне обслуживания (Service Level Agreement, SLA).)
управляемость. означает возможность осуществлять сквозное управление устранением неисправностей (Fault Management) и мониторинг параметров работы (Performance Monitoring) в нескольких взаимосвязанных сетях. В частности, обеспечивается возможность локализации неисправностей.
Версии Ethernet операторского класса

В CE 2.0 появились новые понятия и дополнения:
к существующим интерфейсам- пользователь– сеть (User-to-Network Interface, UNI) и межсетевой интерфейс (Network-to-Network Interface, NNI) добавлен новый стандарт для внешних, т.е. меж операторских межсетевых интерфейсов (External NNI, ENNI);
в дополнение к EVC появилось новое понятие: операторское виртуальное соединение (Operator Virtual Connection, OVC), которое определяется как ассоциация UNI и ENNI.
На основе OVC новая спецификация MEF 33 определяет службу E-Access. Она предлагается поставщиком доступа (оператором сети доступа) как часть обеспечения EVC для пользователя услуг из конца в конец .Таким образом, в CE 2.0 определены восемь видов услуг (см. таблицу).
Версии Ethernet операторского класса

Версии Ethernet операторского класса

Версии Ethernet операторского класса
Рис 6-34.4 Служба E-Access

Помимо очевидной проблемы с количества МАС- адресов (для крупного провайдера это значение может доходить до нескольких миллионов), есть еще проблема с их уникальностью — хотя система назначения адресов и призвана предотвратить дублирование «аппаратных» МАС- адресов, существуют еще и программируемые адреса, да и ошибки в прошивании аппаратных адресов тоже случаются.
Использование пользовательских меток VLAN в сети провайдера также приводит к проблемам. Во-первых, пользователям нужно договариваться о согласованном применении значений VLAN, чтобы они были уникальными для каждого пользователя, так как только тогда сеть провайдера сможет доставлять кадры нужным пользовательским сетям. Представить, как реализовать такую процедуру практически, очень непросто, ведь каждый новый пользователь приходит со своими значениями VLAN, и если заставлять его их переназначать, то можно потерять пользователя. Во-вторых, стандарт VLAN изначально не был рассчитан на глобальное применение и поэтому в нем предусмотрено только 4092 значения метки, что крайне мало для крупного провайдера.
Ethernet поверх Ethernet

Если посмотреть, как решаются эти проблемы в сетях провайдеров, построенных на других принципах, то мы увидим, что при использовании провайдером технологии IP МАС- адреса пользователей вообще не проникают в маршрутизаторы провайдера, а IP-адреса пользователей представлены в таблицах маршрутизаторов в агрегированном виде — прием, для плоских МАС- адресов недоступный. В сетях, реализующих рассмотренную ранее технологию EoMPLS, МАС- адреса и метки VLAN пользователей применяются только в пограничных маршрутизаторах провайдера, а в магистральных маршрутизаторах они не работают — там их заменяют два уровня меток MPLS.
Маршрутизация, инжиниринг трафика и отказоустойчивость
Операторы связи привыкли к ситуации полного контроля над путями следования трафика в своих сетях, что обеспечивает, например, технология SDH. В IP-сетях степень контроля оператора над маршрутами трафика очень низкая, и одной из причин популярности технологии MPLS служит то, что она привнесла в IP-сети детерминированность маршрутов.
Ethernet поверх Ethernet

Другой желательной для операторов характеристикой сети является отказоустойчивость маршрутов, то есть возможность быстрого перехода на новый маршрут при отказах узлов или линий связи сети. Технология SDH всегда была в этом плане эталоном, так как обеспечивает переход с основного на заранее проложенный резервный путь за десятки миллисекунд. MPLS также обладает подобным свойством.
В сетях Ethernet маршрутизация трафика и отказоустойчивость обеспечиваются протоколом покрывающего дерева (STP). Этот протокол дает администратору сети очень ограниченный контроль над выбором маршрута (это справедливо и для новых вариантов STP, таких как RSTP и MSTP). Кроме того, покрывающее дерево является общим для всех потоков независимо от их адреса назначения. Ввиду этих особенностей протокол STP/RTP является очень плохим решением в отношении инжиниринга трафика. Отказоустойчивость маршрутов также обеспечивается STP, и хотя новая версия RTP значительно сократила время переключения на новый маршрут (с нескольких десятков секунд до одной-двух), до миллисекундного диапазона SDH ей очень далеко. Все это требует нового подхода к маршрутизации потоков в сетях СЕТ, и IEEE работает над этой проблемой.
Ethernet поверх Ethernet

Функции эксплуатации, администрирования и обслуживания
Функции эксплуатации, администрирования и обслуживания (Operation, Administration, Maintenance, ОАМ) всегда были слабым звеном Ethernet, и это одна из главных причин, по которой операторы связи не хотят применять эту технологию в своих сетях. Новые стандарты, предлагаемые IEEE и ITU-T, призваны исправить эту ситуацию, вводя средства, с помощью которых можно выполнять мониторинг достижимости узлов, локализовывать неисправные сегменты сети и измерять уровень задержек и потерь кадров между узлами сети.
Первая группа функций направлена на решение проблемы использования Ethernet для оказания услуги виртуальных частных сетей, а две остальные — на придание Ethernet функциональности, необходимой для применения Ethernet в качестве внутренней транспортной технологии оператора связи.
Ethernet поверх Ethernet

Функции эксплуатации, администрирования и обслуживания в Ethernet
К настоящему времени разработано несколько стандартов Ethernet, относящихся к функциям эксплуатации, администрирования и обслуживания:
IEEE 802.1ag. Connectivity Fault Management (CFM). Стандарт описывает протокол мониторинга состояния соединений, в какой-то степени это аналог протокола BFD.
ITU-T Y.1731. Стандарт комитета ITU-T воспроизводит функции стандарта IEEE 802.lag и расширяет их за счет группы функций мониторинга параметров QoS.
IEEE 802.3ah. Стандарт тестирования физического соединения Ethernet.
MEF E-LMI. Интерфейс локального управления Ethernet.
Ethernet поверх Ethernet

Интерфейс локального управления Ethernet
Стандарт E-LMI позволяет пограничному пользовательскому устройству, то есть устройству типа СЕ, запрашивать информацию о состоянии и параметрах услуги, предоставляемой сетью провайдера по данному интерфейсу. Например, пограничный коммутатор Ethernet, расположенный в сети пользователя, может запросить у пограничного коммутатора провайдера (то есть устройства РЕ) информацию о состоянии услуги E-LINE или E-LAN, предоставляемой по данному интерфейсу. Кроме того, согласно стандарту E-LMI, по запросу можно получить такую информацию об услуге, как отображение идентификатора VLAN пользователя на соединение EVC, характеризующее номер виртуальной частной сети, или же величина пропускной способности, гарантированной для данного соединения EVC.
Ethernet поверх Ethernet

Мосты провайдера
Стандарт IEEE 802.lad «Мосты провайдера» (Provider Bridge, РВ) был первым стандартом, который решал проблему изоляции адресного пространства сети провайдера от адресного пространства его пользователей. Этот стандарт был принят IEEE в 2005 году, и сегодня он реализован в коммутаторах Ethernet многих производителей.
Нужно сказать, что проблема изоляции адресных пространств решается в этом стандарте только частично, так как МАС- адреса пользователей по-прежнему присутствуют в коммутаторах сети провайдера, разделяются только пространства идентификаторов VLAN.
Стандарт РВ вводит двухуровневую иерархию идентификаторов VLAN (Рис. 6-34.10). На внешнем (верхнем) уровне располагается идентификатор VLAN провайдера, называемый S-VID (от Service VLAN ID — идентификатор сервиса VLAN), а на нижнем (внутреннем) уровне — идентификатор VLAN пользователя, называемый C-VID (от Customer VLAN ID — идентификатор VLAN потребителя).
Ethernet поверх Ethernet

Рис. 6-34.10. Инкапсуляция идентификаторов VLAN
Ethernet поверх Ethernet

Идентификатор S-VID помещается в пользовательский кадр пограничным коммутатором провайдера, он просто проталкивает C-VID в стек и добавляет новый идентификатор S-VID, который потребуется коммутаторам сети провайдера для разделения трафика на виртуальные локальные сети внутри сети провайдера. Этот способ инкапсуляции часто неформально называют инкапсуляцией Q-in-Q по названию стандарта 802.1Q, описывающего технику VLAN.
После того как пограничный коммутатор сети провайдера выполняет инкапсуляцию, кадр обрабатывается магистральными коммутаторами провайдера как обычный кадр, поэтому эти коммутаторы не обязаны поддерживать стандарт 802.lad.
Когда кадр прибывает на выходной пограничный коммутатор провайдера, над ним выполняется обратная операция — идентификатор S-VID удаляется. После этого кадр отправляется в сеть пользователя в исходном виде, имея в своем заголовке только идентификатор C-VID.
Внутренние сети VLAN провайдера, соответствующие значениям идентификаторов S-VID, обычно служат для конструирования услуг типа E-LAN. При этом провайдеру нет необходимости согласовывать логическую структуру своей сети с пользователями.
Ethernet поверх Ethernet

На Рис. 6-34.11 показана сеть провайдера, которая предоставляет потребителям две услуги типа E-LAN. Сайты С1, СЗ и С5 относятся к сервису E-LAN с идентификатором S-VID 156, а сайты С2, С4 и С6 — к сервису E-LAN с идентификатором S-VID 505.
Рис. 6-34.11. Сеть стандарта PB, предоставляющая две услуги типа E-LAN
Ethernet поверх Ethernet

Конфигурирование услуг E-LAN 156 и 505 выполнено без учета значений пользовательских идентификаторов VLAN на основании подключения сайта пользователя к некоторому физическому интерфейсу коммутатора провайдера. Так, например, весь пользовательский трафик, поступающий от сайта С1, классифицируется пограничным коммутатором РЕ1 как принадлежащий к виртуальной частной сети с S-VID 156.
В то же время стандарт РВ позволяет провайдеру предоставлять услуги и с учетом значений пользовательских идентификаторов VLAN. Например, если внутри сайта С1 выполнена логическая структуризация и существуют две пользовательские сети VLAN, трафик которых нельзя смешивать, провайдер может организовать для этого две сети S-VLAN и отображать на них поступающие кадры в зависимости от значений C-VID.
Ethernet поверх Ethernet

При своей очевидной полезности стандарт РВ имеет несколько недостатков.
Коммутаторы сети провайдера, как пограничные, так и магистральные, должны изучать МАС -адреса узлов сетей пользователей. Это не является масштабируемым решением.
Максимальное количество услуг, предоставляемых провайдером, ограничено числом 4096 (так как поле S-VID имеет стандартный размер в 12 бит).
Инжиниринг трафика ограничен возможностями протокола покрывающего дерева RSTP/MSTP. (большое время перехода на резервные пути.)
Для разграничения деревьев STP, создаваемых в сетях провайдера и пользователей, в стандарте 802.lad пришлось ввести новый групповой адрес для коммутаторов провайдера. Это обстоятельство не позволяет задействовать в качестве магистральных коммутаторов провайдера те коммутаторы, которые не поддерживают стандарт 802.lad.
Некоторые из этих недостатков были устранены в стандарте IEEE 802.lah, который был принят летом 2008 года.
Ethernet поверх Ethernet

Магистральные мосты провайдера
В стандарте на магистральные мосты провайдера (Provider Backbone Bridges, РВВ) адресные пространства пользователей и провайдера разделяются за счет того, что пограничные коммутаторы провайдера полностью инкапсулируют пользовательские кадры Ethernet в новые кадры Ethernet, которые затем применяются в пределах сети провайдера для доставки пользовательских кадров до выходного пограничного коммутатора.
Формат кадра 802.1 ah
При передаче кадров Ethernet через сеть РВВ в качестве адресов назначения и источника используются МАС -адреса пограничных коммутаторов (Backbone Edge Bridges, ВЕВ). По сути, в сети провайдера работает независимая иерархия Ethernet со своими МАС- адресами и делением сети на виртуальные локальные сети (VLAN) так, как это удобно провайдеру.
Из-за двух уровней МАС- адресов в кадрах провайдера стандарт РВВ получил также название MAC- in- MAC.
Ethernet поверх Ethernet

Формат кадра при такой инкапсуляции показан на Рис. 6-34.12. Здесь предполагается, что сеть РВВ провайдера принимает кадры от сетей РВ (возможно, другого провайдера), которые, в свою очередь, соединены с сетями пользователя. В этом случае интерфейсы между сетью РВВ и сетями РВ носят название NNI (Network to Network Interface — интерфейс «сеть-сеть»). В поступающих на пограничные коммутаторы сети РВВ кадрах имеется идентификатор S-VID, добавленный входным пограничным коммутатором сети РВ (и не удаленный выходным пограничным коммутатором сети РВ, так как такое удаление выполняется для интерфейсов UNI, но не для интерфейсов NNI). Наличие идентификатора S-VID во входных кадрах не является необходимым условием работы сети РВВ, это только возможный вариант; если сеть РВВ непосредственно соединяет сети пользователей, то входящие кадры поля S-VID не имеют.
Ethernet поверх Ethernet

Рис. 6-34.12. Формат кадров при инкапсуляции MAC-in-MAC 802.1 ah
Ethernet поверх Ethernet

Входной пограничный коммутатор сети РВВ добавляет к принимаемому кадру 6 новых полей, из которых четыре поля представляют собой стандартный заголовок нового кадра, в поле данных которого упакован принятый кадр. В этом заголовке МАС-адресами назначения и источника являются адреса интерфейсов входного и выходного пограничных коммутаторов сети, которые на Рис. 6-34.12 обозначены как В-МАС DA и В-МАС SA соответственно (буква «В» в этих обозначениях появилась от слова «backbone» — магистральный).
Эти адреса используются в пределах сети РВВ вместе с идентификатором виртуальной локальной сети B-VID для передачи кадров в соответствии со стандартной логикой локальной сети, разделенной на сегменты VLAN, и при этом совершенно независимо от адресной информации сетей пользователя.
Пользовательские МАС-адреса, а также идентификаторы S-VID и C-VID находятся в поле данных нового кадра и при передаче между магистральными коммутаторами сети РВВ никак не используются.
Ethernet поверх Ethernet