Протокол Ethernet: как его эффективно использовать и не сойти с ума

Сферы применения Ethernet: почему именно он?

Специалисты по технологиям связи отмечают многочисленные неудобства протокола Ethernet. «Он не гарантирует доставку кадров: допускает коллизии и переполнение очередей, теряет пакеты, петляет. Он изначально создан для одного пути передачи трафика, а если мы начинаем использовать несколько путей, появляется такая ошибка как Out-of-Order: получение фреймов в неправильном порядке, которые могут еще и потеряться», – подтверждает Алексей Цемарков, руководитель группы центра сетевых решений компании «Инфосистемы Джет». 

Алексей Цемарков, руководитель пресейл‑группы КСПД, «Инфосистемы Джет»
Фото: «Инфосистемы Джет»

Тем не менее, этот протокол передачи данных сегодня используется в большом количестве сценариев: например, в IP-телефонии (VoIP), где он заменил классическую телефонную сеть — технически более подходящее именно для этой цели решение, с коммутацией каналов, резервирующих полосу для бесперебойного общения абонентов.

При этом эффективность передачи пакетной коммутации по VoIP довольно низкая: даже при хорошем аудиокодеке объем служебного трафика (оверхеда) здесь составляет примерно столько же, сколько и объем «полезного» трафика, то есть непосредственно передачи голоса, а при менее качественном кодеке — и вовсе до 80%. 

Если же говорить про технологию Voice over Wi-Fi, то в этом случае на передачу служебного трафика уходит в 3000 раз больше времени, чем на передачу голоса. Несмотря на всё это, и VoIP, и VoWiFi получили широкое распространение. 

Эффективность VoWiFi  
Источники: презентация «Инфосистемы Джет», https://www.techscience.com/cmc/v66n2/40658/html 

Похожая ситуация наблюдается и в других направлениях сетевых технологий. Например, для сетей SAN (Storage Area Network, высокоскоростные сети для объединения серверов и внешних устройств хранения данных) изначально предназначался специальный протокол Fibre Channel. Этот протокол обладает механизмом buffer-to-buffer, гарантирующим последовательную доставку кадров. Благодаря отсутствию необходимости повторной отправки кадров достигается  высокая производительность.

Чтобы сделать Ethernet более или менее применимым для сетей SAN, специалисты вендоров используют множество всевозможных «костылей»: в частности, технологию Hardware Offload, предполагающую обработку сетевого стека на адаптере; Lossless Ethernet — настройку CEE/DCB с классификацией SAN в lossless-очередь; обеспечение запаса полосы пропускания с помощью оборудования, поддерживающего скорость до 100 Гбит/с и выше. Все эти способы в определенной степени решали задачу и давали возможность рассматривать Ethernet как альтернативу Fibre Channel. Однако Ethernet и здесь начал одерживать верх и вырываться вперед.

Способы увеличить эффективность Ethernet для SAN
Источник: презентация «Инфосистемы Джет» 

«Статистика показывает, что скорости в Ethernet растут существенно большими темпами, нежели скорости, которые появляются в Fiber Channel. Это происходит по причине того, что Fiber Channel — это достаточно закрытая и монолитная история: есть всего несколько вендоров, которые ее поддерживают, они должны четко соответствовать друг другу. А Ethernet устроен по-другому. Ввиду его массового использования он так или иначе работает везде, может «прогнать» трафик, даже несмотря на потерю пакетов и другие нюансы. Из-за этого и подходящих устройств, и применений Ethernet в разы больше», – говорит Алексей Цемарков. Так, даже у отечественных вендоров уже появляются в дорожных картах Ethernet-коммутаторы с пропускной способностью до 400 Гбит/с. А Fiber Channel предлагает в лучшем случае скорость 128 Гбит/с, фактически же речь идет о существенно меньших параметрах.

Аналитики уверены, что рынок Ethernet продолжит рост, прогнозируя, что его объем с $2,4 млн в 2025 году вырастет до $4,6 к 2030 году, а к 2035 году может составить $8,8 млн. В России же ситуация для адептов Fiber Channel усугубляется тем, что отечественные вендоры не выпускают соответствующих устройств, а значит, из-за требований сетевой безопасности компаниям придется довольствоваться вариантами Ethernet.

Отдельная сфера применения протокола Ethernet, для которой он изначально не был предназначен, – это высокопроизводительные вычисления: High-Performance Computing (HPC) и кластеры, в которых обучаются и используются нейронные сети. Для высокопроизводительных кластеров компанией Mellanox (в 2020 году была приобретена NVIDIA) был разработан специальный протокол InfiniBand. Он не допускал потерь, обладал высокой пропускной способностью с низкой задержкой и позволял использовать технологию удаленного прямого доступа к памяти (remote direct memory access, RDMA), что давало возможность адресовать пакеты из оперативной памяти одного устройства напрямую в оперативную память другого устройства. 

Тем не менее, здесь история повторяется: во-первых, российский рынок не может позволить себе пользоваться западными решениями, а во-вторых, даже сама NVIDIA сейчас фокусируется на развитии Ethernet для данных задач, выпуская свое Ethernet-оборудование. Согласно опросам AMD, сегодня только 33% заказчиков используют для высокопроизводительных вычислений InfiniBand, а 40% предпочитают пользоваться Ethernet.

InfiniBand также не является спасением
Источник: презентация «Инфосистемы Джет» 

Решение проблем — ставка на имеющиеся наработки

Несгибаемая популярность Ethernet заставляет производителей сетевых решений искать всё новые способы оптимизировать работу этого протокола для своих нужд, используя уже изобретенные для других протоколов технологии. 

Например, специалисты попытались имплементировать поверх Ethernet упомянутый выше RDMA. Первая имплементация, известная как протокол RoCEv1 (RDMA over Converged Ethernet version 1), не получила популярность среди пользователей, так как в ней было слишком много минусов, например, работа только в L2. В версии RoCEv2 появился заголовок IP/UDP (IP Header, UDP Header), что позволило использовать протокол в маршрутизируемых сетях Ethernet (уровень L3). Также появилось расширение Explicit Congestion Notification (ECN), с помощью которого можно управлять перегрузками сети.

«RoCEv2 — это не протокол, а, скорее, концепция, которая представляет собой стек протоколов Data Center Bridging (DCB). Основные механизмы из этого набора — PFC, ECN и ETS», — объясняет Алексей Цемарков. PFC (Priority Flow Control) обеспечивает приостановку передачи трафика определенного класса (CoS) для предотвращения потерь. ECN (Explicit Congestion Notification) обеспечивает снижение интенсивности передаваемого трафика при определении перегрузки в сети. ETS (Enhanced Transmission Selection) обеспечивает минимальную гарантированную полосу пропускания для трафика каждого класса. Также сегодня зачастую в решениях для высоких нагрузок ожидается функционал DLB (Dynamic Load Balancing) — это динамическая балансировка нагрузки, которая позволяет распределить большой объем данных по всем доступным путям.

Концепция RoCEv2: основные компоненты
Источник: презентация «Инфосистемы Джет»

Также для работы с Ethernet используется балансировка нагрузки в IP-маршрутизации с помощью правила 5-tuple для протокола ECMP. Правило основано на результате хеш-функции от полей в заголовке пакета. Однако в сетях SAN и HPC часто встречается ситуация, когда не удается достичь значительного распределения параметров. Избежать коллизий и поляризации трафика при помощи ECMP в ситуации низкой энтропии данных почти невозможно, поскольку потоки привязываются к каналам алгоритмически. 

В этой ситуации выручает технология DLB, когда потоки трафика (flow) могут быть раздроблены на «поточки» (flowlet), которые в свою очередь гранулярно распределяются по каналам в зависимости от текущего их использования, а также постоянно происходит переоценка загрузки и соответствующая ребалансировка потоков и «поточков».

Следующая сложность — с Incast-трафиком, когда много отправителей отправляют данные в один ресивер. «Это классическая ситуация для SAN- и HPC-сетей, когда на одно хранилище неожиданно начинают поступать данные с большого количества серверов», – подтверждает Алексей Цемарков. TCP при этом не спасает, так как типичный поток RoCEv2 основан на UDP. Негативные последствия этого — торможение и потеря пакетов, что в конечном счете вызывает большие финансовые издержки. Например, в случае обучения нейронной сети сбой сеанса означает необходимость запускать его заново. 

Incast: снижение последствий сетевого давления
Источник: презентация «Инфосистемы Джет»

Для смягчения последствий таких ситуаций используются уже упомянутые технологии PFC и ECN. Большие буферы также помогают снизить сетевое давление трафика.

Таким образом, учитывая все перечисленные выше способы, можно использовать Ethernet как для сети хранения данных, так и для сети кластеров ИИ.

Кроме того, для решения озвученных проблем и стандартизации Ethernet-технологии в 2023 году был основан консорциум Ultra Ethernet Consortium. К нему присоединяются разные вендоры, сегодня их около 90, в том числе — Intel, Broadcom, AMD, NVIDIA, HPE, Oracle, Microsoft, Cisco и другие. 

В июне 2025 года консорциум выпустил спецификацию версии 1.0, объемом более 500 страниц, в которой содержатся идеи по работе технологии. К сентябрю выпущено обновление, версия 1.0.1. По мнению эксперта, в ней есть очень полезные предложения. Например, проблему Out-of-Order можно решить прямой передачей в память, не обращая внимания на очередность как таковую. Если дробить поток на отдельные пакеты и маркировать каждый пакет специальным ярлыком, в случае его потери можно будет понимать, какой пакет потерян, и сделать дозапрос. Подобных «околореволюционных» идей в спецификации множество, поэтому будем внимательно следить за их реализацией производителями.

Ultra Ethernet vs RDMA и RoCE
Источник: презентация «Инфосистемы Джет»

Также концепция предполагает более высокую степень масштабирования — до миллиона устройств (конечных точек) одновременно, тогда как традиционная сеть на основе RDMA поддерживает до нескольких тысяч устройств в пике. 

Появление спецификации стимулирует вендоров изготавливать более совершенное оборудование и реализовывать все более сложный функционал, увеличивающий эффективность Ethernet-сетей в различных масштабах и сценариях использования. В ближайшее время логично ожидать дальнейшего развития технологии Ethernet по этому пути.