Форматы сетевых карт OCP NIC 3.0

В настоящее время форм-фактор OCP NIC 3.0 стремительно набирает популярность и, возможно, на сегодняшний день является наиболее весомым проектом OCP. Наши читатели иногда отмечают, что за словами «совместимость с OCP NIC 3.0» применительно к серверам и другим устройствам на самом деле стоит масса спецификаций. В этой статье мы, вместо того, чтобы ссылаться на горы документации, конспективно изложим основные физические параметры этих сетевых карт, наиболее важные для тех, кто покупает сервер. Если вы делаете сетевые карты/ ускорители или занимаетесь электрической схемотехникой серверов, то для вас более информативными будут сами спецификации. Наша статья – это скорее конспект для заказчиков.

Основные физические параметры карт OCP NIC 3.0

Карты OCP NIC 3.0 имеют две стандартные опции ширины, обозначенные на рисунке ниже как W1 и W2. W1 (76 мм) встречается наиболее часто, поскольку включает в себя коннектор 4C+ и соответствует ширине большинства современных сетевых карт. W2 (139 мм) используется реже, но это очень интересный формат, поскольку он подразумевает большее пространство печатной платы (PCB) и большее число линий PCIe. Он включает в себя тот же коннектор 4C+ («+» означает добавочную секцию коннектора OCP Bay), что и W1, а также второй коннектор 4C (без плюса). В результате W2 предлагает 32 линии PCIe (по 16 линий в каждом коннекторе 4C).

Хотя глубина установки (длина) всех карт OCP в настоящее время одинакова и составляет 115 мм, высота карты может быть 11.50 мм или 14.20 мм. Всего используются три стандартных форм-фактора: SFF – 76 мм x 115 мм x 11.50 мм; TSFF – 76 мм x 115 мм x 14.20 мм; LFF – 139 мм x 115 мм x 11.50 мм. Отметим, что более «высокие» карты предполагаются к использованию в устройствах с более высокими показателями TDP.

Основные характеристики форм-факторов OCP NIC 3.0

Теперь, когда мы познакомились с тремя основными форм-факторами, давайте перейдем к коннекторам, которые могут отличаться.

Коннекторы OCP NIC 3.0

Стандартный коннектор OCP NIC 3.0 4C+ можно найти, например, на карте Intel X710-DA2 OCP NIC 3.0 (см. рисунок ниже). Этот коннектор включает в себя две маленькие секции и одну большую между ними для обеспечения 16 линий PCIe. Большая 28-пиновая секция с краю – это уже упомянутый добавочный коннектор OCP Bay, предназначенный для сигналов боковой полосы, передающих адреса параллельно с данными.

Иногда можно встретить интересное решение без большой секции PCIe, место которой занимает OCP Bay, – например, на адаптере NVIDIA ConnectX-4 HPE 25GbE OCP NIC 3.0. Это коннектор 2C+.

Ниже приведена иллюстрация из спецификаций, на которой схематично представлены два вышеупомянутых типа коннекторов. Видно, что для меньшего числа линий PCIe можно использовать меньшее число контактов.

У нас в лаборатории нет карт формата LFF, но на них вы можете встретить коннектор 4C+ на верхней стороне карты справа, а на нижней стороне слева – коннектор 4C. Основной коннектор всегда имеет секцию OCP Bay (на что указывает “+”).

Существует вариант LFF без второго коннектора 4C, где больший формат платы используется для размещения дополнительных компонентов и устройств охлаждения, а в части PCIe остаются те же 16 линий, обеспечиваемые основным коннектором 4C+.

Большинство наших читателей, вероятнее всего, в серверах чаще будут иметь дело с картами SFF или TSFF, чем с LFF. Одна из главных инноваций формата OCP NIC 3.0 – поддержка модульных конфигураций, аналогично тому, что мы видим в сегменте EDSFF SSD.

Механизмы фиксации карт OCP NIC 3.0

Это огромная тема. Для примера на рисунке ниже показана карта OCP NIC 2.0, установленная в относительно старом сервере Inspur. Как вы сами можете видеть, для обслуживания этой карты требуется выдвинуть ноду или открыть корпус – только так можно добраться до сетевой карты.

Здесь представлена мезонинная плата (модуль) OCP NIC 2.0 с коннекторами A и B. В поколении 2.0 инновация заключалась в стандартизации мезонинных модулей. До того, как участники проекта OCP приняли решение о стандартизации, компании Dell, HPE, Lenovo и другие решили делать для сетевых карт проприетарные мезонинные модули. Это означало меньшие объемы выпуска готовых модулей и, соответственно, их более низкое качество (потому что мелкосерийное производство подразумевает менее масштабное развертывание производственных мощностей и упрощенные программы и методики тестирования образцов готовой продукции). Концепция OCP NIC 2.0 предлагала массовый подход к производству модулей в целях создания унифицированной экосистемы.

Сравнив вышеупомянутую конфигурацию Inspur OCP NIC 2.0 с более современной OCP NIC 3.0 (см. рисунок ниже), можно заметить, что более новый модуль 3.0 в сервере Inspur позволяет производить обслуживание карты через заднюю панель. Конструкция Inspur подразумевает возможность извлечения сетевой карты сзади без необходимости разбирать корпус, как мы обычно делаем в обзорах серверов.

Такие компании, как Dell EMC, заключающие дорогие контракты на обслуживание своих серверов, могут использовать принципиально другой механизм удерживания карты на месте, делающий обслуживание карт OCP NIC 3.0 более сложной процедурой (см. рисунок ниже). В этом механизме для замены карты требуется открывать корпус, чтобы сначала отсоединить удерживающую защелку.

В основе различий между этими двумя моделями, помимо соображений бизнеса, лежит техническая разница в механизмах удерживания карт. Поскольку карты предполагают обслуживание в гиперскейлерах через заднюю панель, спецификации должны гарантировать, что при извлечении модулей SFP или RJ45 не потребуется вытаскивать всю карту целиком. В результате на практике прижились три типа удерживающих механизмов, которые показаны на рисунке ниже.

Наиболее распространенным вариантом является модуль формата SFF с механизмом Pull Tab. Здесь используется боковой винт на лицевой монтажной планке, который удерживает модуль на месте. Для обслуживания модуля требуется просто выкрутить барашковый винт, после чего полностью извлечь модуль из корпуса сервера.

Модуль SFF с механизмом Ejector Latch оснащен эжекторной защелкой, удерживающей сетевую карту на месте. Модуль SFF с внутренним креплением (Internal Lock) – вариант решения из приведенного выше примера с сервером Dell C6525. В этом варианте экономится небольшое пространство, занимаемое монтажной планкой, но ценой значительного усложнения процедуры техобслуживания сетевых карт. К достоинствам этого механизма можно отнести то, что при таком способе удерживания сетевой карты на месте практически исключается ее случайное отсоединение при отсоединении сетевого кабеля.

Как вы сами можете заметить, спецификации разрабатываются для производителей карт, чтобы они могли собрать карту и затем оснастить ее одним из вариантов удерживающего механизма, то есть создать законченный модуль. Одной из главных проблем стандарта OCP NIC 2.0 всегда были монтажные планки.

В модулях LFF используются эжекторные защелки, которые могут быть длинными и короткими, как показано на рисунке ниже.

OCP NIC 3.0: не только сетевые карты

Стандарт OCP NIC 3.0 охватывает не только сегмент сетевых карт. Действительно, почему бы компаниям не делать на картах OCP NIC 3.0 встроенные ретаймеры, переключатели и другие устройства PCIe, с учетом поддержки этими картами 16-32 линий PCIe. На выставке OCP Summit 2021 компания Broadcom представила контроллеры HBA и адаптеры Tri-Mode, встроенные в форм-фактор OCP NIC 3.0.

Питание и охлаждение компонентов в условиях ограниченного пространства здесь являются потенциальными проблемами, но по мере все более широкого внедрения PCIe Gen5 мы ожидаем, что областей применения у форм-фактора OCP NIC 3.0 тоже будет все больше.

Заключение

Цель этой статьи – предоставить пользователям основные практические сведения о форм-факторе OCP NIC 3.0. Конечно, это далеко не полная информация, стандарт включает в себя множество документации. Мы просто старались выбрать наиболее важную информацию – не для разработчиков сетевых карт, а для тех, кто будет использовать карты OCP NIC 3.0 в своих серверах.

Надеемся, что наша статья помогает лучше понять, какие сетевые карты используются в современных серверах.