Подождите...Каталог
Обзоры процессоров обработки данных (Data Processing Unit, DPU), публикуемые уже много лет, показывают как расцвет одних решений, так и провалы других. И хотя в облачном сегменте DPU применяются давно и успешно, в корпоративном сегменте внедрение аналогичных конфигураций происходит намного более медленными темпами и временами даже не представляется возможным. Сегодня, благодаря платформе VMware vSphere 8 и смежной технологии Project Monterey, организации, использующие инфраструктурные решения от VMware, могут начать использовать преимущества DPU. Проект прошел все этапы – от теоретической разработки до практической реализации – и мы можем оценить его эффективность.
Обычно мы не используем для своих обзоров демонстрационную среду NVIDIA LaunchPad. В этот раз NVIDIA просто предварительно проконсультировала нас по вопросам демонстрационной среды, чтобы исключить возможные некорректные тестовые настройки с нашей стороны при первом использовании LaunchPad.
Процессор обработки данных (DPU) NVIDIA BlueField-2 используется уже давно. Можно сказать, что BlueField-2 – это сетевой интерфейс NVIDIA ConnectX-6 плюс комплекс ядер Arm, собственная память, подсистема хранения данных, интерфейсы внешних сетевых подключений, переключатель PCIe и ускорители.
Карты BlueField-2 выпускаются в различных форм-факторах. На рисунке ниже представлен пример, используемый в сервере ASRock Rack 1U4LW-B650/2L2T на базе процессора AMD Ryzen.
Далее представлена топология встроенного комплекса ядер Arm этой карты.
А сегодня мы будем рассматривать интегрированное сетевое решение от VMware и NVIDIA. Мы покажем, как это работает в демонстрационной среде с конкретными настройками. И в конце, по результатам тестирования, оценим основные показатели производительности.
Многие администраторы VMware часто сталкиваются на практике с одной из одной из основных проблем организации сетей в виртуализованной среде. Обычно использование сетевого драйвера vmxnet3 дает все преимущества управления сетевым стеком через гипервизор. Это позволяет, в частности, осуществлять живую миграцию виртуальных машин, но ценой потерь в производительности. В высокоскоростных сетях часто используют сетевые карты с поддержкой технологии pass-through, что обеспечивает высокую производительность, но затрудняет миграцию. Опция UPT (Uniform Pass Through) дает возможность осуществлять миграцию, сохраняя уровень производительности, близкий к pass-through. Основная сложность с использованием UPT – необходимость в соответствующем аппаратном и программном обеспечении, поддерживающем эту технологию, но с DPU BlueField-2 мы, наконец, получили всё, что нужно.
Демонстрационная среда, которую мы сегодня будем использовать, является частью NVIDIA LaunchPad. Если вы посмотрите на развертывание решений vSphere на базе DPU, то сможете самостоятельно запросить доступ к этой среде и провести весь процесс тестирования, который, однако, будет определяться также сложностью задействуемых аппаратных конфигураций. Тем не менее, мы надеемся, что на примере данной статьи можно получить общее представление о том, как это работает.
Как вы сами можете видеть, в роли хост-сервера выступает Dell PowerEdge R750 с процессорами Intel Xeon Gold 6354, и, что еще более важно, место DPU у нас занимает NVIDIA BlueField-2.
Первое, что нам нужно сделать – это создать распределенный переключатель (Distributed Switch). Отличительной особенностью нашего будет то, что мы сконфигурируем его на базе DPU BlueField. Типовые шаги – добавление трех наших хостов.
Теперь нам нужно выбрать адаптеры. Ноды (сетевые узлы) Dell PowerEdge R750 предлагают другие сетевые карты, но, поскольку, мы делаем виртуальный переключатель с DPU, эти сетевые карты отмечены как несовместимые (incompatible).
Карты DPU BlueField-2 отмечены как совместимые (compatible).
Теперь видно, что переключатель поддерживает функционал BlueField.
Важный момент, не учтенный в демонстрационной среде NVIDIA, – то, что BlueField уже интегрирован в среду VMware, что и позволяет проделать всю эту работу. Хотя Project Monterey был анонсирован с поддержкой DPU Intel, и есть много других производителей DPU, в настоящее время VMware предлагает интеграцию только DPU NVIDIA и AMD.
Далее мы переходим в среду VMware NSX. Использование виртуального переключателя на DPU во многом приближает управление сетью через NSX к реальному консольному управлению.
Мы видим, что overlay-сегмент NSX обеспечивается DPU BlueField-2.
Важный момент здесь – нам нужно, чтобы каждая нода содержала DPU BlueField-2. В противном случае overlay-сегмент не сможет работать с соответствующей аппаратной частью. Если вы планируете развертывать Project Monterey в этом или следующем, 2024 году, но при этом хотите использовать ноды, установленные ранее, то уже сегодня эти ноды должны иметь карты BlueField-2, даже если сначала они просто будут использоваться для обеспечения подключений ConnectX-6, пока не будут задействованы новые возможности.
После завершения создания overlay-сегмента NSX мы возвращаемся в среду vSphere.
Теперь создадим виртуальную машину под названием “STH Test”. Здесь мы видим, что у первого сетевого адаптера нет доступных опций, но второй адаптер (Network adapter 2) предлагает опцию Use UPT Support. Этот адаптер мы также подключим к overlay-сегменту NSX.
Глядя на виртуальную машину, которую мы только что создали, обращаем внимание на предупреждение, что опция UPT не активирована.
В примере с Ubuntu мы имеем относительно старый драйвер 1.6.0.0-k-NAPI. Эта версия не поддерживает UPT для виртуальных машин Ubuntu, поэтому ее необходимо обновить.
Обновление до версии 1.7.0.0-k-NAPI открывает нам возможности UPT.
Снова смотрим на виртуальную машину (ВМ) и видим, что предупреждение о неактивности UPT исчезло, так как теперь драйвер ВМ поддерживает UPT.
Теперь, в режиме UPT, мы можем осуществлять миграцию ВМ, используя сетевую конфигурацию, которую задали выше.
Эта конфигурация не автоматическая, и нужно потратить некоторое время на ее настройку, однако это достаточно просто, и, если вы делаете это в LaunchPad, то всегда сможете воспользоваться справочной документацией от NVIDIA.
Теперь давайте посмотрим, как использование DPU влияет на производительность.
Рассмотрим пример сценария, реализуемого на описанной выше конфигурации виртуальных машин. Мы запустим тестовую утилиту memtier_benchmark от Redis Labs на конфигурации с обычными сетевыми картами и на конфигурации с картами DPU BlueField-2. Конфигурации ВМ в обоих случаях одинаковы, за исключением сетевых протоколов, хосты тоже единообразны.
Надеемся, что мы все сделали правильно, так как NVIDIA и VMware получили доступ к этой статье одновременно с остальными читателями и до этого момента не могли проконтролировать корректность наших настроек. Итак, переходим к результатам.
Вот что дает прогон бенчмарка на обычных сетевых картах:
А это – результат DPU BlueField-2 в режиме UPT:
Показатели числа операций в секунду, задержки и пропускной способности на обычных сетевых картах:
Те же показатели для DPU BlueField-2:
В результате мы получили примерно 42%-ное ускорение в числе операций в секунду и 29%-ное снижение задержки. Это солидные цифры, показывающие преимущества использования DPU с UPT по сравнению со стандартным решением с использованием сетевых карт и vmxnet3.
Многие не знают, но уровень интеграции DPU NVIDIA BlueField-2 и платформы VMware превзошел наши ожидания. Одна из целевых функций DPU BlueField-2 от NVIDIA (ранее от Mellanox) – обеспечение разгрузки OVS. И одно из наших наиболее важных открытий – что, что инженеры VMware уже заложили это в свои решения. Мы подумали, что читателей могут заинтересовать виртуальные переключатели.
А также производительность DPU в VMware:
Можно даже выбирать различные опции показателей производительности DPU.
Тем не менее, важно понимать, что и это еще не все. DPU работает со специальной версией ESXi под названием ESXio. На текущий момент мы используем только часть этого функционала.
Кроме того, DPU поддерживают аппаратное резервирование дисков, например, под СХД VMware vSAN, и др. Это наиболее актуально для облачных сред на базе моделей VMware. Для крупных облачных провайдеров это перспектива на годы вперед. Однако в экосистеме VMware эта возможность тоже выглядит внушительно, в том числе с точки зрения использования vSAN другими сервисами. VMware развивает этот функционал, и в будущем нас ожидает множество интересных решений.
Мы рассмотрели очень показательный пример. Использование DPU в среде VMware с NSX и UPT наглядно раскрывает потенциал этого решения. В то же время это только начало. Очевидно, что платформы VMware рассчитаны в том числе или даже в первую очередь на то, что в составе конфигурации нет DPU, вместо которых предполагаются более традиционные опции. В будущем, мы надеемся, DPU получат более широкое распространение, и такие вещи, как UPT и DPU станут опциями по умолчанию. Карты DPU BlueField-2 в качестве адаптеров pass-through уже обеспечивают более высокую производительность по сравнению со стандартными сетевыми картами vmxnet3. Это отличная новость.
Что нас вдохновляет – это перспективы на будущее. Прямо сейчас VMware предлагает только две рабочие опции для DPU, и обе относятся к специализированным аспектам. Сегодня мы рассмотрели аспект виртуализации сетей, но в будущем, надеемся, аппаратное резервирование и СХД vSAN войдут в число простых и популярных решений. Не говоря уже о том, что карты DPU новейших поколений предлагают еще более высокую производительность. С DPU BlueField-3 мы будем еще ближе к консольному управлению и надеемся в скором времени получить такой опыт.
Если в данный момент у вас нет карт BlueField-2, но вы хотите испытать возможности DPU и хорошо знакомы со средой VMware, то можете запросить доступ к NVIDIA LaunchPad.
Источник: www.servethehome.com