Подождите...Каталог
Сегодня мы рассмотрим одноюнитовый односокетный сервер Supermicro SYS-112C-TN на базе поколения Intel Xeon 6. Это изящное решение, способное напрямую заменить двухсокетные серверы предыдущего поколения, предлагая при этом больший потенциал подключений. Более того, мы рассмотрим конкретную версию этого сервера с новым процессором Intel Xeon серии 6700P с высокопроизводительными (P) ядрами.
Сервер выполнен в форм-факторе 1U 29.4?, то есть имеет глубину 747 мм.
На левом ухе мы находим кнопку питания и светодиодные индикаторы состояния.
Наша система предлагает восемь дисковых отсеков 2.5" U.2 NVMe.
Установка дисков в эти отсеки осуществляется без применения инструментов.
Справа еще два дисковых стеллажа зарезервированы под вентиляцию. В другой версии корпуса в них размещаются дополнительные дисковые отсеки, которых всего получается 12.
На правом стоечном ухе находится порт USB и служебный порт mDP.
Сзади мы находим довольно стандартный набор портов I/O.
Во-первых, мы видим полноразмерный по высоте райзер с картой DC-MHS (под ним).
Это райзер PCIe Gen5 x16.
В центральном блоке – еще один райзер и слот AIOM/ OCP NIC 3.0.
В райзере мы находим карту NVIDIA ConnectX-7, подключенную к слоту PCIe Gen5 x16.
Задние слоты DC-MHS и AIOM заслуживают отдельного внимания, так как это инициатива OCP. Наличие модуля DC-MHS легко позволяет использовать различные программные интерфейсы управления, например, стек Supermicro или OpenBMC.
Также сзади находятся два блока питания, обеспечивающие энергоснабжение сервера с постоянным резервированием.
Теперь давайте заглянем внутрь системы и посмотрим, как это все работает.
Мы будем перемещаться в направлении от передней панели корпуса к задней. Дисковые отсеки мы уже прошли.
Далее находим кабели MCIO, которые проложены через корпус к объединительной панели.
Вентиляторы представляют интересное решение. Организовать горячую замену в корпусах 1U обычно сложно, и, в отличие от корпусов 2U, вентиляторы с поддержкой горячей замены здесь встречаются намного реже. Можно снимать вентиляторы по одному, или же быстро снять весь блок вентиляторов целиком.
Эти вентиляторы подключены к плате управления вентиляторами.
За вентиляторами находятся воздуховоды. Они представляют собой довольно оригинальное решение, поскольку радиатор есть в самой конструкции и он служит анкером для большого воздуховода.
Под воздуховодом можно найти фронтальные коннекторы MCIO x8.
Наша система оснащена процессором Intel Xeon 6781P, все ядра которого являются высокопроизводительными ядрами P.
Однако сокет поддерживает и другие варианты процессоров – не только серии Xeon 6700P/ 6500P, но и серии Xeon 6700E. Это форм-фактор позволяет использовать до 86 ядер P или до 144 ядер E на сокет. Следует отметить, особенно для ядер P, что Intel имеет довольно серьезные намерения в отношении рынка однопроцессорных серверов, поэтому односокетные процессоры для платформ R1S (1 socket) типа этой продаются по весьма привлекательным ценам.
Так выглядит процессор в салазках, совмещенных с радиатором.
Небольшое рычажное приспособление на рисунке ниже, которое мы обычно не упоминаем, – это инструмент для отковыривания слоя термопасты (thermal interface material, TIM) от процессора/ радиатора.
Вокруг сокета располагаются слоты для модулей памяти DDR5 в 8-канальной конфигурации с двумя 2 DIMM-модулями на канал (2DPC), то есть всего поддерживается 16 DIMM.
Мы поговорим об этом позднее в разделе топологии, но материнская плата здесь очень маленькая – по длине примерно вдвое больше сокета CPU и слотов DIMM. Времена больших односокетных материнских плат прошли.
Во многом этому поспособствовали райзер-слоты M-XIO PCIe Gen5 x16, задние слоты для сетевой карты и DC-MHS и коннекторы MCIO по сторонам платы.
Сзади мы имеем плату DC-MHS в качестве платы управления, а также сетевые слоты OCP NIC 3.0 / Supermicro AIOM. Это платформа класса Supermicro CloudDC, которая разрабатывалась в соответствии со стандартами OCP и в то же время вписывается в стандартный 19-дюймовый стоечный форм-фактор.
Также сзади мы видим небольшой вырез для шлангов жидкостной системы охлаждения.
Энергия от блоков питания поступает на плату распределения питания.
Эта распределительная плата имеет ряд коннекторов, к которым подключены различные подсистемы, а также выполняет важную функцию – обеспечивает резервирование блока питания.
Между блоком вентиляторов и платой распределения питания находится действительно интересная вещь. Это плата внутренних расширений.
В этой системе она представляет собой плату для двух загрузочных M.2 SSD, которая подключена к материнской плате. Это позволяет легко добавить в систему пару внутренних M.2 SSD.
Теперь давайте посмотрим на блок-схему и топологию сервера.
Топология системы изменилась радикально. В платформах Intel Xeon 6 больше нет PCH (чипсета) – теперь всё подключается к CPU. Еще одно фундаментальное изменение – новая платформа предлагает огромное количество линий PCIe.
Топология связана с материнской платой. Несмотря на компактные размеры этой одноюнитовой системы, это полноценная материнская плата. Но на ней нет традиционных слотов PCIe. Вместо этого мы имеем небольшую материнскую плату со слотами M-XIO x16 для райзеров, слотом OCP NIC/ AIOM, слотом DC-SCM для обеспечения управления и слотами MCIO, обеспечивающими остальные I/O-подключения.
Еще одно маленькое, но важное изменение: процессор Intel Xeon 6781P содержит две вычислительные плитки, поэтому в режиме NPS=2 (два домена NUMA на сокет) топология NUMA выглядит почти как в топовой системе 4-го поколения Intel Xeon Scalable. Также важным отличием является намного больший объем кэшей, и всё это – на одном физическом сокете.
Далее быстро рассмотрим опции управления.
Сервер использует BMC-контроллер ASPEED AST2600, обеспечивающий функции внешнего управления через IPMI.
Коротко: на данный момент мы хотели бы видеть в серверах Supermicro веб-интерфейс управления Supermicro IPMI/ Redfish.
Конечно, присутствуют и такие ожидаемые вещи, как, например, HTML5 iKVM, наряду с рандомизированным паролем (старая комбинация ADMIN/ ADMIN больше не работает).
Теперь поговорим о производительности.
Эту платформу мы уже использовали в обзоре серий Intel Xeon 6700P и 6500P Granite Rapids-SP и как раз с процессором Intel Xeon 6781P, для которого ниже приведен результат команды Lscpu.
Поскольку платформа одна и та же, далее мы приводим здесь результаты тестов из упомянутого обзора.
В тесте Nginx CDN мы используем старый снапшот и шаблон доступа с сайта STH, с отключенным DRAM-кэшированием, чтобы проиллюстрировать производительность в аспекте передачи данных с дисковых накопителей. Для этого требуется низкая задержка операций Nginx, а также низкая задержка на дополнительном шаге доступа к интерфейсу I/O, что делает задачу интересной на уровне сервера. Вот как выглядит скорость дистрибуции:
Отметим, что тестовая конфигурация сервера создана на базе снапшота текущей рабочей конфигурации. Nginx – одна из наиболее хорошо оптимизированных нагрузок для процессоров Arm и специализированных облачных процессоров. Другими словами, на современных процессорах лучшему результату способствует просто большее количество ядер. Но даже при этом обстоятельстве мы слегка удивились, получив чуть более высокий результат по сравнению с Xeon 6780E, специализированным облачным процессором Intel для этого сокета. Конечно, чип Xeon 6781P использует преимущество дополнительных потоков и дополнительного 20-ваттного пространства по TDP. Также следует отметить, что мы не используем здесь ускоритель QAT, который мог бы значительно ускорить платформы Xeon 6, взяв на себя большую часть нагрузки SSL.
Эта задача очень интересна лично мне. Этот тест создан на базе нагрузки, представляющей собой приложение для анализа аспектов ценообразования на основе анонимизированных данных одного из ведущих ЦОД OEM. Приложение фактически анализирует в реальном времени многопараметрические тенденции в ценообразовании по данным продуктовых линеек, регионов и каналов поставок и определяет выгодность или невыгодность конкретных BOM-спецификаций (перечней элементов) устройств. Если эта задача представляется вам слишком специфической, то разница между ней и тем, что считают крупные производители, заключается в конкретных данных, используемых для анализа. Приложения такого типа можно заменить инференсами ИИ, но само по себе это наглядный пример сценария, который реальные предприятия могут запускать в облаке.
Здесь мы имеем как раз тот случай, где ядра P имеют реальное преимущество перед ядрами E. Также стоит отметить, что, если вы хотите оценить производительность серии Xeon 6700P относительно результатов чипа Xeon 6980P, то в большинстве этих тестов разница в производительности примерно эквивалентна разнице в числе ядер, при условии, что вы не ограничены в части пропускной способности памяти. Чип 6781P просто предлагает чуть большую производительность на ядро, что типично для компонентов с меньшим числом ядер.
Однако мы здесь оцениваем результаты 6781P прежде всего относительно двухсокетной платформы Intel Xeon Gold 6252. Которую мы выбрали потому, что, по словам одного из ведущих OEM-производителей, это их самая продаваемая платформа для облачных нагрузок в линейке 2-го поколения Xeon Scalable. 24-ядерный процессор – не топовый, но его рейтинг в этой линейке довольно высок, поскольку 28-ядерные компоненты менее популярны. К тому же эта платформа имеет коэффициент консолидации 5:1, что превосходно.
Еще один пример, который мы хотели бы здесь привести, – из практики одного из клиентов нашей лаборатории DemoEval, который разрешил нам опубликовать результаты, хотя само тестируемое приложение относится к закрытым источникам. Рабочий сценарий использует систему виртуализации KVM (Kernel-based Virtual Machine), а задача заключается в том, чтобы выяснить, сколько виртуальных машин могут параллельно работать онлайн в течение времени, требующегося для выполнения работ в соответствии с условиями SLA (соглашения об уровне сервиса). Каждая виртуальная машина работает независимо от остальных. В части решаемых задач это очень похоже на VMware VMark, просто сценарий с использованием KVM более общий.
Здесь интересно, что Xeon E хорошо работает с виртуальными машинами (ВМ) меньшего размера, то есть в сценариях со многими маленькими ВМ. С увеличением размера ВМ вперед выходит Xeon P, позволяя использовать 80 ядер вместо 144. Здесь представлены результаты топовых чипов Ampere и AMD, а также Intel Xeon 6980P. Напоминаем, что мы используем не-топовый чип серии Xeon 6700P. У него только 80, а не 86 ядер, и он оптимизирован под односокетные платформы. Тем не менее, он работает довольно хорошо.
Теперь давайте оценим энергопотребление такой односокетной системы.
Сервер оснащен двумя 1-киловаттными блоками питания 80Plus Titanium.
Энергопотребление корпусировки процессора в простое по результатам наших измерений составляет 50-55 Вт.
Заслуживает внимания, на наш взгляд, то, что такая весьма насыщенная односокетная конфигурация 1U с двумя сетевыми картами, одна из которых – NVIDIA ConnectX-7 400 Гбит/с, одним терабайтом (16x 64 ГБ) памяти DDR5, накопителями общей емкостью более 200 ТБ и 80-ядерным процессором Intel Xeon 6781P в простое потребляет стабильно менее 95 Вт. Это очень хороший результат по сравнению со многими недавними платформами Intel. Например, 56-ядерная платформа Sapphire Rapids с 16 модулями DIMM и 400-гигабитной сетевой картой в простое будет потреблять не менее 100 Вт.
Под нагрузкой сама корпусировка Xeon потребляет 340-350 Вт.
Энергопотребление всей системы под нагрузкой у нас доходило до 588 Вт, но при загрузке приложениями только процессора оно держалось в районе 470-495 Вт, и в этот показатель входит энергопотребление памяти, которое составило около 1 Вт на модуль DIMM.
Сервер Xeon 6 R1S в режиме загрузки на 500 Вт потребляет примерно 54% от той мощности, которую потребляет двухсокетный сервер Platinum 8380 с таким же количеством ядер CPU. И даже без новых ускорителей платформа Xeon 6 работает быстрее. Односокетный сервер Xeon 6 R1S также предлагает более чем вдвое большую пропускную способность PCIe по сравнению с двухсокетным Xeon 8380. Получить сервер с большим потенциалом и примерно вдвое меньшей стоимостью и вдвое меньшим энергопотреблением по сравнению с платформой на базе топовых чипов годичной давности – это действительно классно.
В 2018 году мы представили диаграмму STH Server Spider, которая показывает распределение потенциала сервера по различным аспектам. Задача этой диаграммы – дать наглядное представление о том, на какие области применения в первую очередь рассчитан данный сервер.
Это действительно интересная система. Поскольку это односокетная платформа, максимальная плотность здесь не является целевым показателем. В то же время платформа предлагает довольно много. Переход на эту платформу с 3-го поколения Intel Xeon или более старых систем обеспечит, помимо прочего, коэффициент консолидации сокета не менее 2:1. Возможно, конфигурация, которую мы тестировали, имеет не самую большую вместимость по SSD, но благодаря PCIe Gen5 каждый SSD может иметь пропускную способность в 4 раза большую по сравнению с дисками 2021 года. Аналогично, плотность сетевых подключений тоже, вероятно, не самая высокая, но с 400-гигабитной сетевой картой пропускная способность одного этого порта будет больше всей пропускной способности PCIe на сокете 1-го или 2-го поколения Intel Xeon Scalable. Всё относительно, и новое поколение систем намного быстрее.
Важное замечание: все эти годы под термином “Capacity Storage (емкие накопители)” мы подразумевали 3.5-дюймовые диски. Но с современными 2.5-дюймовыми SSD емкостью от 30.72 до 122.88 ТБ отсеки NVMe, похоже, могут обеспечивать сразу и высокую производительность, и высокую емкость, так что, возможно, нам нужно будет переделать Server Spider.
Это одна из тех платформ, на которые, я думаю, многие должны обратить внимание. С ростом TDP серверных процессоров в каждом поколении многие дата-центры просто не могут больше содержать одноюнитовые серверы с энергопотреблением более 1 кВт каждый. Это обстоятельство, вкупе с выходом новых поколений процессоров, которые предлагают больший потенциал подключений, делает более простые односокетные решения с более быстрыми и разнообразными интерфейсами I/O более привлекательными. Производители серверов подтверждают, что рынок односокетных серверов растет. И во многом это обусловлено более высокой плотностью, которую обеспечивают эти платформы по сравнению со старшими поколениями серверов.
На фоне общего увеличения доли односокетных серверов платформа Supermicro SYS-112C-TN представляет собой удачно спроектированное решение, которое на практике реализует многие стандарты OCP для облачных инфраструктур.