Обзор бэкплейна E3.S в сервере Dell PowerEdge R660

Dell PowerEdge R660 — это стоечный сервер форм-фактора 1U, рассчитанный на самые передовые технологии: хранилище E3.S PCIe Gen5, оперативную память DDR5 и конфигурации с жидкостным охлаждением процессоров. Платформа поддерживает два процессорных сокета, 32 модуля RDIMM и до трёх графических ускорителей.

Несмотря на компактный корпус 1U, в новом сервере можно разместить до 16 твердотельных накопителей. PowerEdge R660 является преемником модели R650 и рассчитан на широкий спектр задач — от универсальных серверных нагрузок до гиперконвергентных и HPC-решений.

Конфигурация тестового стенда

Для данного обзора на стенде следующая конфигурация:

• два процессора Intel Xeon Platinum 8460Y (приятный апгрейд по сравнению с базовой комплектацией);
• шестнадцать модулей DDR5-4800 по 16 ГБ — в сумме 256 ГБ оперативной памяти;
• восемь твердотельных накопителей Samsung PM1743 E3.S NVMe PCIe 5.0 по 7,68 ТБ каждый.

Связка топовых Xeon и Gen5-накопителей E3.S заметно изменит производительный профиль сервера PowerEdge R660 по сравнению с «обычной» конфигурацией: ожидается ощутимый прирост пропускной способности как по вычислениям, так и по подсистеме хранения.

Для сравнения взят Intel Xeon Platinum 8452Y, который располагает 36 ядрами / 72 потоками, базовой частотой 2,0 ГГц и турбочастотой до 3,8 ГГц. Новый Intel Xeon Platinum 8460Y уже предлагает 40 ядер / 80 потоков при той же базовой частоте 2,0 ГГц и максимальной турбочастоте 3,7 ГГц. Увеличение числа ядер и потоков дает ряд ощутимых преимуществ:

• Более высокая производительность и лучшая мультитаскинг-способность — процессор способен обслуживать больше запросов, процессов и пользователей одновременно.
• Лучшая масштабируемость — сервер легче «растёт» вместе с нагрузкой, не упираясь в CPU-лимит.
• Повышенная энергоэффективность — современные ядра выполняют больше работы на ватт, уменьшая общие эксплуатационные затраты.

Использование накопителей форм-фактора E3.S также заметно влияет на общую производительность и функциональность R660. Samsung PM1743 выпускается в современном стандарте EDSFF E3.S, который обеспечивает лучшую целостность сигнала и более высокие скорости, предлагая объём до 15,36 ТБ (в обзоре задействовано восемь моделей по 7,68 ТБ). Благодаря тонкому профилю 7,5 мм этот форм-фактор повышает плотность хранилища в сервере 1U, улучшая показатель «производительность / энергопотребление» на единицу стойки.

Самое существенное преимущество PM1743 — двухпортовая конфигурация. Даже при выходе из строя одного порта диск продолжает работу через второй, что позволяет бесшовно перенести нагрузку и избежать простоя. Такой механизм гарантирует непрерывность бизнес-процессов и особенно ценен для компаний, которым критичен режим 24 × 7.

Dell PowerEdge R660 vs R650 — что изменилось

По сравнению с прошлым поколением R650 новая модель получила сразу несколько ключевых улучшений.

• Процессоры «Sapphire Rapids»
• Теперь сервер поддерживает процессоры Intel Xeon Scalable 4-го поколения. В нашем экземпляре установлен Xeon Platinum 8460Y (40 ядер, 80 потоков), а максимальная конфигурация доходит до 56 ядер на сокет. Новые ЦП приносят поддержку DDR5 и интерфейса PCIe Gen5, а также ускорители для AI-вычислений и криптографии.
• PCIe Gen5 — больше пропускной способности.
• Переход на пятую версию шины удваивает доступную полосу для сетевых карт, NVMe-контроллеров и GPU, что особенно важно при работе с высоконагруженными, «данно-ёмкими» сервисами.
• Гибкая подсистема хранения
• Классический вариант: до 10 жёстких или твердотельных дисков 2,5″ SAS/SATA.
• NVMe-конфигурация: Gen5-накопители через фронтальный бэкплейн.
• Новый бэкплейн E3.S: до 16 тонких (7,5 мм) SSD форм-фактора EDSFF E3.S.
• Загрузочные накопители: NVMe-модуль BOSS располагается сзади, освобождая «фронт» под полезные диски и ускоряя загрузку/восстановление системы.
• Опции источников питания
• Доступны высокоэффективные блоки питания:
• AC Platinum — 800 Вт и 1400 Вт;
• AC Titanium — 700 Вт, 1100 Вт и 1800 Вт;
• -48 V DC (1100 Вт) для площадок с низковольтным питанием.
• Высокий КПД снижает энергопотребление и эксплуатационные расходы.

Итог: PowerEdge R660 в том же компактном 1U-корпусе предлагает современные Xeon, память DDR5, PCIe Gen5 и сверхплотное E3.S-хранилище, делая его более подходящим для ИИ-направлений, HCI/HPC-кластеров и любых задач с большой нагрузкой на ввод-вывод.

Конструкция и компоновка Dell PowerEdge R660 с бэкплейном E3.S

На фронтальной панели расположены четыре блока лотков E3.S. Центральная секция оставлена пустой — так обеспечивается более свободный поток воздуха к двум процессорам Intel Xeon Scalable, что снижает температуру и уровень шума системы.

На задней панели сервера расположены следующие интерфейсы: два порта 1 GbE, по одному порту USB 2.0 и USB 3.0, выход VGA, а также отдельный сетевой порт для удалённого управления Dell iDRAC. Опционально можно установить последовательный (COM) порт, а дополнительные сетевые адаптеры подключаются через слот OCP 3.0.

Питание обеспечивают два горячесменных блока по 1 400 Вт каждый. Слева сзади находятся два NVMe-накопителя M.2, предназначенные для загрузки ОС (в данном экземпляре модуль BOSS не установлен). Рассматриваемая конфигурация, как и вся линейка R660, поддерживает установку высокоскоростных SSD форм-фактора E3.S PCIe Gen5.

Варианты подсистемы хранения E3.S

Dell предлагает три заводские конфигурации R660 с фронтальным бэкплейном E3.S (7,5 мм) — они отличаются способом подключения накопителей и поддержкой RAID.

В любой из схем Dell распределяет линии PCIe поровну между двумя Xeon, поэтому дисковые и сетевые адаптеры не создают «узких мест» на одном сокете.

Что это значит на практике

• 16-бай HW-RAID — оптимально для баз данных и файловых сервисов, где важны RAID-6/60 и автономный кеш PERC 12.
• 14 + 2 NVMe — хороший баланс: два системных диска освобождают ресурсы массива, всё хранилище доступно линейно.
• Чистые 14 NVMe — максимальный IOPS/GB и минимальные задержки для HCI или AI-инференса; настроить можно VROC RAID-1/10 либо оставить диски в «passthrough».

С учётом трёх задних PCIe 5.0 слотов сервер остаётся гибким: можно установить SmartNIC 100/200 GbE, DPU или PCIe-GPU, не жертвуя пропускной способностью дисков.

Во втором варианте на фронтальной панели установлены 14 слотов E3.S, которые подключаются напрямую к системной плате без аппаратного RAID-контроллера. Линии PCIe распределены так:

• CPU 1 обслуживает 8 дисков (две шины ×4 Gen5 Slim-SAS×8);
• CPU 2 получает 6 дисков (полторы шины ×4 Gen5).

Такое разделение равномерно нагружает оба процессора, а отсутствие промежуточного контроллера обеспечивает минимальную задержку и максимум пропускной способности — оптимально для NVMe-по-месту в HCI-узлах, AI-инференсе или базах данных, где RAID-функции можно реализовать средствами VROC или файловой системы.

Третья конфигурация предназначена для тех, кому нужна максимальная ёмкость E3.S-хранилища в 1U-корпусе. Здесь используется схема 14 + 2:

• 14 слотов E3.S располагаются спереди, как в базовом варианте.
• Ещё 2 слота устанавливаются в модуль, который занимает один из задних PCIe 5.0-слотов.

Все 16 накопителей подключаются напрямую к системной плате (без аппаратного RAID-контроллера), тем самым обеспечивая полную полосу PCIe Gen5 ×4 на каждый SSD. Такое решение подходит тем, кто готов пожертвовать одним слотом расширения ради максимальной плотности NVMe-дисков и минимальной задержки ввода-вывода.

Удалённое управление Dell PowerEdge R660: iDRAC9 Enterprise

Для PowerEdge R660 на стенде использовался Dell iDRAC9 Enterprise — фирменное решение, обеспечивающее полный out-of-band-доступ к серверу.

Конфигурация тестового стенда Dell PowerEdge R660

Производительность процессоров

И первый тест — Cinebench R23. Это широко используемый бенчмарк, который измеряет производительность процессоров и графических ускорителей с помощью рендеринга в Maxon Cinema 4D и выдает оценку, позволяющую сравнивать различные системы и компоненты.

y-cruncher — это многопоточная масштабируемая программа, способная вычислять π и другие математические константы до триллионов знаков. С момента своего появления в 2009 году она стала популярным инструментом для бенчмаркинга и стресс-тестирования у оверклокеров и энтузиастов «железа».

Производительность подсистемы хранения Dell PowerEdge R660

Для оценки работы восьми NVMe-накопителей Samsung PM1743 E3.S PCIe Gen5 (7,68 ТБ каждый) можно использовать два типа тестов: прикладной Sysbench OLTP и синтетический Vdbench. Ниже — результаты Sysbench.

Задействовано 8 виртуальных машин, по две ВМ на каждом datastore SSD. При такой нагрузке сервер достиг совокупной производительности 29 086 TPS, что в среднем соответствует ≈ 3 636 TPS на виртуальную машину.

Средняя задержка по группе виртуальных машин Sysbench составила от 8,77 до 8,80 мс.

При измерении задержки 99-го перцентиля в группе из восьми VM Sysbench совокупное среднее значение составило 15,87 мс.

Анализ рабочих нагрузок VDBench

При тестировании систем хранения наилучшие результаты дают прикладные нагрузки, а на втором месте — синтетические. Хотя синтетика не отражает рабочие сценарии один к одному, она позволяет зафиксировать повторяемый базовый уровень, по которому удобно сравнивать соперничающие решения «яблоко к яблоку». Используются разные профили — от «четырех углов» до типичных блок-размеров баз данных и трасс из VDI-сред.

Все нагрузки запускаются через генератор vdBench: скриптовый движок автоматизирует прогон и сбор данных на распределенном кластере, так что один и тот же тест можно без изменений применить и к флеш-масси­вам, и к отдельным дискам. Сначала накопитель полностью заполняется данными, затем тестируется только 25 % его объема, что ближе к реальным приложениям и отражает устойчивую скорость при длительных записях.

Используемые шаблоны:

• случайное чтение 4 КБ — 100 % read, 128 потоков, 0–120 % iorate;
• случайная запись 4 КБ — 100 % write, 128 потоков;
• последовательное чтение 64 КБ — 100 % read, 32 потока;
• последовательная запись 64 КБ — 100 % write, 16 потоков;
• последовательное чтение 128 КБ / запись 128 КБ (те же потоки);
• смешанные нагрузки 70 % read / 30 % write и 90 % read / 10 % write, 64 потока;
• профили SQL и Oracle;
• трассы VDI — Full Clone и Linked Clone.

В тесте случайного чтения 4 КБ сервер Dell PowerEdge R660 с восьмью SSD Samsung PM1743 E3.S 7,68 ТБ достиг пика ≈ 4,5 млн IOPS при среднем времени отклика 223 мкс.

При операциях записи Dell PowerEdge R660 достиг максимума в 5,16 млн IOPS при задержке 184,1 мкс.

Перейдя к последовательной нагрузке 64 КБ, Dell PowerEdge R660 с накопителями Samsung показал пиковую скорость чтения 53,1 ГБ/с (≈ 849 тыс. IOPS) при задержке 267,6 мкс, после чего производительность немного просела на самом финише теста.

При последовательной записи блоками 64 КБ Dell PowerEdge R660 достиг пиковых 23,6 ГБ/с (≈ 377 тыс. IOPS) при задержке 301 мкс, причём в конце теста наблюдался ещё один небольшой всплеск скорости.

В тесте последовательного чтения блоками 128 КБ сервер Dell PowerEdge R660 показал скорость 50 ГБ/с (≈ 400 тыс. IOPS) при задержке 492,7 мкс.

При последовательной записи блоками 128 КБ сервер Dell PowerEdge R660 достиг максимальной скорости 23,2 ГБ/с (≈ 186 тыс. IOPS) при задержке 631,2 мкс.

В смешанных нагрузках на профиле 4 K «70 % чтение / 30 % запись» Dell PowerEdge R660 продемонстрировал очень стабильную работу, достигнув пиковых 4,88 млн IOPS при задержке 97,8 мкс.

В смешанном профиле 4 K (90 % чтение / 10 % запись) сервер Dell PowerEdge R660 с накопителями Samsung E3.S показал пик 4,5 млн IOPS при задержке 101,5 мкс.

В базовом тесте SQL (профили - чистый SQL, SQL 90/10 и SQL 80/20) сервер R660 с накопителями Samsung E3.S Gen5 достиг пиковых 2,6 млн IOPS при задержке всего 96,5 мкс.

В тесте SQL 90/10 сервер Dell PowerEdge R660 достиг пиковых 2,5 млн IOPS при задержке 101 мкс, после чего в самом конце испытания наблюдалось небольшое снижение производительности.

В тесте SQL 80/20 сервер Dell PowerEdge R660 достиг максимальных 2,4 млн IOPS при задержке всего 104 мкс.

Далее — профили Oracle: чистый Oracle, Oracle 90/10 и Oracle 80/20. В базовом сценарии Oracle сервер R660 показал пик 2,2 млн IOPS при задержке 108,4 мкс.

В профиле Oracle 90/10 сервер Dell PowerEdge R660 показал пиковые 1,64 млн IOPS при задержке 104,3 мкс, при этом в конце теста наблюдался небольшой всплеск производительности.

В тесте Oracle 80/20 сервер Dell PowerEdge R660 достиг пиковых 1,56 млн IOPS при задержке 109 мкс.

Теперь стоит взглянуть на тесты VDI-клонов (Full Clone и Linked Clone), где PowerEdge R660 продолжил демонстрировать отличные результаты. В сценарии VDI Full Clone Boot сервер с накопителями Samsung достиг 1,97 млн IOPS при задержке 126,7 мкс.

При переходе к этапу VDI Full Clone Initial Login сервер Dell PowerEdge R660 достиг пиковых 1,21 млн IOPS при задержке 143,8 мкс.

В тесте VDI Full Clone Monday Login сервер Dell PowerEdge R660 показал пик 809 тыс. IOPS при задержке 119,8 мкс.

В тесте VDI Linked Clone Boot сервер Dell PowerEdge R660 продемонстрировал стабильную работу, достигнув пиковых 876 тыс. IOPS при задержке 118,8 мкс.

В тесте VDI Linked Clone Initial Login сервер Dell PowerEdge R660 достиг пиковых 375 тыс. IOPS при задержке 123,4 мкс.

В тесте VDI Linked Clone Monday Login сервер Dell PowerEdge R660 достиг пиковых 609 тыс. IOPS при задержке 155,2 мкс.

Заключение

Dell PowerEdge R660 — заметный шаг вперед в линейке серверов компании. Шасси рассчитано на два процессора Intel Xeon Scalable 4-го поколения, DDR5-память и накопители PCIe Gen5, что позволяет добиться высокой вычислительной плотности и продуктивности. Продуманная компоновка внутреннего пространства в сочетании с мощной системой охлаждения и обширными возможностями удаленного администрирования через iDRAC 9 подчеркивают опыт Dell в серверостроении.

Особого внимания заслуживает гибкая дисковая подсистема: среди прочего, сервер поддерживает твердотельные накопители форм-фактора E3.S, обеспечивающие рекордную емкость на единицу высоты стойки. В новой конфигурации с восемью SSD Samsung PM1743 E3.S Gen5 и парой процессоров Intel Xeon Platinum 8460Y R660 продемонстрировал, насколько серьёзный прирост можно получить — как по пропускной способности хранилища, так и по вычислительной мощности. Эти результаты показывают потенциал платформы для компаний, которым нужны максимальная плотность, производительность и надежность в компактном 1U-форм-факторе.

Хотя рынок SSD E3.S только начинает формироваться, именно этот форм-фактор приходит на смену накопителям U.2/U.3: все ведущие вендоры flash уже вкладывают серьёзные ресурсы в его развитие. Dell удачно реализовала поддержку E3.S в PowerEdge R660, сохранив баланс — фронтальные диски не «съедают» задние слоты PCIe, оставляя место для дополнительных адаптеров и ускорителей. Полагаем, что при желании заказчика Dell без труда сможет предложить и более вместительные варианты, скажем на 20 SSD, просто заменив часть PCIe-слотов (в платформах Intel всё упирается в распределение линий).

В целом PowerEdge R660 — впечатляющая серверная платформа, задающая новый уровень по производительности, вводу-выводу и плотности хранения. Продвинутая система охлаждения (включая опции жидкостного), поддержка процессоров Xeon Scalable 4-го поколения, памяти DDR5 и хранилища Gen5, а также инновационное применение SSD E3.S делают этот сервер отличным выбором для широчайшего спектра задач.