Сравнение прямого подключения накопителей NVMe против RAID-контроллера PERC 12

В этом обзоре мы подробно рассматриваем варианты хранения, поддерживаемые серверами Dell PowerEdge (в частности - сервером Dell PowerEdge R760) для NVMe SSD четвёртого поколения, а также сравниваем производительность между так называемыми Direct Drives (прямое подключение накопителей) и аппаратным RAID-контроллером PERC 12 H965i RAID.

Варианты подключения NVMe-накопителей в Dell PowerEdge

Компания Dell предлагает различные типы бэкплейнов для хранения данных в серверах PowerEdge 16-го поколения. При конфигурации модели R760 доступно почти 50 вариантов компоновки дисковых корзин. Некоторые из них предназначены для поддержки решений предыдущих поколений (например, PERC 11), но суть в том, что выбор шасси — крайне важный шаг. При этом здесь ещё не учтена грядущая поддержка накопителей E3.S NVMe, которая станет единственным способом использовать SSD пятого поколения в серверах PowerEdge. Мы уже рассматривали форм-фактор E3.S на примере Dell PowerEdge R660 — если вас интересуют преимущества Gen5 и стандарт EDSFF, можете ознакомиться с тем материалом.

Возвращаясь к основной теме. В этом обзоре мы хотим понять, как влияет выбор между опцией Dell Direct Drives и аппаратным RAID-контроллером PERC 12. Как уже было сказано, внимание сосредоточено исключительно на работе с NVMe SSD форматов U.2/U.3 четвёртого поколения. Варианты с SATA/SAS и 3.5″ HDD мы здесь не рассматриваем, так как они намного проще.

В модели R760 Dell предлагает несколько вариантов шасси для установки NVMe-дисков Gen4. Конфигурация с Direct Drives может быть рассчитана на 8 или 16 накопителей. В случае с аппаратным RAID используется контроллер PERC 12, при этом на каждые 8 SSD ставится отдельная RAID-карта. Этот выбор критически важен, если вы хотите достичь максимальной производительности в полностью укомплектованной R760 с 16 NVMe SSD.

Обзор Dell PERC 12 H965i

RAID-контроллер Dell PowerEdge PERC 12 H965i основан на чипе Broadcom SAS4116W. Несмотря на наличие аббревиатуры SAS в названии, данный контроллер представляет собой трёхрежимный RAID-on-Chip (ROC) — то есть он поддерживает одновременно режимы SATA, SAS и NVMe. Этот же контроллер используется в линейке Broadcom MegaRAID.

Однако в случае с Dell PERC 12 H965i вступают в силу важные конструктивные отличия, которые зависят от конкретной модели сервера и семейства хранилищ Dell, к которым применяется данный контроллер.

Что касается PowerEdge, то в большинстве конфигураций используется карта PERC 12 под названием «H965i Front». В нашем обзоре системы R760 с аппаратным RAID-контроллером мы использовали две таких карты H965i Front — по одной на каждый комплект из 8 SSD Solidigm P5520. Стоит отметить, что эти карты заметно компактнее по сравнению с полноразмерными RAID-контроллерами. Их печатная плата и система охлаждения выполнены на очень высоком уровне.

Карты H965i Front устанавливаются непосредственно на 8-дисковый NVMe-бэкплейн и подключаются к материнской плате через две шины PCIe x8. Это позволяет освободить полноразмерные PCIe-слоты на задней панели сервера для других устройств.

Говоря о полноразмерных (add-in) картах, стандартная версия PERC 12 H965i представляет собой карту половинной высоты и половинной длины (half-height, half-length) со встроенным вентилятором. Такая версия PERC 12 встречается в некоторых конфигурациях PowerEdge, а также используется в новых JBOD-системах Dell PowerVault MD.

Кроме того, существует модификация H965i MX — это удлинённая и узкая печатная плата, предназначенная для установки в модульное шасси, например Dell MX7000.

Сравнение контроллеров Dell PERC 11 и PERC 12

RAID-контроллер Dell PERC 11 поддерживал работу с NVMe SSD, однако, к сожалению, преимущества аппаратного RAID сопровождались серьёзным снижением производительности. Именно из-за этого компромисса в отрасли с таким энтузиазмом восприняли новое решение на базе чипа Broadcom и его версию от Dell — PERC 12.

Контроллер Dell PERC H755 — это наиболее распространённый контроллер поколения PERC 11.

Другие модели в линейке PERC 11 могут включать, например:

• Dell PERC H755 Front — для прямой установки на передний бэкплейн;
• Dell PERC H755 Adapter — полноразмерная карта расширения;
• Dell PERC H755N Front — версия с поддержкой NVMe (ограниченная);
• Dell PERC H755 MX — для модульных решений (например, MX7000);
• Dell PERC H355 — младшая модель без кэш-памяти (entry-level);
• Dell PERC H755S — специализированная SAS-версия.

Основные официальные версии контроллеров PERC 12 на базе Broadcom SAS4116W (tri-mode ROC) с поддержкой SATA/SAS/NVMe:

• Dell PERC H965i Front — компактный модуль, устанавливаемый непосредственно на NVMe-бэкплейн для 8 SSD, подключается к материнской плате через PCIe-кабели (используется, например, в PowerEdge R760).
• Dell PERC H965i Adapter — классическая карта расширения (half-height, half-length) с активным охлаждением (вентилятор), устанавливается в PCIe-слот.
• Dell PERC H965i MX — узкая длинная версия для модульного шасси Dell MX7000.
• Dell PERC H965N Front — версия с поддержкой NVMe, аналогична H965i Front, но с другими возможностями маршрутизации/протоколов.
• Dell PERC H365 — младшая модель PERC 12 поколения (без кэширования, для базовых задач).
• Dell PERC H965S — специализированная SAS-ориентированная модель.

Dell предоставил сравнительные показатели производительности PERC 11 против PERC 12, и разница оказалась впечатляющей.

Преимущества PERC 12 в плане задержек очевидны, но особенно впечатляет его производительность в наихудших условиях — во время восстановления массива. PERC 12 демонстрирует улучшение на тысячи процентов, и даже время восстановления RAID-массива значительно сокращается.

Note: All tests used FIO running on RedHat Enterprise Linux 8.6.

Если взглянуть на показатели пропускной способности и IOPS, приводимые Dell, становится очевидным, что PERC 12 представляет собой гигантский шаг вперёд по сравнению с PERC 11. Во всех протестированных сценариях наблюдается минимум двукратное улучшение производительности с картой PERC 12.

Разумеется, мы также провели собственные тесты для оценки производительности PERC 12 — и далее мы подробно остановимся на их результатах.

Производительность Dell Direct Drives против Dell PERC 12

Для сравнения производительности хранилища в конфигурациях Direct Drives и PERC 12 мы настроили два «родственных» сервера Dell R760 с SSD Solidigm P5520 объёмом 7,68 ТБ.

Сервер R760 с Direct Drives был укомплектован 8 NVMe-слотами,

а сервер R760 с PERC 12 — 16 NVMe-слотами, подключёнными через две RAID-карты H965i Front.

На первый взгляд может показаться, что обе конфигурации не имеют ярко выраженных ограничений по производительности. Однако, если присмотреться, определённые компромиссы есть у каждой из них.

Начнём с конфигурации Direct Drives: здесь каждый SSD получает собственное подключение по шине PCIe x4, то есть 8 SSD используют в сумме 32 линии PCIe. Это обеспечивает огромную пропускную способность — более 52 ГБ/с, если каждый накопитель Gen4 может выдать до 6,5 ГБ/с.

В случае PERC 12 H965i, каждая группа из 8 SSD подключается к RAID-контроллеру, который уже соединён с материнской платой через один слот PCIe x16. Это означает, что общая пропускная способность вдвое ниже, чем у Direct Drives, при аналогичном количестве SSD.

Значит ли это, что нативное NVMe-подключение автоматически выигрывает?

Не совсем.

При работе с несколькими NVMe-устройствами в системе с несколькими процессорами (multi-CPU) начинают играть важную роль такие факторы, как NUMA-сопоставление (Non-Uniform Memory Access) между накопителями и процессорами, а также системные прерывания. Всё это можно оптимизировать, но такая настройка требует глубокой технической проработки. При этом не все приложения умеют учитывать такие особенности.

Особенно сложно обстоит дело с виртуализацией, где NUMA-сопоставление постоянно меняется — ресурсы динамически распределяются между виртуальными машинами, иногда привязываясь к CPU, который не имеет прямого доступа к нужным PCIe-устройствам.

В таких ситуациях аппаратные RAID-контроллеры значительно упрощают задачу:

они минимизируют влияние NUMA, оптимизируют работу с системными прерываниями и переключением контекста, разгружая центральные процессоры. Вместо того чтобы управлять 16 отдельными SSD, распределёнными между двумя CPU, система работает всего с одной RAID-картой на каждый процессор, что значительно упрощает архитектуру и управление.

Наш тестовый план сосредоточен на двух направлениях:

• Оценка производительности JBOD с помощью Vdbench при использовании 8 SSD, передаваемых напрямую каждой из двух систем R760.
• В конфигурации Direct Drives — это 8 SSD, подключённых нативно к шасси R760.
• В конфигурации с аппаратным RAID (HWRAID) — это 8 «сырой» (raw) устройств, передаваемых через PERC 12 без создания массивов.

В обоих случаях тестирование проводится без дополнительных оптимизаций.

• Масштабирование производительности PERC 12 — от одиночной карты до оптимизированной конфигурации с двумя RAID-контроллерами, чтобы показать потенциал архитектуры.

Конфигурация тестовой системы Dell PowerEdge R760 с Direct Drives:

• Процессор: 2× Intel Xeon Gold 6430 (32 ядра / 64 потока, базовая частота 1.9 ГГц)
• Оперативная память: 1 ТБ DDR5
• Накопители: 8× Solidigm P5520 по 7.68 ТБ (Gen4 NVMe)
• ОС: RHEL 9

Конфигурация тестовой системы Dell PowerEdge R760 с PERC 12 (HWRAID):

• Процессор: 2× Intel Xeon Gold 6430 (32 ядра / 64 потока, базовая частота 1.9 ГГц)
• Оперативная память: 1 ТБ DDR5
• Накопители: 16× Solidigm P5520 по 7.68 ТБ (Gen4 NVMe)
• RAID: 2× PERC 12 H965i
• ОС: RHEL 9

Анализ нагрузочного тестирования с Vdbench

При тестировании накопителей наилучший подход — это использование реальных прикладных сценариев, за которым следует синтетическое тестирование. Хотя синтетические тесты не дают полного отражения реальных рабочих нагрузок, они позволяют создать воспроизводимые условия, что упрощает сравнение различных решений на равных условиях.

Нагрузочные профили Vdbench охватывают широкий спектр сценариев:

• классические «четыре угла» (four corners) — последовательное и случайное чтение/запись;
• типичные размеры блоков для баз данных;
• трассировки из различных VDI-сред (виртуальных рабочих столов), приближённые к реальной эксплуатации.

Таким образом, Vdbench позволяет получить репрезентативную картину базовой производительности хранилища при различных типах нагрузок.

Эти тесты выполняются с использованием стандартного генератора нагрузок Vdbench с помощью встроенного скриптового движка, что позволяет автоматизировать процесс и собирать результаты на большом вычислительном кластере. Это даёт возможность повторять одни и те же сценарии на разных устройствах хранения — от флэш-массивов до отдельных накопителей.

Процесс тестирования в этих бенчмарках включает:

• Полное заполнение накопителя данными;
• Тестирование на 25% ёмкости диска, чтобы смоделировать поведение накопителя при реальных нагрузках приложений;

Это отличается от классических тестов полной энтропии, где нагрузке подвергается 100% пространства диска, что приводит его в стабильное "устоявшееся" состояние. В нашем случае, благодаря методу тестирования, скорости записи будут выше, чем в стандартных тестах полной энтропии.

Тестовые профили:

• 4K случайное чтение и запись: 100% чтение или запись, 128 потоков, масштабирование iorate от 0% до 120%
• 64K последовательное чтение: 100% чтение, 32 потока, масштабирование iorate от 0% до 120%
• 64K последовательная запись: 100% запись, 16 потоков, масштабирование iorate от 0% до 120%
• 4K смешанная нагрузка 70R/30W и 90R/10W: 64 потока, масштабирование iorate от 0% до 120%

Первые результаты:

При тестировании пропускной способности при чтении сразу видно преимущество конфигурации Direct Drives за счёт большего количества выделенных PCIe-линий:

• Direct Drives используют 32 линии PCIe;
• PERC 12 в режиме JBOD использует 16 линий PCIe.

Это даёт следующие результаты:

• 41,6 ГБ/с у Direct Drives
• 28 ГБ/с у PERC 12

Таким образом, в сценариях, где важна максимальная скорость последовательного чтения, нативное подключение накопителей даёт значительное преимущество.

При переходе от тестов на чтение к тестам на запись, преимущество большего количества PCIe-линий у Direct Drives становится менее заметным, поскольку скорость записи у Solidigm P5520 ниже, чем скорость чтения.

Результаты тестирования показали:

• Конфигурация Direct Drives достигла 18,3 ГБ/с,
• А система с PERC 12 — 20,3 ГБ/с.

Таким образом, при записи PERC 12 демонстрирует даже немного более высокую пропускную способность, несмотря на меньшее количество выделенных PCIe-линий.

В тесте на случайное чтение 4K конфигурация с 8 SSD Solidigm P5520 в сервере PowerEdge R760 с Direct Drives достигла пикового значения 5,55 млн IOPS,

в то время как система с PERC 12 показала результат 4,34 млн IOPS.

Таким образом, при случайных операциях чтения небольшими блоками нативное подключение через Direct Drives обеспечивает более высокую производительность.

В тесте на случайную запись 4K разрыв между конфигурациями снова сократился:

• Direct Drives показали 3,96 млн IOPS,
• а PERC 12 — 4,15 млн IOPS.

То есть при случайной записи небольшими блоками система с PERC 12 уже немного опережает Direct Drives.

В первом тесте на смешанную нагрузку (4K случайные операции с соотношением 70% чтения и 30% записи) конфигурация PowerEdge R760 с Direct Drives показала пиковую производительность 4,47 млн IOPS, тогда как система с PERC 12 достигла 3,66 млн IOPS.

Таким образом, при преобладании операций чтения в смешанных сценариях Direct Drives снова демонстрируют заметное преимущество.

При увеличении доли операций чтения до 90% в том же тесте на случайные передачи 4K результаты оказались следующими:

• Direct Drives достигли 5,04 млн IOPS,
• PERC 12 — 3,62 млн IOPS.

Таким образом, при ещё большем преобладании чтения преимущество Direct Drives над PERC 12 становится ещё более выраженным.

Анализ нагрузочного тестирования FIO

Для оценки производительности накопителей в конфигурациях Dell Direct Drives и PERC 12 HWRAID тестирование было разделено на несколько этапов:

• Первая часть — это JBOD-тестирование (каждый накопитель отдельно, без RAID), а затем проверка в конфигурациях RAID10 и RAID5.

В случае Direct Drives SSD распознаются операционной системой как обычные устройства.

В случае PERC 12 накопители передаются через контроллер в режиме raw-устройств (без массивов).

Все сценарии тестирования шли через автоматизированный скриптовый процесс:

• Последовательная подготовка накопителей (sequential preconditioning);
• Последовательные тесты на конфигурациях JBOD, 8-дисковом RAID10, 8-дисковом RAID5 (с одной и двумя картами PERC);
• Случайная подготовка накопителей (random preconditioning);
• Оптимальные случайные тесты на тех же конфигурациях;
• Тесты восстановления массива (random rebuild tests) на RAID10 и RAID5;
• Тестирование задержек записи для оптимального и восстановительного режимов на RAID5 (с одной картой PERC).

Архитектурные особенности:

У PERC 12 H965i используется слот PCIe Gen4 x16, что позволяет добиться пиковых скоростей около 28 ГБ/с в одном направлении — это предел для одного слота Gen4.

Для обхода этого ограничения Dell предложила интересное решение: в PowerEdge R760 можно использовать двойную конфигурацию PERC 12 — каждая карта управляет своими 8 SSD.

Таким образом, нагрузка распределяется между двумя RAID-контроллерами, что устраняет ограничение пропускной способности и значительно увеличивает суммарную производительность при тяжёлых рабочих нагрузках.

Результаты по последовательным операциям:

• При чтении:
• Direct Drives достигли 54,4 ГБ/с,
• PERC 12 с одной картой — 28,1 ГБ/с.
• При записи:
• Direct Drives показали 33,4 ГБ/с,
• PERC 12 с одной картой — 28,3 ГБ/с.

Как видно, в последовательных операциях (особенно на чтение) Direct Drives имеют существенное преимущество.

В то же время разница в скоростях записи меньше выражена, поскольку в целом накопители этого класса обладают гораздо более высокой скоростью чтения, чем записи.

Переключившись на анализ производительности при случайных операциях, мы начинаем видеть, где именно аппаратный RAID-контроллер начинает получать реальные преимущества, особенно в контексте балансировки NUMA.

• При случайном чтении 4K:
• Direct Drives с SSD Solidigm P5520 7,68 ТБ достигли 7,96 млн IOPS,
• Конфигурация PERC 12 JBOD — 7 млн IOPS.
• При случайной записи 4K:
• Direct Drives снизились до 3,4 млн IOPS,
• В то время как PERC 12 удерживал 5,97 млн IOPS.
• В нагрузке 4K OLTP (профиль типичных операций баз данных):
• Direct Drives выдали 3,6 млн IOPS,
• PERC 12 — 10,2 млн IOPS.

Что это значит?

Традиционное мнение гласило, что аппаратный RAID уже не нужен при использовании современных высокоскоростных SSD. Однако здесь становится ясно, что это больше не соответствует действительности:

• Да, Direct Drives на NVMe можно оптимизировать, но это требует постоянной сложной настройки, особенно при распределении SSD между двумя процессорами (CPU).
• В PERC 12 HWRAID все вопросы распределения ресурсов, прерываний и NUMA-оптимизации решаются на уровне контроллера — он подключается к одному процессору, полностью снимая нагрузку с операционной системы и гипервизора.

При масштабировании:

• Вторая карта PERC 12 в сервере Dell PowerEdge R760 подключается ко второму процессору, что позволяет равномерно распределить нагрузку при больших объёмах операций.

Важно отметить:

При достижении уровня около 10 млн IOPS система начала насыщать вычислительные мощности CPU, из-за чего масштабирование производительности стало нелинейным даже с добавлением второй карты PERC 12.

Хотя мы не тестировали варианты программного RAID в конфигурации PowerEdge R760 с Direct Drives, у нас была возможность оценить работу PERC 12 при деградированном состоянии массива.

Итоги тестирования показали:

• При выходе из строя накопителя производительность действительно заметно снижается по сравнению с оптимальным состоянием массива.
• Однако и RAID10, и RAID5 на базе PERC 12 сохраняли очень высокую производительность даже в процессе восстановления своих RAID-групп.

Таким образом, PERC 12 демонстрирует стабильную и эффективную работу в условиях деградации массива, что критически важно для корпоративных сценариев, где время восстановления и доступность системы имеют первостепенное значение.

Хотя оптимальная производительность RAID-массива является важным критерием при выборе системы хранения, не менее важно понимать, как она себя ведёт в нештатных ситуациях.

С этой целью мы измерили:

• Задержки при записи 4K в RAID5 в оптимальном состоянии;
• Производительность при восстановлении массива после выхода одного накопителя из строя.

Ключевые наблюдения:

• Если бы при восстановлении производительность или задержки значительно ухудшились, это могло бы привести к снижению отзывчивости приложений.
• Однако, несмотря на естественное снижение пропускной способности в процессе восстановления массива,
• задержка записи практически не увеличилась по сравнению с базовым уровнем в оптимальном состоянии.

Иными словами, даже в процессе восстановления PERC 12 обеспечивает стабильные значения задержек, что критически важно для поддержания качества работы приложений в реальном времени.

Заключение

Новый RAID-контроллер Dell PERC 12 для NVMe существенно меняет расстановку сил в сегменте систем хранения данных на базе серверов PowerEdge.

Ранее многие заказчики сомневались в переходе с SAS SSD на NVMe, либо выбирали NVMe-диски, подключённые напрямую к решениям программно-определяемого хранения (SDS) или к гипервизорам.

С выходом PERC 12 ситуация изменилась: теперь использование NVMe-накопителей в серверах PowerEdge стало гораздо более жизнеспособным и привлекательным вариантом.

Почему PERC 12 показывает такие результаты

Высокая производительность PERC 12 объясняется не только его архитектурой, но и особенностями компоновки сервера PowerEdge.

В нашем тестовом R760 установлены две карты PERC 12 (H965i Front), каждая из которых подключена через шину PCIe x16.

Это позволяет использовать 8 SSD Solidigm на каждую карту и достигать до 28 ГБ/с пропускной способности на карту.

Если бы все 16 SSD подключались к одному RAID-контроллеру, это привело бы к потере половины потенциальной производительности.

Почему не 24 SSD с аппаратным RAID?

Важно помнить, что любая система имеет свои узкие места:

• В данном случае узким местом становится нагрузка на процессоры x86 — они достаточно быстро достигают насыщения при высоких IOPS и пропускной способности.
• В кластерных конфигурациях также ограничивающим фактором становится сеть: несколько SSD легко могут загрузить сетевую инфраструктуру уровня 200GbE или даже 400GbE.

Кроме того, с увеличением ёмкости SSD (до 30,72 ТБ и выше) потребность в установке большого количества накопителей снижается — для решения задач по объёму хранения требуется меньше физических устройств.

Уточнение на 2025 год: Появление SSD NVMe Gen5 с интерфейсом E3.S

На начало 2025 года на рынок начали поступать промышленные SSD с интерфейсом NVMe Gen5 x4 в форм-факторе E3.S объемом от 16 ТБ и выше. Эти накопители обеспечивают ещё более высокую пропускную способность по сравнению с накопителями Gen4, что особенно важно для новых серверов PowerEdge, адаптированных под стандарты EDSFF. При планировании серверной инфраструктуры стоит учитывать поддержку накопителей E3.S для максимально эффективного использования NVMe Gen5 возможностей.

Уточнение на 2025 год: Возможность замены PERC 12 на SDS-решения

Хотя аппаратные RAID-контроллеры Dell PERC 12 демонстрируют отличную производительность, в некоторых сценариях корпоративной инфраструктуры целесообразным может быть переход на программно-определяемые системы хранения данных (SDS). Решения вроде VMware vSAN, Microsoft Storage Spaces Direct или аналогичных позволяют объединять локальные SSD NVMe в отказоустойчивые распределенные хранилища без необходимости в традиционных RAID-контроллерах. Такой подход особенно актуален для масштабируемых сред виртуализации, гиперконвергентных инфраструктур и облачных проектов.

Комментарий пресейл эксперта ITELON:

При выборе способа подключения NVMe-дисков в корпоративных серверах я бы предложил читателю обратить внимание на следующие темы для размышлений:

1) Производительность сервера при доступе к данным определяется не только количеством операций ввода-вывода в секунду, но и латентностью - задержкой между поступлением команды и окончанием её выполнения. Другими словами, задержкой при доступе к данным. На всех приведённых графиках мы наблюдаем стабильно большую латентность при использовании аппаратного контроллера, и во многих корпоративных сценариях разница между Direct-подключением и подключением через RAID-контроллер оказывается значительной в пользу прямого подключения.

2) Производительность при прямом подключении накопителей (Direct) критически зависит от используемого программного обеспечения, которым создается RAID-том. Решений тут множество, и все они имеют свои особенности. В частности, под Linux мы можем предложить воспользоваться программным RAID от компании RAIDIX, который, за счет использования оригинальных запатентованных алгоритмов с применением команд Advanced Vector Extensions (AVX) современных процессоров, обеспечивает производительность, адекватную возможностям современных NVMe накопителей.

3) Современные поколения процессоров достигли такого уровня производительности, что популярность односокетных (однопроцессорных) серверов, например, Dell R6615 или R7715, растёт - теперь даже один процессор (64, 92 или 128 ядер) способен обеспечить всю требуемую производительность, да ещё и при меньшей, чем у двухпроцессорного сервера, цене. А при использовании одного процессора, проблема NUMA, затронутая выше, теряет актуальность. В частности об этом мы рассказываем в кейсе Оптимизация IT-процессов в финансовой сфере, где мы внедрили односокетный сервер, в ахритектуре которого все 24 NVMe слота соединены напрямую с процессором и обеспечили на практике минимально возможную задержку доступа к данным.