Контроллер Dell PERC13: новый уровень аппаратного NVMe-RAID для эпохи ИИ

Dell PERC13 H975i: крупнейший скачок в аппаратном RAID за десятилетие. Регулярные обновления линейки PERC прежде в основном ограничивались доводкой контроллеров и ростом пропускной способности вслед за новыми поколениями PCIe, при этом архитектура оставалась связана с наследием SATA и SAS. Модель PERC H975i разрывает эту зависимость. Контроллер на базе чипсета Broadcom SAS51xx демонстрирует переход к архитектуре с приоритетом флеш-накопителей и нативной работой с NVMe. Отказавшись от поддержки традиционных HDD и интерфейса SATA и сосредоточившись исключительно на NVMe-носителях, H975i предлагает перспективный подход к построению подсистем хранения, оптимизированный под высокую производительность и низкую задержку для современных нагруженных приложений и ИИ сценариев.

Главное - в фокусе:

Флеш-приоритетный NVMe-RAID. PERC13 H975i полностью уходит от наследия SAS/SATA: контроллер на базе Broadcom SAS51xx реализует нативную NVMe-архитектуру, изначально ориентированную на высокую производительность и ИИ-нагрузки.

Сильный рывок по поколению. Поддержка PCIe Gen5 x16 и до 16 NVMe-накопителей на контроллер (до 32 при двух контроллерах). В испытаниях получены 52,5 ГБ/с и 12,5 млн IOPS на контроллер. Прирост к PERC12: чтение +88% по пропускной способности, запись +318%, 4К-чтение IOPS +31%, 4К-запись IOPS +466%.

Актуален для серверов под HPC/ИИ. Фронтальная интеграция освобождает задние слоты PCIe под графические ускорители (GPU), укорачивает трассы MCIO и дает каждой карте свой выделенный канал к хранилищу. Это обеспечивает более стабильную, предсказуемую полосу без загрузки центрального процессора.

Устойчивость под нагрузкой. Кэш с защитой суперконденсатором и ускоренные перестроения сокращают время восстановления до 10 минут на ТиБ, сохраняя высокую производительность в процессе: до 53,7 ГБ/с на чтение, 68 ГБ/с на запись, 17,3/5,33 млн 4К IOPS (чтение/запись).

Сквозная защита. Аппаратный root-of-trust, идентификация устройств по SPDM и шифрование на всех участках: диски, трафик на линии и кэш контроллера.

PERC H975i предлагает лидирующую производительность и заметные архитектурные нововведения. За счет хост-интерфейса PCIe Gen5 x16 и поддержки до 16 NVMe-накопителей на контроллер (до 32 на систему при двух контроллерах) в испытаниях получено до 52,5 ГБ/с и 12,5 млн IOPS на контроллер. Это почти двукратный рост по ключевым метрикам относительно PERC12, где верхние значения составляли 6,9 млн IOPS и 27 ГБ/с. Помимо «сырой» скорости, PERC13 получил защиту кэша на суперконденсаторах (вместо традиционных батарейных модулей), что обеспечивает целостность данных без компромиссов по надежности. Развивая возможности безопасности предыдущего поколения, H975i расширяет сквозное шифрование: данные шифруются в кэше, а также при передаче и на носителях, формируя единый контур защиты.

PERC H975i — специализированный ускоритель подсистемы хранения под беспрецедентные вычислительные нагрузки. Он совмещает высокую плотность и высокую производительность, обеспечивает малую задержку и при этом не нагружает центральный процессор. На практике связка RAID-карты PCIe Gen5, способной полностью загрузить линию x16, с ускорителем Gen5 дает каждому GPU собственный выделенный канал к хранилищу. Это упрощает PCIe/NUMA-топологию, устраняет взаимное влияние «шумных соседей» и изолирует перестроения массива и фоновые операции внутри I/O-домена конкретного GPU.

При масштабировании до двух RAID-карт на два GPU сохраняется линейный рост производительности без конфликтов за общие линии или кеши. В итоге входной поток для обучающих и инференс-задач становится стабильнее (крупные батчи, быстрая перегруппировка данных, оперативное чтение контрольных точек), а распределение задержек — более узким даже под нагрузкой и во время перестроений. Такая архитектура важна не только ради пиковых цифр: она делает полосу пропускания более предсказуемой — именно то, что нужно многопроцессорным ИИ-серверам для высокой утилизации GPU.

Сравнение контроллеров Dell PERC12 H965i и PERC13 H975i

Фронтальный контроллер PERC13 H975i в серверах Dell PowerEdge интегрируется прямо в архитектуру системы. В отличие от классических карт расширения, занимающих задние слоты PCIe, H975i подключается напрямую к фронтальному бэкплейну дисков и через фронтальные разъемы MCIO на системной плате работает по выделенным интерфейсам PCIe 5.0. Такой подход сохраняет задние слоты PCIe для высокопроизводительных GPU и других модулей расширения, а также заметно сокращает длину кабелей. Это помогает удерживать целостность сигнала, повышает надежность и упрощает обслуживание. В результате внутренняя компоновка становится чище, а воздушный поток улучшается — что важно для плотных конфигураций с высокой вычислительной нагрузкой.

H975i реализует сквозную архитектуру безопасности — от аппаратной аттестации на уровне кристалла до полного шифрования данных на месте с использованием SED-накопителей. В основе лежит аппаратный корень доверия (Hardware Root of Trust): формируется неизменяемая цепочка криптографической проверки от внутреннего загрузочного ПЗУ до каждого компонента прошивки, что гарантирует запуск на контроллере только аутентифицированной, сертифицированной Dell прошивки. Аппаратная защита дополняется реализацией Security Protocol and Data Model (SPDM): у каждого контроллера есть уникальный сертификат Device Identity, благодаря которому iDRAC выполняет онлайн-проверку подлинности. Криптографическая защита распространена не только на данные «в покое», но и на кэш-память: ключи хранятся в защищенных областях памяти, недоступных для неавторизованной прошивки. В результате критичные данные защищены как на дисках, так и во время активной обработки в кэше.

Защита питания в H975i — важный шаг вперед по сравнению с классическими BBU-системами за счет интеграции суперконденсатора. Суперконденсатор обеспечивает мгновенную подачу энергии при внезапном отключении, гарантируя шифрованный и полный сброс кэша в энергонезависимую память, где данные остаются защищенными сколь угодно долго. В отличие от батарейных решений, которым для «обучающих» циклов требуется 4–8 часов, суперконденсатор H975i выполняет прозрачный цикл калибровки (Transparent Learn Cycle) за 5–10 минут и без снижения производительности. Такая конструкция снимает эксплуатационные издержки и риски деградации, характерные для батарей, и дает более высокий уровень надежности для критичных к данным систем.

Интегрированный мониторинг и управление

RAID-контроллер Dell PERC13, как и другие решения Dell, поддерживает несколько способов управления и мониторинга: во время загрузки платформы через System Setup в BIOS, из веб-интерфейса iDRAC, через утилиту PERC (PERC12 Utility), а также через Dell OpenManage — в графическом интерфейсе и по командной строке.

Управление через iDRAC

Во вкладке контроллеров в интерфейсе iDRAC отображается сводка по подсистеме хранения сервера. Рядом с картой BOSS видны два контроллера PERC H975i с информацией о версиях прошивки, объеме и состоянии кэша, а также о состоянии модуля резервного питания. Такая сводка позволяет быстро оценить готовность и конфигурацию контроллеров без входа в BIOS и без использования CLI-инструментов.

Вкладка Virtual Disks в iDRAC отображает созданные массивы хранения с указанием уровня RAID, емкости и политики кэширования. В данном сервере показаны две группы RAID-10 на SSD. Из этого раздела администратор может убедиться, что тома в статусе online, создать новые виртуальные диски или через меню Actions изменить параметры либо удалить существующие конфигурации.

Утилита конфигурации RAID-контроллера

На иллюстрации показан вход в PERC H975i Front Configuration Utility (System Setup) на платформе PowerEdge R7715. Из этого интерфейса доступны все ключевые настройки RAID-контроллера, включая разделы Configuration Management, Controller Management, Device Management и другие. Утилита позволяет быстро развернуть виртуальные диски и контролировать аппаратные компоненты непосредственно в процессе загрузки платформы.

После выбора уровня RAID переходим к подбору физических дисков для массива. В данном примере перечислены все доступные NVMe-SSD, отмеченные как пригодные для RAID. Из пула нераспределенной емкости выбираются несколько накопителей Dell DC NVMe емкостью 3,2 ТиБ. Для ускорения поиска можно задать фильтры по типу носителя, интерфейсу и логическому размеру сектора. После отметки нужных дисков нажимаем «OK», чтобы зафиксировать выбор и продолжить создание Virtual Disk. 

Перед финализацией создания виртуального диска система выводит предупреждение о том, что все данные на выбранных физических дисках будут безвозвратно удалены. Для продолжения требуется установить флажок Confirm и выбрать Yes, тем самым подтвердив операцию. Этот механизм снижает риск случайной потери данных на этапе развертывания RAID.

После создания виртуальный диск отображается в разделе Virtual Disk Management. В данном примере новый том RAID 5 имеет емкость 43,656 ТиБ и статус Ready. Нескольких простых шагов достаточно, чтобы подготовить хранилище к работе.

Хотя утилита PERC BIOS Configuration Utility и интерфейс iDRAC дают наглядные варианты локального и удаленного управления, у Dell есть и мощный инструмент командной строки — PERC CLI (perccli2). Утилита поддерживается в Windows, Linux и VMware, что делает ее удобной для скриптов, автоматизации и администрирования контроллеров PERC в средах без графического интерфейса. На сайте поддержки Dell доступна подробная документация по установке и использованию команд PERC CLI.

Тестирование производительности Dell PERC13

Перед замерами была подготовлена стендовая среда на платформе Dell PowerEdge R7715 с двумя фронтальными контроллерами PERC H975i. К ним подключены 32 NVMe-накопителя Dell 3,2 ТиБ, каждый с паспортными значениями до 12 000 МБ/с на последовательном чтении и 5 500 МБ/с на последовательной записи при размере блока 128 КиБ. Такая конфигурация позволяет раскрыть пропускную способность контроллера PERC13 и оценить поведение RAID на высокой плотности.

Конфигурация стенда:

• Платформа: Dell PowerEdge R7715

• Процессор: AMD EPYC 9655P, 96 ядер

• Память: 768 ГБ (12 × 64 ГБ) DDR5-5200 ECC

• RAID-контроллер: 2 × PERC13 H975i (Front)

• Хранилище: 32 × 3,2 ТиБ Dell CD8P NVMe

• Ускорители PCIe: 2 × NVIDIA H100

NVIDIA Magnum IO GPU Direct Storage: встреча ИИ и подсистемы хранения

Современные ИИ-конвейеры чаще упираются в ввод-вывод, а не в вычисления. Батчи данных, эмбеддинги и чекпоинты нужно доставлять из хранилища в память GPU достаточно быстро, чтобы ускорители не простаивали. NVIDIA Magnum IO GDS (через cuFile) минует традиционный путь «SSD → DRAM CPU → GPU» и позволяет выполнять DMA напрямую из NVMe в память GPU. Это убирает оверхед буферизации на CPU, снижает задержки и делает пропускную способность более предсказуемой под нагрузкой. На практике это означает выше утилизацию GPU, короче эпохи и более быстрые сохранения/загрузки чекпоинтов.

Методика GDSIO измеряет именно маршрут «хранилище → GPU»: перебираются размеры блока и число потоков, чтобы понять, как быстро массив NVMe под управлением PERC13 заливает данные в память H100. При каждом H975i на PCIe 5.0 x16 теоретическая односторонняя полоса — около 64 ГБ/с на контроллер; при двух контроллерах суммарный потолок — примерно 112 ГБ/с. По плато на графиках видно, чем ограничена система: линиями PCIe или носителями. Для практиков графики читаются как проекции реальных задач: крупные последовательные чтения — поток датасета и восстановление чекпоинтов; крупные последовательные записи — сохранение чекпоинтов; мелкие передачи с конкуренцией — перемешивание минибатчей в загрузчике данных и опережающая подгрузка. Хорошее масштабирование GDSIO означает меньше остановок GPU и более стабильную производительность как при обучении, так и при высокопотоковом инференсе.

GDSIO: последовательное чтение (пропускная способность)

На малых размерах блока и числа потоков полоса была умеренной: порядка 0,3 GiB/с при блоке 8 КиБ и одном потоке. Производительность резко масштабировалась в диапазоне 16 КиБ–512 КиБ, особенно при росте числа потоков с 4 до 16. Наибольшие приросты фиксировались при блоках 1 МиБ, 5 МиБ и 10 МиБ: пик составил 103 GiB/с при блоке 10 МиБ и 256 потоках. Динамика показывает, что массив на PERC13 выигрывает от крупных блоков и многопоточности; оптимальное насыщение наблюдается примерно на 64–128 потоках, после чего рост выходит на плато. 

Dell PowerEdge R7715, 2×PERC13, 2×RAID 5 — GDSIO: последовательное чтение, пропускная способность (GiB/с)

GDSIO: разница пропускной способности при последовательном чтении (Differential).
В тестах последовательного чтения по диапазону размеров блока от 8 КиБ до 10 МиБ контроллер PERC13 (H975i) стабильно опережал PERC12 (H965i), причем процентный выигрыш резко рос на крупных блоках и при увеличении числа потоков.

На малых блоках (8–16 КиБ) улучшения были умеренными (обычно 0–20%), а в отдельных случаях H975i слегка уступал из-за вариативности на низких глубинах очереди. К 32–64 КиБ преимущество стало устойчивым: H975iобеспечивал на 30–50% более высокую полосу в большинстве режимов по числу потоков.

Наиболее заметные отличия проявились на крупных блоках (128 КиБ–10 МиБ), где PERC13 раскрыл полную потенцию системы по последовательному чтению. Здесь H975i демонстрировал выигрыш 50–120% относительно H965i. Например, при размере блока 1 МиБ и 8–16 потоках прирост составлял свыше 55 GiB/с, что соответствует примерно +90%. На 5 МиБ и 10 МиБ улучшения регулярно превышали 100%, а в некоторых конфигурациях производительность почти удваивалась по сравнению с предыдущим поколением.

В целом PERC13 (H975i) сформировал уверенное лидерство в сценариях последовательного чтения, особенно при росте блока и числа потоков. Тогда как на малых блоках прирост был инкрементальным, на 256 КиБ и выше новый контроллер стабильно давал +50–100% и более, наглядно подчеркивая архитектурные улучшения в актуальной RAID-платформе Dell.

GDSIO: разница в последовательном чтении — Dell PERC13 против Dell PERC12

GDSIO: задержка при последовательном чтении (Latency)
По мере роста пропускной способности задержка оставалась контролируемой на малых блоках и низкой параллельности. Например, при размере блока до 64 КиБ и 16 потоках латентность удерживалась ниже 100 мкс, что говорит об эффективной обработке чтений в этом диапазоне. При дальнейшем масштабировании блоков и потоков — особенно на 5 МиБ и 10 МиБ при 64+ потоках — задержка возрастала быстрее, достигая пика 211,8 мс при 10 МиБ и 256 потоках. Это подчеркивает появление узких мест контроллера/очередей под экстремальной нагрузкой, даже если полоса остается высокой.

Оптимальный баланс производительности и эффективности наблюдался при размере блока 1 МиБ и 8–16 потоках: массив удерживал 87,5–93,7 GiB/с, сохраняя латентность в пределах 179–334 мкс. Этот диапазон — «зона эффективности», где максимизируется полоса при задержках существенно менее 1 мс.

Dell PowerEdge R7715, 2×PERC13, 2×RAID 5 — GDSIO: последовательное чтение, средняя задержка (мс)

GDSIO: последовательная запись (пропускная способность)

Производительность записи хорошо масштабировалась по мере роста размера блока: от 1,2 GiB/с при 8 КиБ и 1 потоке до 13,9 GiB/с к 256 КиБ. Наибольший прирост пришелся на диапазон 128 КиБ–1 МиБ, где при 8–16 потоках полоса превысила 80 GiB/с. Пиковые значения достигались на 5 МиБ и 10 МиБ: уже с 8 потоков удерживалось 100–101 GiB/с.

Для крупных блоков кривая масштабирования рано выходила на плато в диапазоне 8–64 потоков, что указывает на достижение насыщения контроллерами. При более высоком числе потоков, особенно 128 и 256, стабильность менялась: на 5–10 МиБ удерживалось около 101 GiB/с, тогда как на средних блоках (например, 256 КиБ) наблюдалось снижение — с 61,2 GiB/с при 32 потоках до 45,3 GiB/с при 256 потоках.

Dell PowerEdge R7715, 2×PERC13, 2×RAID 5 — GDSIO: последовательная запись, пропускная способность (GiB/с)

GDSIO: разница пропускной способности при последовательной записи (Differential)
В тестах последовательной записи PERC13 (H975i) показал заметный выигрыш над PERC12 (H965i), особенно при росте размера блока и числа потоков. На малых блоках (8–32 КиБ) улучшения были умеренными — как правило 0–10%, местами различия укладывались в «шум» измерений.

Начиная с 64 КиБ преимущество H975i стало выраженным: при 64 КиБ прирост достигал 40–70%, что соответствовало прибавке более чем на 12–17 GiB/с относительно H965i. В диапазоне 128–256 КиБ эффект усиливался — H975i стабильно давал на 50–70% выше полосу на средних и высоких уровнях параллелизма.

Максимальный разрыв наблюдался на крупных блоках (512 КиБ–10 МиБ). При 512 КиБ прирост составлял +31…+56 GiB/с (+60–80%). На 1 МиБ лидерство увеличивалось до +40…+68 GiB/с (+70–90%). На 5 МиБ и 10 МиБ PERC13 почти вдвое превышал PERC12, с дельтами +75…+79 GiB/с (в ряде конфигураций — около +100%при высокой конкуренции потоков).

В итоге PERC13 демонстрирует поколенческий скачок в последовательной записи. Тогда как на самых малых блоках разница минимальна, после 64 КиБ H975i стабильно обеспечивает +50–100% и более, уверенно превосходя H965i в сценариях с интенсивной последовательной записью.

GDSIO: разница в последовательной записи — Dell PERC13 против Dell PERC12

GDSIO: задержка при последовательной записи (Latency)
На малых размерах блока и низкой параллельности задержка оставалась очень низкой: часто ниже 50 мкс вплоть до 128 КиБ при до 8 потоков. По мере роста числа потоков латентность увеличивалась заметнее: например, при 512 КиБ и 32 потоках — 392 мкс, а при 1 МиБ и 64 потоках — уже >1 мс.

Эффекты насыщения особенно проявлялись на крупнейших блоках и при максимальной конкуренции: 12,4 мс на 5 МиБ при 128 потоках и пик 50,3 мс на 10 МиБ при 256 потоках.

Оптимальная рабочая зона для последовательной записи наблюдалась на 1–5 МиБ при 8–16 потоках: полоса достигала 87,9–101,2 GiB/с, а задержка удерживалась в пределах 178 мкс – 1,7 мс, обеспечивая устойчивую производительность без избыточных задержек в очередях записи.

Dell PowerEdge R7715, 2×PERC13, 2×RAID 5 — GDSIO: последовательная запись, средняя задержка (мс)

MLPerf Storage 2.0: производительность в сценариях ИИ-обучения

Для оценки поведения в реальных условиях обучения использовался пакет тестов MLPerf Storage 2.0. Он моделирует паттерны ввода-вывода характерные для глубинного обучения и показывает, как подсистема хранения справляется с задачами сохранения чекпоинтов и длительного обучения моделей.

Бенчмарк чекпоинтов (Checkpointing)
При обучении машинных моделей чекпоинты позволяют периодически сохранять состояние, чтобы не потерять прогресс при сбоях оборудования, останавливать обучение раньше при достижении цели и ответвлять эксперименты от промежуточных состояний.

Сравнение длительности сохранения показало, что Dell PERC13 стабильно опережает PERC12 во всех конфигурациях. PERC13 укладывался в 7,61–10,17 с, тогда как PERC12 требовал 10,41–20,67 с для тех же операций. Самый заметный разрыв проявился на модели масштаба 1T параметров: PERC13 завершал сохранение чуть более чем за 10 с, тогда как PERC12 — 20+ с, то есть примерно вдвое быстрее на крупнейших моделях.

Длительность сохранения чекпоинта

Пропускная способность при сохранении чекпоинта (Save throughput).

Данные показывают более эффективное использование полосы у PERC13: контроллер стабильно обеспечивает более высокие скорости передачи. Зафиксировано 11,46–14,81 GB/с с пиком на модели 1T. Для сравнения, PERC12 достигает максимум 9,49 GB/с и снижается до 6,98 GB/с на самой крупной конфигурации. Новый контроллер держит более ровную производительность на разных размерах модели, что указывает на лучшую оптимизацию под крупные последовательные записи, характерные для операций сохранения чекпоинтов.

Пропускная способность сохранения чекпоинта

Длительность загрузки чекпоинтов

Сравнение времени загрузки также показывает преимущество PERC13, хотя величина отрыва зависит от размера модели. На меньших конфигурациях (8B, 70B) PERC13 загружает чекпоинты примерно на 35–40% быстрее, чем PERC12. Наибольший эффект вновь наблюдается на модели 1T: 10,58 с у PERC13 против 21,22 с у PERC12(почти –50%). Более быстрое восстановление критично для сокращения простоя при возобновлении обучения после сбоев.

Длительность загрузки чекпоинта

Пропускная способность при загрузке чекпоинта (Load throughput).

PERC13 демонстрирует устойчивое преимущество: во всех конфигурациях полоса держится выше 18 GB/с, а пик составляет 23,73 GB/с на модели 405B. Для сравнения, PERC12 показывает 6,8–10,68 GB/с, заметно уступая по скорости.

Пропускная способность загрузки чекпоинта

Бенчмарк производительности FIO

Помимо новых методик тестирования, для наглядности сохранены данные из предыдущего обзора по контроллеру Dell PERC12, чтобы показать разницу по пиковым метрикам полосы и IOPS.

Говорить, что PERC13 «стал лучше», — значит сильно занижать эффект. При одном RAID-5 томе на каждом контроллере зафиксировано: +88% к полосе чтения, +318% к полосе записи, +31% к 4K-случайному чтению и +466% к 4K-случайной записи. Это не предел для PERC13: более высокие значения достижимы при большем числе виртуальных дисков. Тем не менее результат корректно отражает поведение в конфигурации с одним логическим пространством имен, когда приоритет — максимальная общая емкость.

В фокусе — производительность контроллеров Dell PERC H975i и PERC H965i при использовании RAID 5, который дает удачное сочетание емкости и защиты паритетом. На PERC H975i проверялись несколько схем виртуальных дисков (VD): 8 VD в RAID 5 (8R5), 4 VD в RAID 5 (4R5) и 2 VD в RAID 5 (2R5). Для PERC H965iпротестированы 4R5 и 2R5. Выбор конфигураций обусловлен числом SSD, доступных под управление каждым контроллером: PERC13 поддерживает до 16 SSD, их удобно делить на до 4 групп RAID 5 по 4 диска; PERC12работал только с 8 SSD, что ограничивало испытания максимум двумя группами RAID 5. То есть в системе 8R5на каждом контроллере формируются четыре массива RAID 5 по четыре диска.

Все конфигурации проходили единый цикл тестирования. Сначала — предкондиционирование: два полных прохода записи устройства последовательными операциями. После выхода на стационарный режим измерялась производительность на разных профилях доступа. Перед каждым новым тестом предкондиционирование повторялось с соответствующим размером блока, чтобы обеспечить сопоставимость результатов.

Полоса при последовательной записи 128K (Bandwidth).

Тест 128K последовательной записи выявил резкий разрыв между поколениями контроллеров. Масивы на PERC H965i показали умеренную полосу: 2R5 — 28,1 GB/с, 4R5 — 29,5 GB/с, масштабирование от добавления RAID-групп минимально. На этом фоне PERC H975i продемонстрировал выдающиеся результаты во всех конфигурациях: 2R5 — 99,3 GB/с (+253%), 4R5 — 99,7 GB/с (+238%), 8R5 — 101,3 GB/с (+243% к H965i 4R5). В целом значения для H975i плотно сгруппированы вокруг 100 GB/с вне зависимости от числа VD, что указывает на достижение потолка полосы контроллера для 128K-записей.

Последовательная запись 128K — пропускная способность

Задержка при последовательной записи 128K (Latency).

Тест на задержку показал отчетливую разницу между поколениями контроллеров. Массивы на PERC H965iдемонстрировали более высокие задержки: для 2R5 диапазон составил 0,0238–17,8 мс, для 4R5 доходил до 38,9 мс, при этом добавление RAID-групп почти не давало выгоды. Напротив, PERC H975i обеспечил заметно меньшие задержки во всех конфигурациях: 2R5 — 0,0173–5,0 мс (пик ниже на 72%), 4R5 — 0,0179–10,5 мс (ниже на 73%), 8R5 — 0,0188–20,1 мс (ниже на 48% относительно H965i 4R5).

Последовательная запись — задержка

Полоса при последовательном чтении 128K (Bandwidth).

На системах Dell контроллеры PERC H965i показали ровную картину в обеих конфигурациях: 2R5 — пик 54,8 GB/с, 4R5 — тоже 54,8 GB/с. Напротив, PERC H975i выдал существенно более высокие значения во всех трех схемах — около 102,7–102,8 GB/с на пике. Конкретно: 2R5 — 102,8 GB/с (+87%), 4R5 — 102,7 GB/с (+87%), 8R5 — 102,7 GB/с (+87%). Важно, что у H965i масштабирования между 2R5 и 4R5 фактически нет, тогда как H975i держит высокий уровень независимо от числа массивов RAID 5; судя по значениям, достигается потолок полосы контроллера для 128K-чтений вне зависимости от количества дисков в группе.

Последовательное чтение — пропускная способность

Задержка при последовательном чтении 128K (Latency).

В тесте 128K на PERC H965i задержка варьировала: для 2R5 — 0,2006–16,1 мс, для 4R5 — 0,1644–24,7 мс, при масштабировании числа массивов разброс возрастал. Для сравнения, PERC H975i оказался существенно эффективнее: 2R5 — 0,062–4,9 мс (пиковая задержка ниже на 80%), 4R5 — 0,075–9,8 мс (ниже на 60%), 8R5 — пик 19,5 мс (ниже на 21% относительно H965i 4R5).

Последовательное чтение — задержка

Полоса при случайной записи 64K (Bandwidth).

В тестах 64K случайной записи старший контроллер PERC H965i показал стабильную, но ограниченную полосу: и 2R5, и 4R5 дали практически одинаково — около 8,3 GB/с, без выигрыша от числа массивов. Резкий контраст продемонстрировал PERC H975i: 2R5 — 39,8 GB/с (+379%), 4R5 — также 39,8 GB/с (+379%), а 8R5 на H975iслегка выше — 40,3 GB/с (+386%).

Случайная запись — пропускная способность

Задержка при случайной записи 64K (Latency).

В тесте 64K случайной записи H965i заметно проседал под нагрузкой: для 2R5 задержка лежала в диапазоне 0,020–30,0 мс, а для 4R5 поднималась до 60,0 мс. Резкий контраст показал H975i: для 2R5 — 0,0115–6,3 мс(пиковая задержка ниже на 79%), для 4R5 — максимум 12,6 мс (ниже на 79%), для 8R5 — пик 24,8 мс (ниже на 59% относительно H965i 4R5).

Случайная запись — задержка

Полоса при случайном чтении 64K (Bandwidth).

В тесте 64K случайного чтения PERC H965i в конфигурациях 2R5 и 4R5 показал практически одинаковую полосу — около 54,6 GB/с. Резкий контраст у PERC H975i: все три конфигурации дали примерно 102,7 GB/с, что соответствует +88% к H965i. Показатели H975i примечательно стабильны вне зависимости от размера массива RAID-5: пик варьировался лишь в пределах 102,7→102,7 GB/с при 2, 4 и 8 дисках. Это указывает, что при нагрузке 64K random read контроллер на H975i насыщается полностью и ограничение находится не на стороне дисков.

Случайное чтение — пропускная способность

Задержка при случайном чтении 64K (Latency).

Для H965i диапазон задержек составил: 2R5 — 0,226–4,6 мс, 4R5 — до 9,6 мс. Переход на H975i заметно снизил латентность: 2R5 — 0,080–2,4 мс (пиковая задержка ниже на 48%), 4R5 — 0,080–4,9 мс (ниже на 49%), 8R5 — 0,080–9,7 мс (на уровне H965i 4R5). В целом H975i обеспечивает более узкий разброс и более низкие пиковые значения задержки во всех группах RAID.

Случайное чтение — задержка

IOPS при последовательной записи 16K.

В тесте 16K последовательной записи PERC H965i показал умеренные значения: 2R5 — 1,73 млн IOPS, 4R5 — 1,87 млн IOPS. Напротив, PERC H975i дал резкий прирост: 2R5 — 6,44 млн IOPS (+272% к H965i), 4R5 — пик 6,54 млн IOPS (+250%), 8R5 — 6,53 млн IOPS (+249% к H965i 4R5). Значения для H975i группируются вокруг ~6,5 млн IOPS на блоке 16K, что указывает на достижение потолка по IOPS для данного режима.

Последовательная запись — IOPS

Задержка при последовательной записи 16K (Latency).

Для H965i диапазоны составили: 2R5 — 0,0080–3,5 мс, 4R5 — 0,0083–5,3 мс. H975i показал более высокую эффективность: 2R5 — 0,0070–0,80 мс (пиковая задержка ниже на 77%), 4R5 — до 1,42 мс (ниже на 73%), 8R5 — пик 6,2 мс (ниже на 17% относительно H965i 4R5).

Последовательная запись — задержка

IOPS при последовательном чтении 16K.

В тесте 16K последовательного чтения контроллеры PERC H965i показали одинаковые результаты: 2R5 — 3,56 млн IOPS, 4R5 — также 3,56 млн IOPS. Для сравнения, у PERC H975i все конфигурации сгруппировались вокруг ~6,64 млн IOPS, что соответствует приросту на 86% относительно H965i.

Последовательное чтение — IOPS

Задержка при последовательном чтении 16K (Latency).

Для H965i диапазоны составили: 2R5 — 0,040–1,15 мс, 4R5 — до 3,0 мс. На H975i задержки снизились: 2R5 — 0,038–0,62 мс (пик ниже на 46%), 4R5 — максимум 1,23 мс (ниже на 59%), 8R5 — пик 2,47 мс (ниже на 19% относительно H965i 4R5).

Последовательное чтение — задержка

IOPS при случайной записи 16K.

При 16K случайной записи точка насыщения достигалась очень рано. Обе конфигурации PERC H965i (2R5 и 4R5) показали почти одинаковый результат — около 492 000 IOPS. Контроллер PERC H975i с массивом 2R5 выдал 2,57 млн IOPS (+422%), а конфигурации 4R5 и 8R5 были чуть выше — примерно 2,60 млн IOPS (+428%).

Случайная запись — IOPS

Задержка при случайной записи 16K (Latency).

На H965i наблюдалась повышенная латентность: 2R5 — 0,0082–8,6 мс, 4R5 — до 16,6 мс. Переход на H975i дал резкое улучшение: 2R5 — 0,0070–1,59 мс (пик ниже на 82%), 4R5 — максимум 3,17 мс (ниже на 81%), 8R5 — пик 6,27 мс (ниже на 62% относительно H965i 4R5).

Случайная запись — задержка

IOPS при случайном чтении 16K.

В профиле 16K случайного чтения конфигурации PERC H965i показали одинаковый результат: 2R5 — 3,55 млн IOPS, 4R5 — также 3,55 млн IOPS. На PERC H975i все варианты — 2R5, 4R5 и 8R5 — вышли почти на один и тот же пик около 6,64 млн IOPS, что соответствует приросту ~87% относительно поколения H965i.

Случайное чтение — IOPS

Задержка при случайном чтении 16K (Latency).

Для H965i: 2R5 — 0,0906–1,15 мс, 4R5 — до 2,74 мс. H975i вновь снижает латентность: 2R5 — 0,072–0,62 мс(пик ниже на 46%), 4R5 — максимум 1,23 мс (ниже на 55%), 8R5 — пик 2,47 мс (ниже на 10% относительно H965i 4R5).

Случайное чтение — задержка

IOPS при случайной записи 4K.

В тестах 4K случайной записи PERC H975i показал следующие пики: конфигурация 2R5 — 9,76 млн IOPS, 4R5— немного выше, 9,94 млн IOPS, а 8R5 стала лучшей — 10,10 млн IOPS.

Случайная запись — IOPS

Задержка при случайной записи 4K (Latency).

В профиле 4K для замера пиковых значений оценивался только H975i. Латентность во всех конфигурациях осталась на отличном уровне: 2R5 — 0,0058–0,47 мс, 4R5 — пик 0,88 мс, 8R5 — пик 1,63 мс. Эти результаты показывают, что на минимальном размере блока H975i удерживает исключительно низкие задержки — стабильно ниже 2 мс.

Случайная запись — задержка

IOPS при случайном чтении 4K.

Финальный и самый показательный график: в тестах 4K случайного чтения H975i в конфигурации 2R5 достиг 17,3 млн IOPS. Массив 4R5 вышел на 20,1 млн IOPS, а 8R5 показал наивысший результат — 25,2 млн IOPS.

Случайное чтение — IOPS

Задержка при случайном чтении 4K (Latency).

На 4K случайном чтении задержки стартовали с 0,069 мс во всех конфигурациях; пиковые значения составили: 2R5 — 0,29 мс, 4R5 — 0,53 мс, 8R5 — 0,65 мс. Низкий «потолок» во всех группах RAID подчеркивает, что H975 уверенно обрабатывает мелкие случайные чтения с высокой эффективностью.

Случайное чтение — задержка

Тестирование производительности при восстановлении RAID (rebuild).

Отсутствие просадки производительности при восстановлении RAID (rebuild).

По сравнению с PERC12, контроллер Dell PERC13 обеспечивает
существенно более высокую полосу на всех типах нагрузок во время восстановления
массива. Последовательное чтение более чем удваивается: 53,7 GB/с против 25 GB/с (+114,7%).
Последовательная запись возрастает до 68 GB/с с 14,6 GB/с (+363,7%). На мелком блоке разрыв еще заметнее:
4K случайное
чтение — 17,33 млн IOPS против 4,68 млн (+270,4%), 4K случайная запись — 5,33 млн IOPS против 0,48 млн (+1013,1%). Иными словами, PERC13 минимизирует влияние ребилда и сохраняет запас по ресурсам хоста даже в пиковые окна обслуживания.

Быстрое восстановление без просадки сервисов

Dell заявляет заметный рост отказоустойчивости и скорости ребилда: время восстановления массива сокращено с >80 мин/ТиБ на PERC12 до ~10 мин/ТиБ на PERC13. Такая скорость уменьшает окно рисков и отражает зрелость аппаратного XOR-движка, ускорения кэша и оптимизации тракта данных контроллера.

В тестах RAID5 PERC13 стабильно восстанавливал массив быстрее PERC12, если контроллеру разрешить приоритизировать ребилд; оговорка — крайне высокая нагрузка на запись может нивелировать преимущество. Режим Priority Rebuild отдает восстановлению первоочередный доступ к ресурсам. Это позволило PERC13 резко сократить время ребилда под последовательным чтением: при минимальной нагрузке хоста (125 MB/с) время снизилось с 11,53 до 5,32 мин/ТиБ; даже при максимальной нагрузке — с 16,96 до 7,73 мин/ТиБ, причем при существенно более высокой скорости чтения хоста (~22,4 GB/с против ~60 GB/с).

Под последовательной записью PERC13 улучшил легкий режим с 7,51 до 4,98 мин/ТиБ, но при самой тяжелой записи время выросло до 15,29 мин/ТиБ против 13,09 мин/ТиБ у решения на PERC12. Это можно трактовать двояко: скорость ребилда у PERC13 в этом сценарии ниже, но он сохраняет близкие к рабочим скорости записи (~62,5 GB/с против ~12 GB/с у PERC12). Иначе говоря, Priority Rebuild выполняет обещание по ускорению окна восстановления, особенно в читающе-доминирующих режимах. Единственное исключение — одновременная очень высокая нагрузка на запись: более высокая пропускная способность хоста у PERC13 может удлинить ребилд.

Скорость восстановления — Priority Rebuild (RAID5)

Режим Priority Host: приоритет производственных I/O над скоростью ребилда

При переключении на Priority Host (осознанная защита трафика приложений ценой более долгого восстановления) картина по чтению остается понятной, а по записи — тоньше.
Чтение. PERC13 вновь завершает ребилд заметно быстрее, чем PERC12: при легкой нагрузке время снижается с 11,23 до 6,70 мин/ТиБ, при высокой — с 38,44 до 19,75 мин/ТиБ, при этом контроллер обслуживает больший трафик хоста (46,2 GB/с против 24,1 GB/с на тяжелой точке).
Запись. Priority Host ставит рабочую производительность на первое место: на минимальной нагрузке PERC13 быстрее (5,67 против 7,80 мин/ТиБ), но на максимальной нагрузке ребилд у PERC13 дольше — 32,81 мин/ТиБ против 25,40 мин/ТиБ у PERC12. Однако при этом хост получает существенно более высокую полосу записи — 62,4 GB/с против 12,5 GB/с.

Скорость восстановления — Priority Host (RAID5)

Если задача — минимизировать окно уязвимости и допустимо слегка понизить приоритет I/O, включайте Priority Rebuild на PERC13: время восстановления сокращается, особенно в сценариях, где чтение доминирует. Если же отклик приложений критичен, режим Priority Host обеспечивает его в полном объеме: PERC13 по-прежнему быстро завершает ребилды при чтении, а в периоды тяжелых записей целесообразно планировать работы по расписанию или слегка ограничивать полосу, если важна абсолютная длительность ребилда.

Заключение

Dell PERC H975i закрепляет аппаратный RAID как сильную опцию для центров обработки данных, где основой стали NVMe. Подходы JBOD (набор дисков без RAID) и программный RAID удобны в масштабных развертываниях, но привносят операционную сложность, нагрузку на CPU и увеличивают время восстановления при сбоях носителей. H975i предлагает специализированное аппаратное ускорение: выделенные блоки вычисления паритета, ускоренный ребилд и встроенное управление в составе инфраструктуры Dell.

Для задач ИИ и машинного обучения, где важны предсказуемая полоса, минимальный разлет задержек и высокая готовность, аппаратно управляемый RAID дает как вычислительную производительность, так и операционную устойчивость — без расходования критичных ресурсов хоста.

Тесты подтверждают архитектурные улучшения: по сравнению с PERC12 H975i обеспечивает +88% к последовательному чтению и +318% к последовательной записи. Пиковые значения ~103 GB/с и 25,2 млн IOPS демонстрируют готовность контроллера к дата-интенсивным нагрузкам. Время ребилда сокращено с >80 мин/ТиБ до ~10 мин/ТиБ, при этом во время восстановления сохраняется близкая к рабочей производительность.

Интерфейс PCIe Gen5 x16 и фронтальная интеграция освобождают задние слоты
под GPU и исключают конкуренцию по хранению, обеспечивая
предсказуемое масштабирование в конфигурациях с несколькими ускорителями. С
учетом того, что многие серверы PowerEdge поддерживают и H965i, и H975i, для современных нагрузок логичен выбор H975i. При развертывании
ИИ-инфраструктуры в масштабе он формирует высокополосную и низколатентную
основу хранения, позволяя полноценно загружать вычислительные ресурсы.

Документация: