Обзор: Сервер Dell PowerEdge R7725xd - 300 ГБ/с в корпусе 2U, как новый уровень производительности подсистем хранения данных

Есть серверы, которые просто развивают уже привычные решения, а есть те, после которых планка требований к производительности заметно повышается. Dell PowerEdge R7725xd относится как раз ко второму типу. В конфигурации с 24 твердотельными накопителями Micron 9550 PRO NVMe PCIe Gen5 и четырьмя сдвоенными сетевыми адаптерами 2x 200 Гбит/с в корпусе 2U этот сервер показал, пожалуй, самую высокую "сырую" пропускную способность подсистемы хранения данных из всех систем, которые так или иначе проходили подобные тесты. Внутри сервера суммарная скорость работы пула NVMe стабильно превышала 300 ГБ/с, а при доступе по сети система выдавала около 160 ГБ/с по стандартному RDMA без дополнительного усложнения архитектуры.

Не просто быстрый сервер хранения, а система, которая меняет подход к проектированию вычислительной инфраструктуры, работающей с большими объемами данных. Современные конвейеры обучения и инференса ИИ часто упираются не в мощность GPU, а в то, с какой скоростью удается подготовить данные, подать их в поток, перемешать и зафиксировать контрольные точки. Крупные узлы с графическими ускорителями могут простаивать, если подсистема хранения не поспевает. Чтобы обойти эти ограничения, команды используют буферы, заведомо избыточное резервирование ресурсов и сложные схемы многоуровневого хранения, лишь бы ускорители получали данные достаточно быстро, чтобы оправдывать свои затраты.

Dell PowerEdge R7725xd устраняет это узкое место на уровне базовой архитектуры. Сервер построен вокруг 24-местной корзины U.2, при этом каждый накопитель подключен по выделенной линии PCIe Gen5 x4 напрямую к процессорному комплексу AMD EPYC. Нет разветвления полос пропускания, не применяется промежуточный экспандер, который уменьшает параллелизм. Производительность масштабируется предсказуемо, потому что аппаратная платформа изначально спроектирована так, чтобы суммировать пропускную способность без конкуренции за ресурсы. В стандартной двухпроцессорной схеме сокеты соединены между собой четырьмя линиями XGMI для межпроцессорного обмена. В R7725xd часть этой связности перепрофилируется - одна линия используется для добавления еще 16 линий PCIe Gen5 на каждый процессор. В итоге сервер получает 160 линий PCIe Gen5: 96 отведены под фронтальные SSD и 64 приходятся на четыре тыльных слота PCIe. В сочетании с накопителями Micron 9550 PRO, рассчитанными на длительные записывающие нагрузки и повышенный ресурс, платформа превращается в высокопроизводительный "двигатель" данных для задач с частыми контрольными точками и непрерывной потоковой обработкой.

В результате достигается не только максимальная, но и устойчивая производительность под реальной нагрузкой. Платформа может работать как локальный узел исполнения для предварительной обработки, обучения или трансформации данных или выступать источником высокоскоростного доступа к данным для нескольких GPU-систем по сети. При необходимости оба сценария могут выполняться одновременно в рамках одного сервера.

Ключевые выводы

• Беспрецедентная пропускная способность в одном узле - PowerEdge R7725xd обеспечивает более 300 ГБ/с внутренней полосы и около 160 ГБ/с по NVMe-oF RDMA, фактически выходя на уровень многосерверных систем хранения при высоте всего 2U.

• Полноценная архитектура PCIe Gen5 без коммутаторов и разветвления полосы - все 24 накопителя Micron 9550 PRO подключены по выделенным линиям x4 PCIe Gen5 напрямую к процессорному комплексу, что позволяет линейно масштабировать производительность без конкуренции за ресурсы.

• База на AMD EPYC 9005 - два процессора AMD EPYC 9575F дают необходимое число линий PCIe, пропускную способность памяти и топологию NUMA для устойчивой работы под высококонкурентными нагрузками ввода-вывода.

• Ориентация на ИИ, аналитику и задачи с частыми контрольными точками - система устраняет узкие места по вводу-выводу, из-за которых простаивают современные GPU конвейеры, и обеспечивает непрерывную высокополосную подачу данных.

• Программный стек PEAK:AIO раскрывает параллелизм платформы - программное обеспечение PEAK:AIO поддерживает очереди ввода-вывода заполненными даже под интенсивной нагрузкой и выводит систему на уровень производительности корпоративного класса при привлекательной стоимости в расчете на гигабайт.

Архитектура R7725xd, изначально спроектированная под максимальную пропускную способность NVMe

В актуальном поколении серверов Dell постепенно уходит от использования коммутаторов PCIe в конфигурациях с высокой плотностью дисков. Модели вроде PowerEdge R770 и R7725 в стандартных вариантах предлагают отсеки PCIe Gen5 x4 и позволяют собирать конфигурации до 16 твердотельных накопителей, а при переходе к более емким корзинам часть отсеков переводится в режим x2. В серверах предыдущего поколения, таких как PowerEdge R760, в 24-дисковых NVMe конфигурациях применялся коммутатор PCIe. Чтобы упростить конфигурации и убрать дополнительные уровни сложности, связанные с такими коммутаторами, в новых моделях выбрана стратегия снижения числа линий PCIe на накопитель в наиболее требовательных вариантах. Так продолжалось до появления PowerEdge R7725xd.

Ключевое отличие между стандартным R7725 и R7725xd связано с тем, как на платформах распределяются ресурсы корневых контроллеров PCIe. Базовый R7725 делит доступные линии PCIe между подсистемой хранения, слотами расширения под графические ускорители и общесистемным вводом-выводом. В варианте с индексом "xd" этот ресурс перераспределяется так, что основным потребителем полосы PCIe становится именно подсистема NVMe. Все 24 отсека U.2 подключены непосредственно к корневым контроллерам PCIe Gen5 на процессорах, и каждый накопитель получает собственное окончание x4, а не разделяемый восходящий линк через коммутатор или дерево ретаймеров. В результате у каждого диска формируются независимые очереди ввода-вывода и отдельные каналы прямого доступа к памяти до контроллера памяти.

Схема организации бэкплейна и райзеров полностью подчинена этой задаче. NVMe-разъемы и слоты PCIe распределены между двумя процессорными разъемами AMD EPYC так, что каждый процессор напрямую "ведает" своей группой накопителей. На практике это дает два симметричных NVMe-домена с локальными задержками доступа и полным параллелизмом операций чтения и записи. При установке четырех двухпортовых сетевых адаптеров Broadcom 200 Гбит/с как плат расширения слоты подобраны так, чтобы каждый адаптер оказывался в PCIe-домене, соответствующем своей группе NVMe. В режиме NVMe поверх RDMA сетевой трафик остается привязанным к тому процессорному разъему, который обслуживает связанный с ним ввод-вывод по накопителям, и таким образом нет необходимости выходить на межпроцессорный обход по шине Infinity Fabric, добавляющий задержки и съедающий полосу под нагрузкой.

Тепловой режим также рассчитан на длительную работу на высокой скорости. Корзины U.2 остаются выигрышным вариантом для плотных конфигураций на Gen5, так как для каждого диска формируется понятный воздушный канал и предсказуемая площадь радиатора. Высоконапорные вентиляторные модули и воздуховоды корпуса R7725xd обеспечивают стабильный поток воздуха через все 24 отсека, поэтому непрерывные записи на все накопители выполняются без перехода в троттлинг. Механическая компоновка дополняет электрическую: каждый диск способен держать паспортную скорость, потому что платформа изначально спроектирована для охлаждения 24 одновременных Gen5-устройств под нагрузкой.

Сочетание выверенного распределения ресурсов корневых контроллеров PCIe, согласованной по NUMA схемы линий, привязки сетевых адаптеров к "своим" процессорным доменам и термоустойчивого исполнения U.2 позволяет системе выходить на скорость ввода-вывода, близкую к теоретическому пределу интерфейсов, и сохранять ее при масштабировании. Такая архитектура минимизирует узкие места и раскрывает потенциал платформы по производительности.

Обзор Dell PowerEdge R7725xd iDRAC 10

В этом поколении PowerEdge R7725xd, как и на многих платформах 17-го поколения, используется обновленная система управления iDRAC 10, которая выполняет роль центра удаленного администрирования, мониторинга состояния и внеполосного управления сервером. На стартовом экране сразу отображается сводка по общему состоянию системы, подсистеме хранения и недавней активности. В тестируемой конфигурации индикаторы состояния системы и дисков зеленые, что подтверждает нормальную работу сервера. Справа выводятся ключевые параметры: модель, сетевое имя, версия BIOS, версия прошивки iDRAC, IP-адрес и сведения о лицензии.

На том же экране доступен блок со сводкой задач, где отражаются завершенные, ожидающие и выполняемые операции. Ниже показан список последних записей журналов, включая события вскрытия шасси и сообщения от блоков питания, что позволяет быстро оценить изменения аппаратного состояния без перехода в глубокие разделы меню. В правой нижней части интерфейса размещен модуль виртуальной консоли, который обеспечивает полный удаленный доступ к экрану и управлению сервером на уровне KVM.

В разделе, посвященном подсистеме хранения, iDRAC 10 показывает полный состав установленных в PowerEdge R7725xd накопителей. В верхней части экрана выводится сводка по количеству подключенных дисков, дополненная круговой диаграммой с распределением по состояниям. В рассматриваемой конфигурации 24 NVMe накопителя активны и отмечены как готовые к работе, а отдельно отображаются два загрузочных устройства, не связанные с фронтальным блоком из 24 NVMe.

Справа панель сводной информации по дискам разделяет их на физические накопители и возможные виртуальные диски. Поскольку R7725xd использует прямую NVMe-архитектуру без классических RAID-контроллеров, все устройства показываются в статусе Non-RAID и доступны поштучно. Это полностью соответствует замыслу платформы - формирование крупных пулов NVMe и работа с программно-определяемыми системами хранения.

Ниже сводки расположен блок с последними событиями по подсистеме хранения, где фиксируются операции установки каждого PCIe SSD с привязкой к конкретному отсеку и слоту. Эти записи подтверждают корректное обнаружение всех дисков и помогают быстро найти проблемы с посадкой, кабелированием или "горячей" заменой. В крупных развертываниях такие журналы упрощают контроль за вводом емкости в эксплуатацию и позволяют убедиться, что дисковое пространство действительно установлено в полном объеме.

На завершающем скриншоте показан детализированный список NVMe-устройств в интерфейсе iDRAC 10. Каждый установленный в систему NVMe-накопитель отображается со своим статусом, емкостью и привязкой к конкретному отсеку корзины. При выборе отдельного диска открывается подробная карточка с его характеристиками.

В этом примере информационная панель накопителя показывает полное обозначение модели, используемый протокол, форм фактор и согласованные параметры PCIe. NVMe-устройства работают на скорости линии 32 GT/c при согласованном режиме x4, что подтверждает использование полной полосы пропускания подсистемой PCIe Gen5 в данном бэкплейне. В том же разделе выводятся данные по остаточному ресурсу, наличию резервных ячеек и типу протокола, что помогает администраторам отслеживать состояние накопителей и планировать их жизненный цикл.

Такая детальная телеметрия по каждому диску особенно важна в высокоплотных NVMe-конфигурациях, где ширина линии, согласованная скорость и "здоровье" носителя напрямую влияют на поведение нагрузок и общую производительность подсистемы хранения.

В целом интерфейс iDRAC 10 дает наглядное, аппаратно-ориентированное представление о NVMe-подсистеме хранения сервера R7725xd и позволяет за несколько секунд проверить состояние линий, статус накопителей и целостность системы.

Производительность Dell PowerEdge R7725xd

Перед началом тестирования конфигурация сервера была собрана как сбалансированная, но ориентированная на высокую производительность. Установлены два процессора AMD EPYC 9575F по 64 высокочастотных ядра каждый, а также 24 модуля DDR5 по 32 ГБ с рабочей скоростью 6400 MT/s. Подсистема хранения полностью укомплектована 24 накопителями Micron 9550 PRO U.2 NVMe объемом 15,36 ТБ каждый, подключенными по выделенным линиям PCIe Gen5 x4. Суммарный "сырой" объем такой конфигурации составляет 368,64 ТБ, при этом накопители Micron 9550 PRO способны обеспечивать последовательное чтение до 14 000 МБ/с и последовательную запись до 10 000 МБ/с. Сетевую часть формируют четыре адаптера Broadcom BCM57608, которые дают в сумме восемь портов 200 Гбит/с, а также OCP адаптер BCM57412 с двумя дополнительными десятигигабитными портами.

Характеристики тестовой системы

• Процессоры: 2 х AMD EPYC 9575F, по 64 высокочастотных ядра на каждый процессор

• ОЗУ: 24 х 32 ГБ DDR5 с эффективной скоростью 6400 MT/s

• Подсистема хранения: 24 х 15,36 ТБ Micron 9550 PRO U.2, каждое устройство подключено по 4 линиям PCIe Gen5 (платформа уже сегодня поддерживает накопители емкостью до 128 ТБ с резервом под дальнейший рост емкостей)

• Сеть: 4 х Broadcom BCM57608 (каждый адаптер с двумя портами 200 Гбит/с), 1 х Broadcom BCM57412 формата OCP с двумя портами 10 Гбит/с

• Коммутатор: Dell PowerSwitch Z9664

Тестирование подсистемы хранения с помощью FIO

Для оценки производительности подсистемы хранения сервера PowerEdge R7725xd использовались отраслевые метрики и утилита FIO. В этом разделе рассмотрены следующие сценарии тестирования FIO:

• Случайный доступ, блоки от 4 КБ до 1 МБ (Random 4K–1M)

• Последовательный доступ, блоки от 4 КБ до 1 МБ (Sequential 4K–1M)

При тестировании локального доступа к 24 NVMe накопителям PCIe Gen5 внутри Dell PowerEdge R7725xd система ведет себя ровно так, как ожидается от платформы, где каждый диск подключен к процессорам по полной линии PCIe Gen5 x4. Так как в схему не включен сетевой слой, измеряется "чистая" внутренняя пропускная способность дисковой подсистемы Gen5 и шины PCIe платформы на базе AMD EPYC без каких-либо ограничений со стороны сети.

При последовательном чтении скорость уже на блоках 4 КБ достигает 184 ГБ/с и быстро растет по мере увеличения размера блока. В диапазоне от 512 КБ до 1 МБ сервер стабильно держит порядка 312-314 ГБ/с. Это хороший индикатор того, насколько эффективно система агрегирует все 24 накопителя по 4 линии Gen5 в устойчивую полосу чтения без узких мест на стороне контроллеров.

Кривая последовательной записи выглядит иначе, но остается в ожидаемых пределах. Стартуя примерно с 149 ГБ/с, результаты проходят через "середину" диапазона 100+ ГБ/с и достигают 182 ГБ/с на блоке 1 МБ. Такое поведение соответствует характеристикам записи накопителей Micron 9550 PRO и накладным расходам, неизбежным при высокопараллельной записи по NVMe сразу на большое количество независимых устройств.

Производительность случайного чтения - еще один сильный результат. На минимальных размерах блоков система показывает почти 300 ГБ/с, затем показатели немного снижаются в средних размерах блоков и возвращаются к верхней части диапазона 200+ ГБ/с и ближе к 300 ГБ/с на крупных блоках. На 1 МБ случайное чтение достигает максимума 318 ГБ/с, демонстрируя способность платформы равномерно распределять смешанные операции по всем 24 накопителям.

Случайная запись идет заметно медленнее, что типично для распределенных метаданных и алгоритмов размещения записи в широком пуле NVMe. В большинстве точек теста результаты остаются в диапазоне 140-160 ГБ/с и плавно снижаются до чуть менее 100 ГБ/с на блоке 1 МБ.

Dell PowerEdge R7725xd с PEAK:AIO - локальная пропускная способность

FIO - локальный доступ - IOPS

При анализе показателей IOPS сервер Dell PowerEdge R7725xd показывает уверенную работу с малыми блоками: частота запросов уходит в зону десятков миллионов операций ввода-вывода в секунду до тех пор, пока с ростом размера блока нагрузка постепенно не переходит в режим, ограниченный пропускной способностью.

На блоках 4 КБ последовательное чтение достигает 44,9 млн IOPS, а запись - 36,3 млн IOPS. Случайное чтение поднимается еще выше - до 71,4 млн IOPS, что демонстрирует способность системы эффективно распределять высокие очереди запросов по всем накопителям. По мере роста размера блока показатели предсказуемо снижаются, но график выглядит ровным и логичным в диапазоне 8, 16 и 32 КБ.

На блоках 16 и 32 КБ последовательное чтение стабилизируется на уровнях 17,4 и 8,35 млн IOPS, а случайное чтение почти совпадает с этими значениями - 16,5 и 8,15 млн IOPS. Запись следует ожидаемой траектории: остается ниже чтения, но ведет себя стабильно как для последовательного, так и для случайного доступа.

Начиная с 64 КБ и выше тест плавно переходит из "чистого" режима IOPS в сценарий, где доминирует пропускная способность. Значения IOPS опускаются сначала в диапазон нескольких миллионов, а затем - в сотни тысяч. На блоке 1 МБ чтение держится примерно на уровне 300 тыс. IOPS, запись - около 174 тыс., а случайные операции оказываются в той же области значений.

В целом локальные результаты по IOPS наглядно показывают, что платформа способна выдерживать очень высокие очереди запросов на малых блоках с предсказуемым масштабированием по мере роста объема передачи, когда на первый план выходит уже не число операций, а пропускная способность.

Dell PowerEdge R7725xd с PEAK:AIO - локальные IOPS

PEAK:AIO: почему Dell PowerEdge R7725xd подходит для таких задач

PEAK:AIO рассчитан на инфраструктуру, где критичны очень высокая скорость и минимальные задержки доступа к большим массивам данных. Типичные сценарии - обучение моделей ИИ, конвейеры инференса, финансовое моделирование и аналитика в режиме, близком к реальному времени. Платформа лучше всего работает там, где есть высокая плотность NVMe накопителей, сбалансированная полоса пропускания PCIe и предсказуемые задержки при масштабировании. Чтобы выполнить эти требования, аппаратная часть должна обеспечивать устойчиво высокую пропускную способность и повторяемую производительность при одновременной работе множества потоков.

На этом фоне архитектура Dell PowerEdge R7725xd естественным образом совпадает с требованиями PEAK:AIO. Платформа спроектирована так, чтобы максимально задействовать ресурсы PCIe Gen5: вся полоса 24 фронтальных отсеков U.2 NVMe доступна процессорам напрямую, без использования классических аппаратных RAID контроллеров. Такое подключение дает PEAK:AIO необходимый уровень параллелизма и профиль задержек, который ожидается от современных конвейеров обработки данных на базе NVMe. В тестируемой конфигурации набор NVMe накопителей был объединен в два массива RAID0.

В тестируемом сценарии использовались два клиентских сервера, подключенных к R7725xd. На каждом стояли сетевые адаптеры Broadcom BCM57608 с двумя портами 200 Гбит/с. В сумме это давало по четыре канала 200 Гбит/с в сторону каждого клиента и формировало для R7725xd реалистичную высокопроизводительную конфигурацию, близкую к тем, что применяются в промышленной эксплуатации PEAK:AIO. Такой уровень сетевой полосы обеспечил достаточный запас, чтобы полноценно нагружать подсистему NVMe, топологию PCIe и межпроцессорные соединения, не упираясь в ограничения на уровне сетевых интерфейсов.

В результате формируется платформа, хорошо соответствующая типичным нагрузкам PEAK:AIO. R7725xd сочетает высокую плотность NVMe емкости, пропускную способность PCIe Gen5, два процессора AMD EPYC серии 9005 для параллельной обработки и сетевую подсистему, способную устойчиво принимать данные от нескольких клиентских узлов на скоростях в сотни гигабит на каждый. В совокупности эти свойства создают базу для достижения целевых показателей производительности PEAK:AIO.

В сегменте высокопроизводительного хранения для ИИ и NVMe-пулов есть альтернативы: решения на базе open source (Ceph, Lustre, BeeGFS), коммерческие SDS-платформы, которые официально работают в РФ, а также отечественные разработки, например, RAIDIX ERA.

PEAK:AIO - NVMe-oF RDMA - пропускная способность

При анализе результатов по пропускной способности NVMe-oF RDMA на Dell PowerEdge R7725xd с PEAK:AIO картина выглядит именно так, как ожидается от системы с таким запасом по PCIe и сетевой полосе. По мере роста размера блока пропускная способность быстро увеличивается и затем выходит на плато, близкое к практическому пределу платформы.

На малых блоках производительность стартует на уровне середины диапазона 20+ ГБ/с как для чтения, так и для записи. Это нормально: операции с блоками 4 КБ и 8 КБ сильнее нагружают именно путь IOPS, а не полосу. Как только переходим к блокам 16 КБ и 32 КБ, "трубопровод" данных раскрывается. При 32 КБ последовательное чтение достигает примерно 154 ГБ/с и продолжает расти до диапазона 160 ГБ/с - как раз там, где и должна оказываться конфигурация из двух клиентов-серверов с четырьмя линками по 200 Гбит/с.

Производительность случайного чтения практически полностью повторяет поведение последовательного. PEAK:AIO эффективно поддерживает заполнение очередей команд, поэтому полоса при случайном чтении фактически совпадает с последовательным по всему диапазону и стабилизируется на уровне около 159-161 ГБ/с в интервале от 32 КБ до 1 МБ. Это говорит о том, что стек хранения не становится узким местом при смешанных паттернах доступа, а PCIe-топология R7725xd равномерно распределяет нагрузку по всем 24 NVMe Gen5 накопителям.

Запись ведет себя похоже, хотя и выходит на несколько более низкий уровень по сравнению с чтением. Последовательная запись держится в диапазоне 140-148 ГБ/с на блоках среднего размера, затем проседает до примерно 117 ГБ/с на 128 КБ, но при дальнейшем росте блока показатели восстанавливаются. Случайная запись ведет себя иначе и выравнивается в области 110-117 ГБ/с, что типично для нагрузок со смешанными очередями, где добавляются дополнительные накладные расходы.

Главный вывод из этого раздела: R7725xd без труда выдерживает крайне высокие скорости по NVMe-oF, даже когда несколько клиентских узлов нагружают систему до предела. Начиная с размеров блока 32 КБ и выше сервер стабильно загружает доступную полосу и по сети, и по подсистеме хранения. Именно такого поведения и ожидает PEAK:AIO, поэтому полученные результаты хорошо подтверждают способность платформы масштабироваться в условиях, близких к реальной эксплуатации.

Dell PowerEdge R7725xd с PEAK:AIO - пропускная способность NVMe-oF RDMA

PEAK AIO - IOPS по NVMe-oF RDMA

Со стороны IOPS сервер Dell PowerEdge R7725xd демонстрирует сильную работу с малыми блоками, хотя на первых шагах были зафиксированы значения ниже ожидаемых. Ожидается, что по мере доработки сетевых драйверов этот эффект будет снят. Даже с учетом этого общая картина масштабирования выглядит типично для NVMe-oF RDMA: при росте размера блока уровень IOPS постепенно снижается, а на первый план выходит пропускная способность.

На минимальном размере блока система выдает более 6 млн IOPS в сумме для последовательных и случайных сценариев. При 4 КБ и 8 КБ чтение, запись, случайное чтение и случайная запись находятся примерно в одном диапазоне, что показывает: клиентские узлы, PCIe инфраструктура и сами NVMe накопители без усилий выдерживают заданный темп запросов.

Далее, по мере роста блока, начинается ожидаемое падение IOPS. При 32 КБ чтение находится на уровне около 4,7 млн IOPS, запись немного отстает с результатом порядка 4,4 млн. Случайная запись проседает сильнее всего - примерно до 3,3 млн IOPS, что хорошо согласуется с дополнительными накладными расходами на обработку очередей и загрузку процессоров в смешанных паттернах доступа.

При переходе к крупным блокам значения IOPS продолжают предсказуемо снижаться. Когда размер передачи достигает 256 КБ и 512 КБ, основной метрикой становится уже пропускная способность, а IOPS естественным образом уходят в диапазон сотен тысяч операций. На блоке 1 МБ все типы нагрузок сходятся в диапазоне 140-153 тыс. IOPS, что соответствует значениям пропускной способности, зафиксированным в предыдущем разделе.

Dell PowerEdge R7725xd с PEAK:AIO - IOPS по NVMe-oF RDMA

Производительность GPUDirect Storage

Одним из сценариев тестирования R7725xd стал Magnum IO GPUDirect Storage (GDS). GPUDirect Storage - это технология NVIDIA, которая позволяет графическим ускорителям обращаться к данным на NVMe накопителях и других высокоскоростных устройствах хранения в обход центрального процессора. Вместо того чтобы прогонять трафик через CPU и системную память, GDS выстраивает прямое взаимодействие между GPU и подсистемой хранения, заметно снижая задержки и повышая пропускную способность при работе с данными.

Как работает GPUDirect Storage

В традиционной схеме, когда графический ускоритель обрабатывает данные, размещенные на NVMe накопителе, информация сначала проходит через CPU и оперативную память, и только потом попадает на GPU. Такой "крюк" создает узкое место: процессор становится посредником, добавляет задержку и забирает на себя ресурсы системы. GPUDirect Storage убирает это лишнее звено, позволяя GPU читать данные напрямую с устройства хранения по шине PCIe. Сокращается объем лишних копирований, а передача данных становится быстрее и эффективнее.

Нагрузки ИИ, особенно связанные с глубоким обучением, крайне чувствительны к скорости работы с данными. Обучение крупных нейросетей требует обработки терабайтов информации, и любые задержки при подаче данных приводят к недозагруженным GPU и увеличению времени обучения. GPUDirect Storage решает эту задачу, обеспечивая максимально быструю доставку данных к графическим ускорителям, снижая их простои и повышая фактическую загрузку вычислительных ресурсов.

Кроме того, GDS особенно полезен при потоковой обработке больших массивов данных - в задачах видеопроцессинга, обработки естественного языка или инференса в режиме, близком к реальному времени. За счет снижения зависимости от CPU GPUDirect Storage ускоряет движение данных и освобождает ресурсы процессоров для других задач, дополнительно повышая общую производительность системы.

Помимо высокой пропускной способности, связка GPUDirect и NVMe-oF (TCP/RDMA) обеспечивает очень низкие задержки ввода-вывода. Это позволяет графическим ускорителям не испытывать дефицита данных и делает такую архитектуру особенно актуальной для задач инференса ИИ в режиме, близком к реальному времени, аналитических конвейеров и сценариев воспроизведения или разбора видеопотоков.

GDSIO - последовательное чтение

При анализе работы PEAK:AIO с одним клиентом в тесте GDSIO последовательного чтения пропускная способность демонстрирует понятную масштабируемость по мере увеличения размера блока и числа потоков. Этот клиент был подключен по двум линкам 400 Гбит/с, что ограничивало его суммарный потенциал уровнем около 90 ГБ/с.

На минимальных размерах блока и при малом числе потоков производительность выглядит умеренной: чтение 4 КБ стартует примерно с 189 МиБ/с в один поток. Как только увеличивается параллелизм, система сразу реагирует: порядка 691 МиБ/с при четырех потоках и выход в диапазон нескольких ГиБ/с при переходе к более крупным блокам.

Блоки среднего размера сильнее всего реагируют на рост числа потоков. При 32 КБ пропускная способность увеличивается с 1,3 ГиБ/с в один поток до почти 20 ГиБ/с на 64 потоках, после чего дальнейший рост слегка замедляется. Аналогичная картина наблюдается при 64 КБ и 128 КБ, где система переходит от единиц ГиБ/с при низкой параллельности к более чем 30 ГиБ/с по мере масштабирования нагрузки.

При переходе к крупным блокам пропускная способность начинает выходить на плато, поскольку система подходит к своему практическому пределу для одного клиента. На 1 МиБ результаты растут с 11 ГиБ/с в один поток до примерно 88 ГиБ/с при высоком числе потоков. Передачи 5 МиБ и 10 МиБ демонстрируют тот же эффект насыщения, достигая около 89-90 ГиБ/с вне зависимости от того, используется 64, 128 или 256 потоков.

GDSIO - последовательная запись

Со стороны последовательной записи картина масштабирования в целом повторяет чтение, но с несколько более низкими значениями на большинстве размеров блока, что ожидаемо для такой нагрузки. На минимальных размерах блоков пропускная способность начинается примерно с 165 MiB/s при одном потоке и блоке 4 КБ и стабильно растет по мере увеличения параллелизма: к четырем потокам она превышает 619 MiB/s и выходит за 1 GiB/s при восьми потоках.

На блоках среднего размера рост становится более заметным. При 32 КБ пропускная способность стартует чуть ниже 1 GiB/s и масштабируется до более чем 21 GiB/s на старших уровнях параллелизма. Диапазоны 64 КБ и 128 КБ продолжают ту же тенденцию: система переходит от единичных GiB/s при малом числе потоков к середине диапазона 30+ GiB/s и затем к 50 GiB/s по мере увеличения числа потоков.

Крупные передачи показывают, где система выходит на естественный потолок последовательной записи. На блоке 1 MiB результаты растут с 13,3 GiB/s в один поток до чуть менее 90 GiB/s при высоком числе потоков. Тесты с блоками 5 MiB и 10 MiB демонстрируют аналогичное насыщение: значения выходят на плато около 90 GiB/s независимо от того, используется 64, 128 или 256 потоков.

Вместо заключения. Новая планка производительности в эпоху Gen5

Dell PowerEdge R7725xd - это не просто сервер хранения данных, а пример смены подхода к распределению полосы пропускания внутри стойки. За счет отказа от коммутаторов PCIe и выделения каждому NVMe накопителю прямого пути к процессору получилась система, в которой пропускная способность масштабируется предсказуемо, тепловой режим остается контролируемым, а высокая степень параллельности становится преимуществом, а не проблемой.

В сочетании с SSD Micron 9550 PRO и программным стеком параллельного ввода-вывода PEAK:AIO сервер R7725xd превращается из просто плотного NVMe шасси в полноценный "двигатель" обработки данных. Платформа способна полностью загружать локальную PCIe магистраль, подавать данные к GPU по RDMA на скоростях, близких к теоретическому пределу интерфейса, или одновременно выступать и вычислительным, и дисковым узлом в компактном 2U форм факторе.

На практике такая конфигурация обеспечивает более 300 ГБ/с локальной пропускной способности и около 160 ГБ/с по сети, по уровню сопоставима с многоузловыми кластерами хранения, но при этом заметно проще по архитектуре и выгоднее по совокупной стоимости. Это наглядная иллюстрация того, каких результатов можно добиться, когда все уровни решения - от аппаратной платформы до программного обеспечения - изначально спроектированы вокруг эффективности и устойчиво высокой полосы пропускания.

Отдельно стоит отметить класс нагрузок, в который входят высоконагруженные СУБД, крупные внедрения 1С и HPC вычисления. Для транзакционных баз данных и аналитических витрин критичны предсказуемые задержки при смешанных операциях чтения и записи, высокая скорость работы журналов, временных таблиц и индексов. Инфраструктура 1С упирается в быстрый доступ к файловым и серверным базам, отчетность и одновременную работу сотен пользователей. В HPC сценариях необходима стабильная полоса для файлов контрольных точек, временных массивов и обмена данными между узлами. Архитектура R7725xd с плотным массивом NVMe Gen5, прямым доступом к процессорам и высокой параллельностью ввода-вывода позволяет подать этим приложениям требуемый объем I/O с запасом и без неожиданных узких мест на уровне подсистемы хранения.

R7725xd задает новую планку производительности серверной подсистемы хранения в эпоху Gen5. Для организаций, которые строят следующее поколение конвейеров ИИ, высокоскоростной аналитики или тренинговых сред с частыми контрольными точками, это пример того, каких результатов можно достичь, если потенциальные узкие места заранее исключены из архитектуры системы.

Важно понимать, что PEAK:AIO - это один из удачных примеров программного усиления серверов подобной архитектуры, где требуется обеспечить достаточный темп загрузки данных в GPU для максимально эффективного использования дорогостоящего ресурса - GPU должен как можно меньше простаивать в ожидании данных. Как это обычно бывает в реальном мире, нет какого-то одного универсального решения - приходится оптимизировать всю инфраструктуру от самих накопителей, способа их подключения к процессорам с учётом NUMA, программного обеспечения, реализующего RAID, выбора файловой системы и ее конфигурирования, оптимизации операционной системы сервера хранения датасета, способа передачи данных по сети (практически на всех уровнях модели OSI) с вовлечением возможностей сетевого адаптера и его драйвера, и далее оптимизации на стороне сервера GPU. Сейчас есть высокопроизводительные накопители, высокопроизводительные серверы, такие как R7725xd - с подключением этих накопителей напрямую в процессоры или серверы R770 или R7725 с подключением дисковой подсистемы через новейшие высокопроизводительные аппаратные RAID контроллеры, а также специализированный высокопроизводительный программный RAID -  RAIDIX ERA, предназначенный для того, чтобы выжимать из NVMe максимум.

Руководство пользователя:

• Техническое руководство (Dell EMC Poweredge R7725xd).pdf

• Datasheet (Dell EMC PowerEdge R7725xd).pdf