Обзор: Сервер Dell PowerEdge XE9680 — эталон производительности для задач ИИ

Сервер PowerEdge XE9680 — самая универсальная на сегодня инфраструктурная платформа Dell для задач ИИ. Архитектура сочетает вычислительный узел форм-фактора 2U (по сути, «родственник» PowerEdge R760) и массивный 4U-модуль с графическими ускорителями. В результате получается инновационная 6U-конфигурация, которая объединяет опыт Dell в проектировании корпоративных серверов с беспрецедентной плотностью GPU и гибкостью конфигураций.

Конструкция и компоновка Dell PowerEdge XE9680

В основе XE9680 — два процессора Intel Xeon Scalable: выбор между 5-м поколением (до 64 ядер на сокет) и 4-м поколением (до 56 ядер). Подсистема памяти масштабируется до 4 ТБ DDR5 в 32 DIMM-слотах с частотами до 5600 MT/s на новейших CPU.

Ключевое отличие XE9680 — подсистема GPU. Платформа рассчитана на восемь высокопроизводительных ускорителей и поддерживает типовые конфигурации: NVIDIA HGX H200 (141 ГБ) и H100 (80 ГБ), AMD Instinct MI300X (192 ГБ), Intel Gaudi3 (128 ГБ). Новый вариант XE9680L ориентирован на следующее поколение NVIDIA B200 и прямое жидкостное охлаждение (DLC) — решение для максимальной плотности и производительности.

Хранилище — гибкое: конфигурации включают 8× 2.5″ NVMe/SAS/SATA либо 16× E3.S NVMe. Возможна установка Dell PERC H965i NVMe, что упрощает отказоустойчивость — особенно актуально при больших кешах в нагрузках на инференс.

Система питания спроектирована с приоритетом надёжности. Шесть БП суммарной мощностью 19 200 Вт работают в схеме 3+3 FTR (fault-tolerant redundant) либо 5+1 (один модуль — резерв). При отказе двух и более блоков питания сервер не отключается, а переходит в отказоустойчивый режим: срабатывает GPU power brake — частоты ускорителей снижаются примерно до ¼, что даёт около ⅕ от типичной производительности GPU.

Такой подход критичен для крупных обучающих контуров, где одновременно задействованы сотни и тысячи GPU. Вместо полной остановки узла — с последующим перепланированием задач и повтором итераций обучения на других серверах — система продолжает работу с пониженной скоростью до ближайшего окна обслуживания. Внимание к деталям энергопитания помогает удерживать сквозную производительность обучения (MFU) за счёт минимизации сбоев и пустых простоев.

Расширяемость — на уровне флагмана: до 10 слотов PCIe Gen5 x16 (full-height, half-length), при этом два слота рассчитаны на карты мощнее 75 Вт. Такой запас PCIe-подключений позволяет гибко собирать сетевые конфигурации с DPU и SmartNIC, что является основой современной ИИ-инфраструктуры с выносом сетевой и сервисной обработки на DPU/SmartNIC, чтобы CPU оставались свободны для ИИ-вычислений, а подсистема ввода-вывода не становилась узким местом.

Конструкция и габариты Dell PowerEdge XE9680. Это крупноформатный сервер: высота 10,36″ (263,2 мм), ширина 18,97″ (482,0 мм), глубина с лицевой панелью 39,71″ (1008,77 мм). При полной комплектации масса достигает 114,05 кг. Итоговый вес зависит от выбранных GPU: конфигурация с NVIDIA H100/H200 — около 108 кг, с AMD MI300X — около 114 кг.

При оценке количества людей, необходимых для установки в стойку, иногда удаётся выйти за рамки «идеальных» рекомендаций, но с определённого момента одному-двум без техники его не поднять. Dell предусмотрела «lift table» — наглядную таблицу-памятку по монтажу, чтобы понять, как правильно заводить эту платформу в стойку.

После снятия крышки PowerEdge XE9680, помимо множества силовых кабелей от верхнего узла распределения питания, внутреннее устройство во многом напоминает PowerEdge R760. В протестированной конфигурации установлены два Intel Xeon Platinum 8468 — по 48 ядер на сокет при 2,1 ГГц. Каждый процессор предоставляет 80 линий PCIe, которые через ряд PCIe-коммутаторов распределяются на GPU, сетевые адаптеры и прочие модули XE9680.

Одним из наиболее заметных инженерных решений является дизайн платы коммутаторов PCIe (PSB). Эти платы обеспечивают подключение до 10 дополнительных PCIe-карт формата full-height, half-length (при этом две позиции поддерживают карты с потреблением выше 75 Вт) и напрямую интегрированы с базовой платой GPU. Такая интеграция включает GPU-direct: твердотельные накопители и сетевые адаптеры могут обмениваться данными с GPU напрямую, минуя CPU, что сокращает задержки в интенсивных ИИ-нагрузках.

Каждый слот расширения в XE9680 предоставляет полноценный интерфейс PCIe Gen5 x16, включая два нижних крайних слота (слева и справа по схеме). Верхние восемь слотов подключены через собственные платы коммутаторов PCIe (PSB), тогда как два нижних идут напрямую к базовой плате PCIe (PBB). Эти нижние слоты также рассчитаны на карты с повышенным энергопотреблением.

Важно учитывать, что топология PCIe может немного отличаться в зависимости от выбранных GPU для PowerEdge XE9680. В конфигурациях с AMD отсутствует поддержка SmartNIC/DPU, а в вариантах с Intel Gaudi3 два слота недоступны из-за ограничений по воздушному охлаждению (воздушный канал перекрыт для сохранения требуемого потока).

Охлаждение — еще одна сильная сторона инженерии Dell. В системе применяется до 16 высокопроизводительных вентиляторов класса Gold: 6 — в среднем модуле (mid-tray) и 10 — в заднем блоке. Диапазон допустимой температуры окружающей среды при установке широкий: 10–35 °C (для конфигураций с Intel Gaudi3 — до 30 °C). На максимальной скорости поток воздуха достигает около 1 200 CFM (≈ 0,57 м³/с или ≈2 040 м³/ч) в горячий коридор.

Система охлаждения справляется с самыми «горячими» конфигурациями — включая AMD Instinct MI300X, Intel Gaudi3 и NVIDIA H100 — и удерживает рабочие температуры в оптимальном диапазоне. При высокой нагрузке акустический фон заметно возрастает: по сути, XE9680 — шумная платформа в режиме максимальной производительности. Для разных условий эксплуатации доступен подробный акустический паспорт, однако в практическом смысле достаточно понимать: под нагрузкой сервер будет громким.

Управление Dell PowerEdge XE9680

Возможности администрирования XE9680 построены вокруг iDRAC9 корпоративного класса, обеспечивающего полный цикл управления сервером и мониторинг. Текущая версия iDRAC оптимизирована под ИИ-нагрузки: детальная телеметрия GPU, аналитика энергопотребления и расширенный термоконтроль, рассчитанные на высокую плотность ускорителей.

Стек управления ориентирован на ИИ-инфраструктуру. Через REST API iDRAC9 с поддержкой Redfish возможен программный мониторинг и управление загрузкой GPU, пропускной способностью памяти и температурными режимами — ключевыми метриками для стабильной производительности обучения и инференса. Интеграция с OpenManage Enterprise дает единую консоль для масштабного управления парком XE9680, что критично для крупных ИИ-кластеров.

Архитектура управления включает Silicon Root of Trust и Secure Component Verification, обеспечивая целостность аппаратной платформы от запуска до штатной работы. Это особенно важно при выполнении чувствительных ИИ-задач и хранении закрытых весов моделей.

Платформа поддерживает встраивание в сторонние фреймворки через OpenManage-интеграции, включая ServiceNow и BMC TrueSight, что упрощает включение XE9680 в существующие процессы ИТ-эксплуатации.

Интерфейс iDRAC9 предоставляет детальный мониторинг в реальном времени по ключевым узлам через наглядную панель. Раздел GPU показывает полный набор метрик для всех восьми ускорителей — температуру, энергопотребление, уровень загрузки — что критично для оптимального распределения ИИ-нагрузок.

Память, хранилище и масштабирование Dell PowerEdge XE9680

В конфигурации Dell PowerEdge XE9680 с восемью AMD Instinct MI300X объём памяти на ускоритель достигает 192 ГБ HBM3 (High Bandwidth Memory третьего поколения) — против 141 ГБ у NVIDIA H200. Прирост ≈36%у AMD — это не просто цифры в спецификации, а критический фактор для внедрения LLM: больше памяти у GPU позволяет держать более длинный контекст и крупнее пакеты запросов при генерации, обрабатывать больше единиц текста за один запрос и реже обращаться к медленному хранилищу, а кеш промежуточных данных модели (KV-кеш) остается в быстрой памяти — без просадок скорости.

Большой объём HBM в связке с пропускной способностью памяти MI300X до 5,3 ТБ/с позволяет запускать несколько экземпляров меньших моделей или делить крупные модели между GPU, сохраняя высокую производительность и низкие задержки.

Для ориентира: Llama 3.1 405B в режиме BF16 требует свыше 1 ТБ VRAM и может быть целиком размещена в одном XE9680 с MI300X без квантования и с полным контекстом 128k. Это исключает возможные потери качества из-за квантования и даёт больше токенов в секунду, чем при распределении модели на два сервера.

Чтобы максимально использовать дисковое пространство, применяются SSD Solidigm 61,44 ТБ как «тонкое расширение памяти» — прослойка между сверхбыстрой памятью GPU и классическим хранилищем. Такие SSD отлично держат пары ключ-значение (KV-кеш) при инференсе, фактически расширяя доступный объем памяти GPU для генерации с длинным контекстом. Большая емкость и NVMe-производительность делают их оптимальными для быстрого доступа к весам моделей, ускоряя переключение моделей и тёплый старт.

В прикладных сценариях, вроде развертывания Metrum AI (ниже по тексту), эти SSD выполняют двойную роль: выполняет поиск похожих объектов в реальном времени по быстрому хранилищу для векторных баз и дает место для больших наборов векторных данных.

Ценность этих высокоемких накопителей не ограничивается режимом вывода модели. Они идеально подходят для обучения: на них удобно выстраивать локальные очереди пакетов данных, снижая нагрузку на сеть за счёт близости данных к вычислительным узлам. В процессе обучения такие диски отлично подходят для хранения контрольных точек локально — это критично для сохранения хода обучения и быстрого восстановления после сбоев. Локальное хранение также помогает оптимизировать использование сети, уменьшая объем трафика сразу после обработки каждого слоя и пакета.

Даже текущая конфигурация с накопителями Solidigm 61,44 ТБ (восемь отсеков в XE9680, суммарно ~492 ТБ сырых данных) выглядит многообещающе, но потенциал больше. С анонсом модели 122,88 ТБ плотность хранения удваивается — до почти 1 ПБ в том же шасси — что дает дополнительный резерв для оптимизации обучения и для долгоживущих локальных кэшей вывода.

Модели генерации изображений: наука визуального синтеза

Модели генерации изображений (IGM) — класс алгоритмов машинного обучения, создающих новые изображения. Они относятся к области генеративного моделирования, где задача — понять структуру данных и воспроизвести ее, но вместо чисел или текста результатом становятся визуальные объекты. За последние месяцы такие модели привлекли внимание созданием работ в художественных стилях и правдоподобных изображений людей.

Применения охватывают искусство, развлечения, рекламу и научные исследования: от синтетических микроснимков для помощи в диагностике до визуализаций космических объектов. По мере развития моделей растут и требования к вычислениям и ускорителям, особенно для быстрого вывода.

Dell PowerEdge XE9680 для генеративного ИИ: ускорение Stable Diffusion

При генерации изображений методы диффузии в режиме вывода обычно опираются на массивы GPU, работающие синхронно, и требуют значительного времени работы железа. Сервер Dell PowerEdge XE9680 способен заметно сократить время генерации таких моделей.

Это позволяет получать десятки и сотни изображений приемлемого качества за считанные секунды. Отмечается, что, используя возможности XE9680 для генеративного ИИ, можно формировать крупные высокодетальные изображения (в примере Dell — 2 096 × 2 096 пикселей) по одному текстовому запросу за секунды.

Например, это изображение XE9680 сгенерировал из текстового промпта: “Portrait of happy dog, close up”

В техническом материале Dell оценивалась задержка генерации для текст-к-изображению на базе HuggingFace Diffusers на сервере Dell PowerEdge XE9680 — с учетом размера пакета и разрешения изображения. XE9680 способен выдавать кадры до 2 048 × 2 048 пикселей.

По мере роста размера пакета растут и требования к памяти. Поэтому очень большие пакеты достижимы на низких разрешениях (например, 256 × 256). Но для очень высокого разрешения (вроде 2 048 × 2 048) из-за ограничений памяти возможен только пакет из одного изображения.

Фокус на пакетной генерации изображений в 256×256 и 512×512 показывает потенциал Dell PowerEdge XE9680 для генеративного ИИ: система выдает десятки кадров за считанные секунды. Это ускоряет проверку идей, настройку текстовых запросов и последующие итерации в творческих циклах. В частности, на XE9680 с пакетом HuggingFace Diffusers удаётся сформировать 32 изображения 512×512 менее чем за 10 секунд. Кроме того, 64 изображения 256×256 создаются менее чем за 5 секунд, что обеспечивает быстрый прототипинг и высокую скорость работы для компаний и профессионалов.

Бенчмарки генерации изображений

В техническом материале производилась оценка задержки генерации на Dell PowerEdge XE9680 по методике, принятой у Lambda. Для сопоставления использовалась одна NVIDIA H100 (80 ГБ) в составе XE9680 и референсный бенчмарк Stable Diffusion на H100, опубликованный командой ML Labs (Lambda).

Исследование показало, что XE9680 превзошел референс Lambda, продемонстрировав примерно двукратную пропускную способность. Результаты Dell оформлены в том же формате, что и у Lambda, и получены при идентичных программных настройках. Единственное различие — аппаратная часть: у Lambda использовалась NVIDIA H100 в исполнении PCIe, тогда как в Dell PowerEdge XE9680 применялась платформа HGX. Это различие может частично объяснять разницу в производительности.

Metrum AI Healthcare Assistant: как ИИ меняет работу с пациентами

В здравоохранении хроническая проблема — трудоёмкая работа с медицинской документацией и картами, которая отнимает время от непосредственной помощи пациентам. Помощник Metrum AI, развёрнутый на серверах Dell PowerEdge XE9680 с ускорителями AMD, показывает, как современная ИИ-инфраструктура перестраивает рабочие процессы: повышает операционную эффективность и помогает улучшать клинические результаты.

Основой системы выступает Llama 3.1 70B Instruct — языковая модель, хорошо понимающая медицинский контекст, что позволяет без труда обрабатывать сложные данные пациента. В паре с ней используются gte-v1.5 (модель векторных представлений) и векторная база данных Milvus, формируя надежный фундамент для обработки естественного языка и контекстного поиска, критичных при работе с медицинской информацией.

В составе решения используется мультимодальный подход: HistoGPT для анализа изображений гистопатологии и OpenAI Whisper для распознавания речи врача в реальном времени. В связке эти модели упрощают клинические процессы: врач говорит обычным языком, а система расшифровывает, классифицирует и сразу заносит данные в медицинскую карту в режиме реального времени.

В Metrum AI отмечают: хотя объем данных по одному пациенту обычно невелик, в больницах с высокой загрузкой суммарные требования к хранению быстро растут — вплоть до сотен терабайт. Dell PowerEdge XE9680 закрывает эту задачу за счет локального NVMe-хранилища на борту. В рассматриваемой конфигурации — восемь лотков 2.5″ U.2 NVMe на PCIe Gen4. В тестах использовались Solidigm D5-P5336 QLC на 61,44 ТБ, но емкость можно увеличить: недавно вышли модели D5-P5336 на 122,88 ТБ, которые удваивают объем при сохранении того же уровня производительности.

Metrum привели оценки прироста данных по пациентам в разных сценариях. Если перевести это в требуемую емкость, становится видно, сколько дополнительно пациентов способен поддержать один узел при использовании максимально емкого SSD. При расчётах бралась полезная емкость одного накопителя: ~57 ТБ для версии 61 ТБ и ~114 ТБ для 122 ТБ. За счет высокой плотности SSD заметно растет практически доступный объем на сервер в пересчете на годовую нагрузку.

Данные по пациентам постоянно пополняются, поэтому спрос на хранение неизбежно растёт. В сфере медицинских изображений емкость хранилища критична: чем ее больше, тем больше пациентов система способна поддерживать без узких мест.

Сервер Dell PowerEdge XE9680 с ускорителями AMD MI300X и интегрированным Metrum AI Healthcare Assistant дает масштабируемое и эффективное решение для медицинских учреждений. Автоматизация трудоемких операций и быстрый доступ к ключевой информации освобождают врачам больше времени для работы с пациентами при растущей нагрузке. Благодаря бесшовной интеграции ИИ-компонентов по тексту, изображениям и голосу, Healthcare Assistant — заметный шаг вперёд в применении ИИ в медицине: снижается административная нагрузка и улучшаются итоговые показатели лечения.

Заключение

В быстро меняющемся мире корпоративного ИИ Dell PowerEdge XE9680 задаёт новую планку, показывая, как специализированное оборудование меняет отрасли. Пример с Metrum AI Healthcare Assistant — лишь один из множества сценариев: финансовые организации могут в реальном времени запускать сложные модели риск-аналитики, а исследовательские лаборатории — обрабатывать огромные массивы данных для поиска лекарств — все это на базе данной системы.

XE9680 предлагает широкую вариативность по GPU — от NVIDIA H100 до AMD MI300X и Intel Gaudi3. В сочетании с большой емкостью памяти, продуманными опциями хранения и инновационным охлаждением это уже больше, чем «сервер ИИ»: это полноценная корпоративная вычислительная платформа, способная тянуть самые требовательные нагрузки — как в ЦОД, так и в медицинском кабинете.

С точки зрения хранения здесь «всего» восемь отсеков NVMe, но за счёт Solidigm можно установить накопители на 61,44 ТБ и получить почти полпетабайта рабочего пространства для описанного выше помощника в здравоохранении. Если этого мало, Solidigm анонсировала удвоение емкости линейки D5-P5336 до 122,88 ТБ на диск — системы такого класса смогут разместить около петабайта флеш-памяти рядом с ускорителями, что напрямую повышает эффективность ИИ-задач.

Инженерная школа Dell заметна во всём — от продуманного энергопитания до удобства обслуживания. Способность платформы сохранять работоспособность при частичных отказах БП подтверждает глубокое понимание требований ИИ-нагрузок, где на первом месте надежность и непрерывность работы.

Опираясь на развитую систему поддержки и курс на развитие ИИ-возможностей, а также сочетая чистую производительность, архитектурную гибкость и корпоративную надежность, сервер PowerEdge XE9680 выступает наглядным доказательством инноваций в корпоративных вычислениях.