Настройки BIOS серверов Dell PowerEdge 17-го поколения для оптимальной производительности: R7725, R6725, R7715 и R6715

Dell представила PowerEdge R6715, R7715, R6725 и R7725 на процессорах AMD EPYC 9005 10 октября 2024 года, а глобальные поставки этих моделей начались в ноябре того же года. К середине 2025 года серверы 17-го поколения уже доступны для поставки в России и постепенно занимают место платформ предыдущих поколений. При этом рынок остается переходным: в продаже сохраняются серверы PowerEdge 15-го поколения, а среди решений 16-го поколения устойчивым спросом продолжают пользоваться R760 и R7625.

Новые модели все чаще рассматриваются для проектов, в которых важны производительность отдельного ядра, высокая пропускная способность памяти и возможность дальнейшего расширения. Для российского рынка к таким сценариям относятся серверы для 1С и 1С ERP, высоконагруженные базы данных, виртуализация и системы с графическими ускорителями. В частности, PowerEdge R7725 поддерживает ускорители NVIDIA H100 NVL и NVIDIA RTX PRO 6000 Blackwell Server Edition.

AMD EPYC 9005: производительность Zen 5 и плотность Zen 5c

Процессоры AMD EPYC 9005, известные под кодовым именем Turin, развивают многочиповую архитектуру предыдущих поколений и используют два типа вычислительных ядер. Zen 5 ориентированы на высокую производительность на ядро, а Zen 5c позволяют увеличить плотность вычислений и довести количество ядер до 192 на один процессор. Такое разделение дает возможность подбирать процессор не только по общему числу ядер, но и по характеру нагрузки.

Для 1С, систем управления базами данных и программного обеспечения с лицензированием по числу ядер наиболее интересны высокочастотные модели EPYC с суффиксом F. Такой подход был использован при построении кластера для 1С и MS SQL финансовой компании. Основой нашего решения стал Dell PowerEdge R7725 с двумя процессорами AMD EPYC 9275F и подсистемой хранения на базе NVMe-накопителей E3.S Gen5. По итогам проекта результат TPC-1C достиг 90 баллов из 90, производительность в тесте Гилева выросла в 20 раз относительно прежней платформы, а запас вычислительных ресурсов под дальнейший рост составил около 40%.

Для виртуализации, контейнерных платформ и консолидации большого числа сервисов подходят многоядерные процессоры Zen 5 и Zen 5c. В проекте создания VMware-кластера для 500 активных виртуальных машин в качестве вычислительного узла мы выбрали Dell PowerEdge R7725 с двумя AMD EPYC 9965 - суммарно 384 физических ядра и 768 потоков - и 1,5 Тбайт памяти DDR5-6400. Такая конфигурация ориентирована на параллельную работу большого числа виртуальных систем и ресурсоемких корпоративных сервисов.

Платформа AMD EPYC 9005 поддерживает 12 каналов DDR5 на процессор со скоростью до 6400 МТ/с, до 128 линий PCIe Gen 5 в однопроцессорных системах и до 160 линий в отдельных двухпроцессорных конфигурациях. Это позволяет использовать одну процессорную архитектуру как для систем с приоритетом производительности на ядро, так и для серверов с высокой плотностью виртуальных машин, накопителей и устройств ввода-вывода.

Многочиповая структура EPYC также повышает значение топологии NUMA. Для большинства универсальных нагрузок базовым вариантом остается один NUMA-узел на процессор, однако базы данных, высокопроизводительные вычисления и приложения, чувствительные к задержкам памяти, могут требовать отдельной настройки количества NUMA-доменов через BIOS.

Серверы Dell PowerEdge на базе AMD EPYC 9005

Линейка Dell PowerEdge 17-го поколения на процессорах AMD EPYC 9005 достаточно широка и включает серверы разных классов и форм-факторов. В рамках этой статьи рассматриваются четыре универсальные стоечные модели, для которых Dell опубликовала рекомендации по настройке BIOS: R6715, R6725, R7715 и R7725.

• PowerEdge R6715 - однопроцессорный сервер 1U для виртуализации, программно-определяемых хранилищ, инфраструктурных и прикладных сервисов

• PowerEdge R6725 - двухпроцессорная платформа 1U для высокой плотности вычислений, виртуализации, VDI и высокопроизводительных вычислений

• PowerEdge R7715 - однопроцессорный сервер 2U с расширенными возможностями установки накопителей, сетевых адаптеров и графических ускорителей

• PowerEdge R7725 - двухпроцессорная модель 2U для виртуализации, аналитики, баз данных, высокопроизводительных вычислений и систем с графическими ускорителями

В зависимости от модели серверы поддерживают до 24 модулей DDR5, накопители NVMe с интерфейсом PCIe Gen 5 и графические ускорители одинарной или двойной ширины. R7715 допускает установку до трех ускорителей мощностью 450 Вт, а R7725 - до двух ускорителей такой мощности либо до шести однослотовых карт. Управление платформами выполняется через контроллер iDRAC10, разработанный для серверов PowerEdge 17-го поколения.

При переходе на серверы PowerEdge 17-го поколения настройкам BIOS следует уделить отдельное внимание: набор параметров, их значения по умолчанию и влияние на производительность могут отличаться от платформ предыдущих поколений. Поэтому ранее проверенные профили рекомендуется не переносить без изменений, а заново оценивать с учетом процессора, конфигурации памяти и характера нагрузки. 

Dell приводит отдельные рекомендации для целочисленных и вещественных вычислений, тестов пропускной способности памяти, высокопроизводительных вычислений и нагрузок, чувствительных к задержкам. Поэтому настройки системного профиля, энергопотребления процессоров, NUMA, состояний энергосбережения и предварительной выборки данных необходимо рассматривать применительно к конкретному программно-аппаратному комплексу.

Ключевые параметры BIOS: назначение и влияние на производительность

Системный профиль System profile (Default = Performance Per Watt)

Значение по умолчанию — «Производительность на ватт»

Системный профиль объединяет параметры производительности и энергопотребления в готовые режимы. С его помощью сервер можно настроить с приоритетом минимального потребления энергии, снижения уровня шума, максимальной энергоэффективности, соответствия требованиям Energy Star либо максимальной производительности.

Режим «Производительность на ватт — управление ОС» (Performance Per Watt OS) поддерживает баланс между производительностью и энергопотреблением с приоритетом вычислительной мощности. Он рекомендован Dell для конфигураций Energy Star и отличается от режима Performance Per Watt DAPC тем, что BIOS не снижает частоты шин, передавая управление ими операционной системе.

Режим «Пользовательский» (Custom) открывает отдельную настройку низкоуровневых параметров, значения которых зафиксированы в остальных предустановленных профилях.

Состояния простоя процессора C-States

C-States снижают энергопотребление процессора в периоды простоя. Предусмотрены три режима:

• Наследуемый (Legacy) — переходами между состояниями C управляет операционная система; отдельные программные механизмы ОС могут изменять предусмотренную ACPI схему управления

• Автономный (Autonomous) — аппаратная часть преобразует запросы HALT и C1 в переходы к более глубокому состоянию C6

• Отключено (Disable) — операционная система использует только состояния C0 и C1; C1 автоматически активируется при переводе процессора в режим ожидания

Отключение глубоких состояний простоя уменьшает задержки выхода процессора в рабочий режим, но увеличивает потребление энергии при неполной нагрузке.

Управление энергопотреблением процессора

Параметр CPU Power Management определяет метод управления частотой и энергопотреблением процессора.

Режим «Максимальная производительность» (Maximum Performance) применяется для нагрузок, где допустимо повышенное энергопотребление ради максимальной вычислительной мощности. Частота поддерживается на максимальном уровне для всех активных ядер. При включенных C-States частота простаивающих ядер при этом может снижаться средствами BIOS или операционной системы.

Этот режим характеризуется минимальными задержками среди вариантов CPU Power Management и поэтому предпочтителен для приложений, чувствительных ко времени отклика.

Режим OS DBPM передает операционной системе динамическое управление частотой отдельных ядер. Windows и Linux могут снижать частоту простаивающих или слабо загруженных ядер, сокращая энергопотребление. Изменение параметра доступно только при выборе системного профиля Custom.

Частота памяти

Параметр Memory Frequency задает частоту работы оперативной памяти на уровне BIOS. Максимальное значение зависит от номинальной частоты модулей DIMM, количества модулей на канал, установленного процессора и выбранной настройки BIOS.

Снижение частоты памяти уменьшает энергопотребление, но может сократить пропускную способность и общую производительность подсистемы памяти. Изменение параметра доступно только в системном профиле Custom.

Динамическое повышение частоты Turbo Boost

Параметр Turbo Boost управляет автоматическим повышением частоты ядер выше базового значения процессора. Доступный прирост зависит от модели AMD EPYC, температуры, ограничений системы охлаждения и энергопотребления.

Как правило, чем меньше ядер одновременно находится под нагрузкой, тем выше потенциальная частота отдельных ядер. Обратной стороной становятся рост энергопотребления и возможные колебания частоты, способные повлиять на отдельные приложения с жесткими требованиями к стабильности задержек.

Изменение параметра доступно только при выборе системного профиля Custom.

Режим оптимизации Optimizer Mode

Optimizer Mode — новый для iDRAC10 механизм оптимизации производительности серверов Dell PowerEdge 17-го поколения с процессорами AMD EPYC 9005. Его включение предназначено для дополнительного повышения производительности в пределах поддерживаемых платформой режимов работы.

Настройка периодической очистки каталога PDR

Параметр Periodic Directory Rinse Tuning управляет очисткой каталога процессора, используемого протоколом согласованности кэша.

В режиме Blended очистка выполняется по мере необходимости с учетом загрузки кэша. Такой подход может повысить производительность отдельных типов нагрузки по сравнению с фиксированным алгоритмом.

Фоновая проверка памяти Memory Patrol Scrub

Механизм Memory Patrol Scrub выполняет фоновое сканирование оперативной памяти и исправляет корректируемые ошибки, снижая вероятность их накопления.

• Disabled — фоновая проверка не выполняется

• Standard Mode — весь объем памяти проверяется один раз в течение 24 часов

• Extended Mode — проверка выполняется чаще для повышения надежности системы

Параметр доступен для изменения только при выборе системного профиля Custom.

В продуктивных системах отключение Patrol Scrub следует оценивать отдельно. Оно устраняет фоновую активность памяти, но одновременно отключает механизм проактивного выявления и исправления корректируемых ошибок во всём массиве DRAM.

Частота обновления памяти

Контроллер памяти периодически обновляет данные, хранящиеся в модулях DIMM. Стандартная частота обозначается как 1X.

При повышенной температуре модулей или дополнительных требованиях к надежности можно выбрать режим 2X. Более частое обновление памяти в отдельных сценариях снижает производительность ее подсистемы.

Изменение параметра доступно только в системном профиле Custom.

Управление энергопотреблением линий PCIe ASPM L1

Механизм PCIe Advanced State Power Management L1 снижает общее энергопотребление системы за счет перевода линий PCIe в энергосберегающие состояния. Его включение может незначительно уменьшить производительность.

Отдельные устройства при активном ASPM способны работать нестабильно или приводить к зависанию системы. Поэтому состояние L1 включается только для плат расширения, совместимость которых подтверждена Dell.

Управление детерминированностью

Параметр Determinism Slider определяет, будет ли BIOS использовать детерминированное управление производительностью:

• Performance Determinism — BIOS включает полностью детерминированное управление производительностью

• Power Determinism — детерминированное управление производительностью на уровне BIOS не используется

Выбор влияет на приоритет между стабильностью вычислительных характеристик и динамическим распределением энергетического бюджета процессора.

Выбор профиля мощности

Параметр Power Profile Select предлагает три режима:

• High Performance Mode — режим по умолчанию с приоритетом производительности процессорных ядер; доступны все состояния DF P-State, а стандартные алгоритмы управления DF P-State и DLWM остаются активными

• Efficiency Mode — режим с приоритетом энергоэффективности; ограничивает частоту динамического ускорения ядер и набор доступных состояний DF P-State

• Maximum IO Performance Mode — настраивает Data Fabric для максимальной производительности подсистемы ввода-вывода

Изменение Power Profile Select доступно при выборе системного профиля Custom.

Рекомендации по настройке BIOS в серверах Dell 17-го поколения

В следующих таблицах приведены рекомендуемые параметры BIOS для серверов Dell PowerEdge 17-го поколения.

Настройки сгруппированы по тестовым профилям и типам нагрузки: целочисленным вычислениям и операциям с плавающей точкой в SPEC CPU 2017, пропускной способности памяти в AMD STREAM, высокопроизводительным вычислениям в HPL и задачам, чувствительным к задержкам. Исходя из результатов рекомендуемые значения отдельных параметров BIOS различаются в зависимости от целевого сценария.

Рекомендации по настройке BIOS: параметры системного профиля (System profile settings)

Рекомендации по настройке BIOS: параметры памяти, процессора и iDRAC (Memory, processor, and iDRAC settings)

Рекомендации по настройке iDRAC

Для среды управления iDRAC рекомендуется учитывать следующие параметры:

• В конфигурациях с ограниченным теплоотводом следует повысить скорость вентиляторов в разделе Thermal интерфейса iDRAC.

• В системах, чувствительных к производительности, необходимо отключить все ограничения мощности.

Дополнительные параметры BIOS: назначение и влияние на работу системы

Algorithm Performance Boost Disable — отключение алгоритмического повышения производительности

При включении Algorithm Performance Boost Disable, ApbDis для Data Fabric принудительно задается определенное, зафиксированное в процессоре состояние P-State. Этот режим предназначен для оптимизации нагрузок, чувствительных к задержкам или пропускной способности.

Когда параметр отключен, состояниями P-State автоматически управляет механизм Application Power Management. Процессор может динамически повышать производительность, оставаясь в пределах заданных ограничений по мощности и температуре.

Adaptive Allocation — адаптивное распределение

Параметр Adaptive Allocation, AA динамически изменяет правила размещения и вытеснения данных из кэша с учетом поведения приложения. Для большинства нагрузок рекомендуется значение Enabled.

При выборе Disabled используется фиксированная политика распределения и замещения данных в кэше L2. Такой режим может быть эффективнее для специально оптимизированного программного кода, который самостоятельно учитывает особенности работы кэша.

ApbDis Fixed Socket P-State

Параметр задает фиксированное состояние P-State процессорного разъема, которое применяется при включенном ApbDis.

Dynamic Link Width Management — динамическое управление шириной соединения

Механизм Dynamic Link Width Management, DLWM при отсутствии трафика уменьшает ширину межпроцессорного соединения XGMI с x16 до x8. По умолчанию используется x8.

Как и управление состояниями Data Fabric и памяти, DLWM позволяет перераспределять энергетический бюджет между процессорными ядрами и нагрузками, требующими высокой пропускной способности памяти или ввода-вывода.

• Forced — принудительно устанавливает ширину соединения x16, x8 или x2

• Unforced — ширина соединения автоматически управляется механизмом DLWM

System Memory Testing — проверка оперативной памяти

Параметр определяет, выполняет ли BIOS тестирование системной памяти во время процедуры POST.

При выборе Enabled проверка памяти выполняется при каждом запуске сервера. Это увеличивает продолжительность загрузки, причем дополнительное время зависит от установленного объема оперативной памяти.

DRAM Refresh Delay — задержка обновления памяти

Минимальная задержка заставляет контроллер выполнять команды обновления через более равномерные интервалы, что соответствует более консервативному режиму работы памяти.

Correctable Memory ECC SMI — регистрация исправляемых ошибок ECC

Параметр позволяет записывать исправленные ошибки памяти DRAM в системный журнал событий SEL.

Такие события возникают редко, но их регистрация помогает выявлять нестабильные или деградирующие компоненты. При создании записи система может приостанавливать выполнение операций на несколько миллисекунд. Для специализированных latency-sensitive систем Dell допускает отключение этой регистрации после оценки требований к RAS. Для Spare Mode и Mirror Mode функция должна оставаться включенной.

Режимы резервирования памяти Spare Mode и зеркалирования Mirror Mode требуют включения этого параметра.

DIMM Self Healing — восстановление DIMM после неисправимой ошибки

Параметр включает или отключает механизм Post Package Repair, PPR при обнаружении неисправимой ошибки памяти. PPR позволяет модулю памяти задействовать предусмотренные производителем резервные ресурсы для замены поврежденной области.

Correctable Error Logging — регистрация исправляемых ошибок

Настройка включает или отключает запись событий о превышении порогового количества исправляемых ошибок памяти.

Logical Processor — логические процессоры

Каждое физическое ядро поддерживает до двух логических процессоров.

• При выборе Enabled BIOS передает операционной системе сведения обо всех логических процессорах

• При выборе Disabled операционная система видит по одному логическому процессору на физическое ядро

Для большинства многопоточных нагрузок большее количество логических процессоров повышает производительность, поэтому обычно параметр рекомендуется оставлять включенным.

Для отдельных научных расчетов, операций с плавающей точкой и задач высокопроизводительных вычислений отключение многопоточности может дать более высокий результат.

Для VMware или других консолидированных сред отключать SMT только на основании HPC-таблицы Dell не следует: количество логических процессоров влияет на плотность размещения и планирование виртуальных машин.

Virtualization Technology — аппаратная виртуализация

При выборе Enabled BIOS активирует функции аппаратной виртуализации процессора и передает необходимые сведения операционной системе.

Эти возможности используются VMware ESXi, Microsoft Hyper-V, Red Hat KVM и другими платформами виртуализации. Отключение параметра обычно не дает заметного изменения производительности или энергопотребления, поэтому для большинства конфигураций рекомендуется оставить его включенным.

IOMMU Support

Параметр включает или отключает поддержку IOMMU. Она требуется для создания таблицы ACPI IVRS и используется для управления доступом устройств ввода-вывода к системной памяти.

Kernel DMA Protection — защита от прямого доступа к памяти

При включенном параметре BIOS и операционная система используют IOMMU для защиты памяти от несанкционированного прямого доступа со стороны периферийных устройств с поддержкой DMA.

Для работы этой функции необходимо предварительно включить IOMMU Support.

L1 Stream HW Prefetcher

Аппаратный механизм предварительной выборки анализирует последовательные обращения к данным и заранее загружает их в кэш L1.

Для большинства нагрузок рекомендуется использовать значение, указанное Dell для соответствующего профиля.

L2 Stream HW Prefetcher

Параметр управляет предварительной загрузкой последовательных потоков данных в кэш L2.

Обычно механизм повышает общую производительность, однако для нагрузок с приоритетом минимальной задержки Dell может рекомендовать его отключение.

L1 Stride Prefetcher

Механизм определяет обращения к памяти с повторяющимся шагом и заранее загружает предполагаемые данные в кэш L1.

Эффективность зависит от структуры обращений приложения к памяти, поэтому следует использовать значение, рекомендованное для выбранного профиля.

L1 Region Prefetcher

Параметр управляет предварительной загрузкой дополнительных данных из области памяти, к которой обращается выполняемая инструкция.

L2 Up Down Prefetcher

Механизм анализирует последовательность обращений к памяти и определяет, следует ли заранее загрузить предыдущие или последующие данные в кэш L2.

MADT Core Enumeration — порядок перечисления процессорных ядер

Параметр определяет, как BIOS описывает процессорные ядра в таблице ACPI MADT.

• Round Robin — ядра перечисляются поочередно между процессорными разъемами и кристаллами, что позволяет равномернее распределять контроллеры прерываний

• Linear — сначала перечисляются все ядра и кристаллы одного процессорного разъема, после чего BIOS переходит к следующему разъему

NUMA Nodes Per Socket — количество узлов NUMA на процессор

Параметр задает количество доменов NUMA, создаваемых для каждого процессорного разъема.

Выбранное значение влияет на то, как операционная система и приложения видят локальную память и процессорные ресурсы. Режим Zero предусмотрен для отдельных двухпроцессорных конфигураций.

NPS4 не является универсальной рекомендацией. Он может повысить локальность памяти и помочь части параллельных нагрузок, но HPL и SPEC fp speed в профиле Dell используют NPS1. Для виртуализации выбор также должен учитывать размер виртуальных машин и vNUMA.

L3 Cache as NUMA Domain — кэш L3 как домен NUMA

При включении параметра каждый комплекс CCX внутри процессора представляется операционной системе как отдельный домен NUMA.

Secure Memory Encryption — защищенное шифрование памяти

Параметр включает или отключает технологии AMD для защиты памяти:

• Secure Memory Encryption, SME

• Secure Encrypted Virtualization, SEV

Для работы SME необходима поддержка со стороны операционной системы, а для SEV — со стороны гипервизора. Настройка также влияет на доступность TSME и SEV-SNP.

Minimum SEV non-ES ASID

Параметр определяет границу распределения идентификаторов адресного пространства ASID между виртуальными машинами SEV с шифрованием состояния процессора и без него.

Максимальное количество ASID зависит от процессора и конфигурации памяти и может составлять 15, 253 или 509.

Значение по умолчанию — 1. Оно означает, что весь доступный диапазон выделен для SEV без шифрования состояния процессора.

Например:

• при максимуме 15 и значении 1 доступны 15 идентификаторов SEV non-ES и 0 идентификаторов SEV-ES

• при максимуме 15 и значении 4 доступны 12 идентификаторов SEV non-ES и 3 идентификатора SEV-ES

• при максимуме 509 и значении 40 доступны 470 идентификаторов SEV non-ES и 39 идентификаторов SEV-ES

Secure Nested Paging

Параметр включает или отключает SEV-SNP — дополнительный набор механизмов защиты виртуальных машин и их памяти.

SNP Memory Coverage

Настройка определяет режим работы памяти Secure Nested Paging и таблицы обратного отображения Reverse Map Table, RMP.

RMP используется для проверки однозначного соответствия между физическими адресами памяти сервера и физическими адресами памяти гостевой системы.

Transparent Secure Memory Encryption

Параметр включает или отключает Transparent Secure Memory Encryption, TSME — постоянное аппаратное шифрование оперативной памяти, не требующее поддержки со стороны операционной системы или гипервизора.

При поддержке SME операционной системой или SEV гипервизором отдельное включение TSME обычно не требуется. Активация TSME может снизить производительность подсистемы памяти.

TDP Control

Параметр позволяет изменять уровень расчетной тепловой мощности процессора с учетом возможностей системы питания и охлаждения.

TDP определяет максимальную тепловую мощность, которую должна отводить система охлаждения.

PPT Control

Параметр включает управление Package Power Tracking и позволяет задать допустимую мощность процессора в ваттах.

Настройка доступна только для отдельных моделей процессоров. Количество поддерживаемых уровней также зависит от конкретной модели.

x2APIC Mode

Параметр включает или отключает режим x2APIC.

По сравнению с традиционной архитектурой xAPIC режим x2APIC поддерживает большее количество процессоров и улучшает обработку и доставку прерываний.

Number of CCDs per Processor

Параметр определяет количество активных вычислительных кристаллов CCD в каждом процессоре.

Уменьшение количества CCD сокращает доступное число ядер и может применяться для специальных требований к лицензированию, топологии или характеру нагрузки.

Number of Cores per CCD

Параметр определяет количество активных процессорных ядер в каждом CCD.

Значение All активирует все доступные ядра. Сокращение их количества может использоваться для проверки масштабирования приложения или ограничения числа лицензируемых ядер.

Заключение

Архитектура AMD EPYC 9005 позволяет по-разному управлять топологией NUMA, частотами, энергопотреблением, предварительной выборкой данных и межпроцессорными соединениями, поэтому один и тот же параметр может дать различный результат в базе данных, системе виртуализации или вычислительной задаче.

Рекомендации Dell следует рассматривать как обоснованную отправную точку, а окончательный профиль формировать по результатам тестирования своей конкретной конфигурации. В реальных продуктивных системой оптимальным подходом становится сочетание производительности, стабильности, приемлемых задержек и требуемого уровня надежности системы.