Сбалансированные конфигурации памяти для серверных процессоров AMD EPYC 4-го поколения

Максимальная производительность серверов на AMD EPYC 4-го поколения достигается при корректном «балансе» памяти: равномерном заполнении каналов и предсказуемой частоте работы модулей. Архитектура Genoa поддерживает 12 каналов памяти на процессор и до двух модулей на канал, поэтому отклонения от сбалансированной схемы напрямую снижают пропускную способность и увеличивают задержки. 

Введение

Подсистема памяти — один из решающих факторов производительности серверов на AMD EPYC. Правильная расстановка модулей обеспечивает высокую пропускную способность и низкие задержки, а ошибки в конфигурации приводят к частичной потере каналов/рангов, снижению частоты и, как следствие, падению скорости прикладных задач — от виртуализации и баз данных до аналитических нагрузок.

Тесты различных конфигурации памяти наглядно демонстрирует влияние выбора схемы установки модулей: по мере роста их числа от минимального к максимальному появляются корректные и некорректные варианты и влияние каждого варианта на производительность. 

Топология памяти

Доступ к данным в модулях памяти контролируется встроенными в процессор контроллерами. Процессоры AMD EPYC 4-го поколения используют двенадцать Unified Memory Controller (UMC), каждый из которых обслуживает один канал DDR. На уровне архитектуры один канал допускает установку до двух модулей памяти.

По сравнению с предыдущими поколениями AMD EPYC, где на сокет приходилось восемь каналов, прирост составил 50%: двенадцать каналов на сокет повышают суммарную полосу и улучшают масштабирование емкости при корректной конфигурации.

Для серверов на базе AMD EPYC 4-го поколения поддерживается схема один модуль на канал (1DPC) при двенадцати каналах на сокет. Логически это означает: двенадцать UMC на процессор, двенадцать каналов DDR и по одному слоту DIMM на канал для целевой, сбалансированной работы подсистемы памяти.

Схема плат на AMD EPYC 4-го поколения организована зеркально по сторонам сокета. На одной стороне ближайшим к разъему процессора идет слот канала G, затем по удаленности H → I → J → K, и самым дальним является L. На противоположной стороне ближайшим является канал A, далее B → C → D → E, а самым дальним — F. Такая маркировка помогает быстро ориентироваться при установке модулей и сохранять одинаковую заполняемость каналов.

Для единообразного описания схем заполнения используются две «проекции» процессора: логическая (каналы/UMC) и физическая (последовательность слотов на плате). Все конфигурации записываются в виде последовательности
L:K:J:I:H:G:A:B:C:D:E:F, где каждая буква — число установленных модулей DIMM в соответствующем канале.

Соответствие букв каналам и контроллерам:

• A → канал 3 на UMC3

• B → канал 4 на UMC4

• C → канал 0 на UMC0

• D → канал 5 на UMC5

• E → канал 1 на UMC1

• F → канал 2 на UMC2

• G → канал 9 на UMC9

• H → канал 10 на UMC10

• I → канал 6 на UMC6

• J → канал 11 на UMC11

• K → канал 7 на UMC7

• L → канал 8 на UMC8

Порядок букв в нотации совпадает с фактическим физическим порядком слотов вокруг сокета.

Пример разборки записи.
Конфигурация 1:0:1:0:1:0:1:0:1:0:1:0 означает, что по одному модулю установлено в каналы L, J, H, A, C, E, а каналы K, I, G, B, D, F пустые. Такая запись удобна для быстрого визуального контроля заселенности и понимания, как сработает межканальное чередование.

Базовые правила для сбалансированной конфигурации памяти

Сбалансированная установка модулей обеспечивает корректное чередование и максимальную полосу памяти. Базовые правила для платформ на AMD EPYC 4-го поколения следующие:

Правило 1. Число задействованных каналов на сокет должно быть одним из: 1, 2, 4, 6, 8, 10 или 12.
Правило 2. Во всех задействованных каналах — одинаковая конфигурация памяти. Поскольку поддерживается только 1DPC, во всех заселенных каналах должны стоять идентичные DIMM.
Правило 3. Все процессорные сокеты в одном сервере должны иметь одинаковую конфигурацию DIMM.
Правило 4. Все NUMA-домены в пределах одного сокета должны иметь идентичную конфигурацию памяти. Это актуально при режимах NPS2 и NPS4 (NPS — количество NUMA-нод на сокет).

В дальнейшем эти пункты обозначаются как правила 1–4.

Методика измерений (STREAM Triad)

Для оценки устойчивой пропускной способности используется синтетический тест STREAM Triad, цель которого — показать максимально поддерживаемую системой полосу памяти. Если не указано иначе, конфигурации собраны на 64 ГБ 2R RDIMM DDR5-4800.

При наличии нескольких интерливинг-сетах полоса может колебаться. Для исключения случайности тест настроен на обход всей адресной карты, а ниже приводится среднее значение полосы. В реальных условиях производительность при множественных интерливинг-сетах неоднородна и зависит от того, какой сет задействован в конкретный момент. Поэтому дополнительно фиксируется наихудший случай — когда доступ идет к сету с наименьшим числом каналов.

Поддерживаемые варианты памяти

На серверах с AMD EPYC 4-го поколения поддерживаются следующие конфигурации памяти. Далее по тексту они будут перечислены и сопоставлены с правилами 1–4 и результатами STREAM.

Испытания проводились на двухсокетной платформе, но полученные выводы релевантны как для одно-, так и для двухсокетных конфигураций. Принято допущение по правилу 3: оба сокета внутри одного сервера имеют идентичную конфигурацию DIMM, поэтому далее описывается схема для одного процессора (второй — зеркален).

В первой части исследования использовались 64 ГБ RDIMM, двухранговые (2R), а число модулей на сокет варьировалось: 1, 2, 4, 6, 8, 10, 12. Тем самым выдержаны:
— правило 2 (одинаковые DIMM во всех задействованных каналах),
— правило 1 (кратности числа каналов),
— правило 3 (симметрия между сокетами).

Процессор работал в режиме NPS1, поэтому правило 4 (идентичность между NUMA-доменами в NPS2/NPS4) в данной части не применимо. 

Конфигурация с 1 модулем

Стартовая схема — 0:0:0:0:0:0:1:0:0:0:0:0: занят только один канал из двенадцати. 

Такая конфигурация обеспечивает лишь ≈9% от потенциальной пропускной способности памяти данного процессора. Причина проста: интерливинга почти нет, работает один канал, остальные 11 бездействуют.

Как улучшить без увеличения общей емкости.
Вместо одного модуля большей емкости целесообразно использовать несколько модулей меньшей емкости, распределив их по разным каналам. Например:

• 2×32 ГБ на двух каналах дадут ту же емкость, но увеличат доступную полосу примерно в 2 раза относительно одного канала.

• 4×16 ГБ на четырех каналах — ту же емкость, но рост полосы уже примерно в 4 раза.
  Ключ к приросту — не «больший DIMM», а большее число активных каналов при сохранении 1DPC.

Конфигурация с 2 модулями

Рекомендуемая и поддерживаемая схема для двух модулей на сокет — 0:0:0:0:0:1:1:0:0:0:0:0: задействованы два канала памяти, формируется один интерливинг-набор на 2 канала. 

Такая конфигурация дает около 18% от максимально возможной полосы памяти для данного процессора (по сути, работает 2 из 12 каналов ≈ 1/6 теоретического потолка).

Как усилить производительность без увеличения суммарной емкости.

Главный ресурс — число активных каналов. Вместо 2 крупных модулей целесообразно поставить больше модулей меньшей емкости, равномерно распределив их по каналам:

• перейти с 2×32 ГБ на 4×16 ГБ — емкость та же, интерливинг уже по 4 каналам, ожидаемая полоса увеличивается примерно вдвое относительно 2-канальной схемы;

• следующий шаг — 6× меньшей емкости (кратность из ряда 1/2/4/6/8/10/12), если требуется еще прирост полосы.

Конфигурация с 4 модулями

Рекомендуемая схема для четырех модулей на сокет — 0:0:0:1:0:1:1:0:1:0:0:0. В этой нотации задействованы каналы I, G, A, C, что формирует один интерливинг-набор на 4 канала. 

Измеренная пропускная способность составляет ≈35% от максимально возможной для данного процессора (логично: активны 4 из 12 каналов, теоретически около одной трети).

Почему это работает и что важно

• Интерливинг по 4 каналам дает кратный рост полосы относительно схем на 1–2 каналах, при этом сохраняется 1DPC и симметрия каналов.

• Равномерность заполнения критична: идентичные RDIMM в каждом задействованном канале и зеркальная раскладка по сторонам сокета минимизируют разброс задержек.

Конфигурация с 6 модулями

Рекомендуемая схема для шести модулей на сокет — 0:0:0:1:1:1:1:1:1:0:0:0. В этой нотации задействованы каналы I, H, G, A, B, C (шесть активных каналов), формируется один интерливинг-набор на 6 каналов. 

Измеренная пропускная способность составляет ≈51% от максимума для данного процессора.

Почему эта схема эффективнее 2/4-канальных

• Интерливинг по 6 каналам почти линейно повышает полосу относительно 2 и 4 каналов (18% → 35% → 51%), сохраняя 1DPC и одинаковые модули.

• Равномерность заполнения исключает появление «узких» интерливинг-сетов, из-за которых полоса гуляет.

Конфигурация с 8 модулями

Рекомендуемая схема для восьми модулей на сокет — 0:1:0:1:1:1:1:1:1:0:1:0. Активны каналы K, I, H, G, A, B, C, E — формируется один интерливинг-набор на 8 каналов. 

Измеренная пропускная способность составляет ≈68%от максимума для данного процессора (ожидаемо близко к доле 8 из 12 каналов).

Почему это значительно лучше 6-канальной схемы

• Переход с 6 на 8 каналов дает заметный прирост: ≈51% → ≈68% устойчивой полосы.

• Сохраняется 1DPC и идентичность модулей во всех задействованных каналах, что минимизирует разброс задержек и исключает «медленные» интерливинг-сеты.

Конфигурация с 10 модулями

Рекомендуемая схема для десяти модулей на сокет — 0:1:1:1:1:1:1:1:1:1:1:0. Активны 10 каналов, формируется один интерливинг-набор на 10 каналов. 

Измеренная пропускная способность достигает ≈84% от максимума для данного процессора.

Почему это близко к «потолку»

• Интерливинг по 10 каналам дает почти линейный прирост относительно схем на 6/8 каналах (≈51% → ≈68% → ≈84%).

• Сохраняется 1DPC и идентичные RDIMM во всех заполненных каналах, что удерживает задержки на стабильном уровне и исключает «медленные» наборы.

Конфигурация с 12 модулями

Полная заселенность каналов — 1:1:1:1:1:1:1:1:1:1:1:1. Активны все 12 каналов, формируется единый интерливинг-набор на 12 каналов. 

Измеренная пропускная способность достигает 100% от максимально доступной для данного процессора при 1DPC и идентичных модулях.

Что это дает бизнес-задачам

• Максимальная полоса памяти — предсказуемая производительность для профилей, упирающихся в память: высокоплотная виртуализация, OLTP/OLAP, аналитика в памяти, масштабируемые сервисы.

• Стабильные задержки — равномерное чередование без «медленных» наборов, минимизация разброса.

Сводный анализ результатов производительности

Примечание: N/A — не применяется (для одной линии интерливинга при одном активном канале).

Сбалансированная память и режимы NPS

В предыдущих примерах использовался режим NPS1 (одна NUMA-нода на сокет). Это означает единый раздел памяти в пределах сокета, поэтому все рассмотренные выше схемы остаются сбалансированными.
При переключении в NPS2 или NPS4 память делится на 2 или 4 локальные разделы. В этом случае вступает в силу правило 4: каждый NUMA-раздел внутри сокета должен иметь идентичную конфигурацию DIMM. Иначе часть ядер получит доступ к памяти с большей полосой, а часть — с меньшей.

Пример 1 — 12 модулей (полная заполненность)

Логика: активны все 12 каналов, при NPS2 сокет делится на 2 раздела, при NPS4 — на 4, но в каждом разделe количество и состав модулей одинаковы.
Вывод: конфигурация сбалансирована для NPS1/NPS2/NPS4.

Пример 2 — 10 модулей

Логика: при NPS2 каждый из двух разделов получает одинаковое число каналов и модулей, поэтому баланс сохраняется.
При NPS4 распределение становится неравномерным: два раздела имеют 3 активных канала, два других — 2 активных канала.
Вывод: конфигурация сбалансирована для NPS1 и NPS2, не сбалансирована для NPS4. В NPS4 ядра в разделах с 3-канальным интерливингом получают локально более высокую полосу памяти, чем ядра в разделах с 2-канальным интерливингом.

Сводка сбалансированности конфигураций памяти при разных NPS

Ниже — итог по тому, считается ли конфигурация сбалансированной (по правилу 4) в режимах NPS1/NPS2/NPS4. Слудет помнить, что в NPS1 сокет — одна NUMA-нода; в NPS2 — две; в NPS4 — четыре. Для баланса конфигурации DIMM в каждом NUMA-разделе сокета должны быть идентичны.

Как получить максимальную производительность полосы памяти

Чтобы получить максимальную пропускную способность памяти, следует соблюдать три уровня баланса:

1. Между сокетами. Во всех процессорных сокетах одного сервера должна стоять одинаковая конфигурация DIMM.

2. Между контроллерами памяти. В пределах сокета все контроллеры (каналы) должны иметь одинаковую конфигурацию DIMM.

3. Между задействованными каналами. Во всех заполненных каналах должна быть одинаковая емкость и одинаковое число рангов.

На серверах с AMD EPYC 4-го поколения поддерживается 1DPC (один модуль на канал). Пиковая полоса достигается, когда каждый сокет заселен 12 идентичными DIMM.

Пошаговая методика подбора конфигурации под требуемую емкость

1. Определить требуемую емкость на сокет.

2. Разделить ее на 12 каналов, чтобы получить минимальную емкость на канал.

3. Округлить вверх до ближайшей доступной емкости одного DIMM.

4. Заселить каждый сокет 12 одинаковыми модулями рассчитанной емкости (соблюдая ранговость).

Пример. Требуется 1 ТБ ОЗУ для сервера с 2 сокетами AMD EPYC 4-го поколения:

• Емкость на сокет: 1 ТБ / 2 = 512 ГБ.

• На канал: 512 ГБ / 12 = ≈42,67 ГБ.

• Округление вверх до ближайшей емкости: 64 ГБ DIMM.

• Итоговая установка: 24×64 ГБ (по 12 модулей на сокет).

Конфигурации со смешанной емкостью модулей 

Правило 2 для сбалансированной памяти требует одинаковой конфигурации DIMM во всех задействованных каналах. На практике это означает одинаковые модули в каждом канале. Исключения случаются, когда заданная емкость «впритык» не достигается ровно при равномерной установке — тогда приходится смешивать емкости. Такая схема несбалансирована: образуются несколько наборов интерливинга, и производительность становится непредсказуемой.

Пример: необходимость 576 ГБ на сокет.

• Рекомендованная (сбалансированная) конфигурация.

12×64 ГБ = 768 ГБ на сокет. Один интерливинг-набор на 12 каналов, полная полоса (≈100%). Емкость выше требуемой, но производительность максимальна.

• Точно 576 ГБ (несбалансированная конфигурация).

Для получения ровно 576 ГБ используют разные емкости DIMM по каналам. В результате формируются два интерливинг-набора: средняя полоса ≈73%, а при доступе к «меньшему» 6-канальному набору — падение до ≈51%. Производительность «пульсирует» в зависимости от того, какой набор адресуется.

Вывод: точное попадание в емкость при смешении модулей стоит до половины полосы памяти и приводит к нестабильности метрик.

Двухсокетные серверы на AMD EPYC 4-го поколения: ориентиры для выбора

Ниже — актуальный список 2U-платформ на AMD EPYC 9004 от HPE, Dell, Lenovo, xFusion и Supermicro. Все модели поддерживают 12-канальную DDR5 на сокет и PCIe Gen5, масштабируются по NVMe/EDSFF и подходят для задач с высокой чувствительностью к памяти и вводу-выводу: виртуализация, OLTP/аналитика, VDI и серверы приложений. 

Практический пример: как выбор модулей влияет на полосу памяти

Как на практике работают базовые принципы конфигурирования оперативной памяти в серверах с AMD EPYC Zen4 ?

Например, компании требуется сервер Dell PowerEdge R6625 с двумя процессорами AMD EPYC 4-го поколения. Нужна текущая емкость 768 ГБ с возможностью дальнейшего расширения. 

Рассматриваются два равных по емкости варианта конфигурации памяти на сокет:

• Вариант А: 6 модулей по 64 ГБ (итого 12×64 ГБ на сервер)

• Вариант B: 12 модулей по 32 ГБ (итого 24×32 ГБ на сервер)

Оба варианта дают по 384 ГБ на сокет (в сумме 768 ГБ), различаются только количеством задействованных каналов памяти.

Топология и интерливинг

У AMD EPYC 9004 на сокет приходится 12 каналов DDR5. Пропускная способность растет по мере заселения каналов при соблюдении правил сбалансированной конфигурации (1DPC, одинаковые модули, одинаковая ранговость).

• Вариант А (6×64 ГБ на сокет): задействовано 6 из 12 каналов, формируется один набор интерливинга на 6 каналов. Типичная устойчивая полоса — порядка 51% от максимально достижимой для процессора.

• Вариант B (12×32 ГБ на сокет): задействованы все 12 каналов, формируется один набор интерливинга на 12 каналов. Достигается ~100% доступной полосы.

При одинаковой емкости Вариант B обеспечивает почти двукратное преимущество по производительности, так как задействует все каналы.

Влияние на прикладные задачи

• Виртуализация и VDI. Больше активных каналов — стабильнее задержки, выше плотность ВМ/сеансов на узел без упора в память.

• Базы данных (OLTP/OLAP). Шире полоса — меньше риск деградации времени отклика при росте активного набора данных.

• Сервисные и аналитические нагрузки. Высокая полоса снижает вероятность того, что процессор простаивает в ожидании памяти.

Масштабирование и жизненный цикл

• Вариант А (6×64 ГБ). Канальный резерв есть (свободно 6 каналов на сокет), но стартовая полоса ограничена ~51%. Любое наращивание емкости без доведения до 12 каналов сохранит узкое место.

• Вариант B (12×32 ГБ). Каналы уже задействованы полностью, поэтому последующее масштабирование выполняется заменой на модули большей емкости (например, 12×64/96/128 ГБ на сокет при поддерживаемых типоразмерах). Производительность по памяти изначально максимальна и предсказуема.

Режимы NPS и симметрия

Для воспроизводимого результата рекомендуется NPS1 (одна NUMA-нода на сокет). При использовании NPS2/NPS4 необходимо выдержать идентичность конфигурации в каждом NUMA-разделе внутри сокета; для сравниваемых вариантов это условие выполняется, так как модули одинаковые и распределение симметричное.

Краткое резюме

При одинаковой емкости число активных каналов определяет производительность памяти. 24×32 ГБ (12 каналов/сокет) дает максимально возможную полосу, тогда как 12×64 ГБ (6 каналов/сокет) ограничивает производительность примерно до половины доступного уровня. 

Итоги

Производительность серверных нагрузок напрямую зависит от подсистемы памяти. Корректная конфигурация обеспечивает высокую полосу и низкие задержки, а нарушения баланса снижают доступную пропускную способность вплоть до ≈9% от максимума при заселении одного канала.

Ключ к предсказуемой производительности — соблюдение правил баланса: одинаковая конфигурация DIMM во всех задействованных каналах, симметрия между сокетами и, для NPS2/NPS4, идентичность по NUMA-разделам. На платформах с AMD EPYC 4-го поколения и 1DPC пиковая полоса достигается при 12 одинаковых DIMM на сокет. Для задач с NPS4 следует использовать кратности 4/8/12 DIMM, а схема с 10 DIMM сбалансирована только в NPS2.

Практика показывает, что при одинаковой емкости число активных каналов определяет результат: конфигурация 24×32 ГБ (12 каналов/сокет) дает ≈100% полосы, тогда как 12×64 ГБ (6 каналов/сокет) ограничивает производительность примерно до половины. Смешение емкостей во имя «точной» величины памяти создает несколько интерливинг-наборов и приводит к колебаниям полосы (в среднем ниже и с просадками до худшего набора).

Что делать на практике

1. Заранее определить емкость на сокет, разделить на 12 каналов и округлить вверх до ближайшего типоразмера модуля.

2. Заполнять 12 идентичных DIMM на сокет (1DPC), фиксируя ранговость и целевую частоту единой для всех каналов.

3. При NPS2/NPS4 проверять симметрию по NUMA-разделам; для NPS4 выбирать кратности 4/8/12.

4. Избегать смешанных емкостей в продуктиве; при ограниченном бюджете планировать поэтапное доведение 6→8→10→12 каналов.

Такой подход минимизирует риски деградации и обеспечивает стабильную, воспроизводимую производительность для виртуализации, БД и аналитических профилей.