Введение

Корректно сбалансированная конфигурация памяти — ключ к максимальной пропускной способности и общей производительности сервера. Поэтому важно понимать, что считается сбалансированной схемой, а что — нет, но главное - чем следует руководствоваться, чтобы получить максимальную производительность от своих серверов.

Двухсокетные серверы на процессорах Intel Xeon Scalable 4-го и 5-го поколений (ранее — «Sapphire Rapids» и «Emerald Rapids») имеют по восемь каналов памяти на каждый процессор и до двух слотов DIMM на канал. 

Подсистема памяти — один из определяющих компонентов архитектуры серверов на Intel Xeon Scalable 4-го и 5-го поколений: от ее настройки напрямую зависят итоговая производительность и скорость ответа систем. При корректной конфигурации обеспечиваются высокая пропускная способность и низкая задержка доступа к данным. При ошибках в конфигурации доступная пропускная способность сокращается, а производительность сервера заметно падает.

В фокусе — процессорные семейства Intel Xeon Scalable 4-го и 5-го поколений (ранее — «Sapphire Rapids» и «Emerald Rapids»). Каждая микросхема процессора содержит четыре встроенных контроллера памяти, восемь каналов и до шестнадцати слотов под модули DIMM. Схема ниже иллюстрирует, как контроллеры памяти процессора связаны со слотами DIMM.

Каждый встроенный контроллер памяти (iMC) обслуживает два канала:

• iMC0 → каналы A и B
  
  

• iMC1 → каналы C и D
  
  

• iMC2 → каналы E и F
  
  

• iMC3 → каналы G и H
  
  

Для наглядности топология памяти для одного процессора далее обозначена в формате H:G:F:E:A:B:C:D, где каждая буква — это число установленных модулей DIMM в соответствующем канале. Например, конфигурация 2:2:2:2:1:1:1:1 означает, что в каналах H, G, F, E установлено по 2 DIMM, а в каналах A, B, C, D — по 1 DIMM.

Примечание: нотация применяется на каждый сокет. В двухсокетных серверах конфигурация указывается отдельно для каждого процессора.

Межканальная чередующаяся адресация (interleaving)

Процессоры Intel Xeon Scalable 4-го и 5-го поколений повышают эффективность работы с памятью, формируя наборы чередования по контроллерам памяти и каналам. Если, например, два канала имеют одинаковую емкость памяти на канал, процессор создает интерливинг по 2 каналам между ними.

Чередование позволяет увеличить пропускную способность: последовательные обращения к памяти распределяются по нескольким каналам, а не концентрируются в одном. Для создания набора чередования между двумя каналами требуется совпадение их канал-емкости (суммарной емкости модулей DIMM в канале).

Если в конкретной конфигурации нельзя собрать один общий набор чередования, могут образовываться несколько независимых наборов. В таком случае производительность зависит от того, в какой участок памяти происходит обращение и сколько каналов участвует в соответствующем наборе. Поэтому на конфигурациях с несколькими наборами чередования наблюдается неоднородность пропускной способности: последовательные обращения к области, где задействовано меньше каналов, будут работать медленнее, чем к области, где каналов больше.

Пример схемы ниже: при установке идентичных модулей DIMM в каналы A, C, E, G формируется интерливинг по 4 каналам, охватывающий и контроллеры, и каналы памяти. Последовательные адреса распределяются попеременно между контроллерами, а каждый четвертый адрес попадает в очередной канал из набора (A → C → E → G → …).

Сбалансированная конфигурация обеспечивает корректное чередование каналов (interleaving) и тем самым максимальную полосу памяти. По правилам заполнения Intel, при установке модулей необходимо соблюдать пары каналов:

• Если каналы A, C, E, G задействованы, у них должна быть одинаковая емкость на канал.
  
  

• Если каналы B, D, F, H задействованы, у них также должна быть одинаковая емкость на канал.

Базовые принципы сбалансированной подсистемы памяти

1. Одинаковая емкость и ранговость на канал.
   Все задействованные каналы должны иметь одинаковую суммарную емкость и одинаковое число рангов на канал.
   
   

2. Единая схема на сокет.
   Все контроллеры памяти внутри одного сокета должны иметь одинаковую конфигурацию DIMM (число модулей на канал, тип/емкость/ранги).
   
   

3. Единая схема на сервер.
   Все сокеты в одном сервере должны быть идентично укомплектованы по памяти.

О методике тестирования

Intel Memory Latency Checker (Intel MLC) — утилита для измерения задержек и пропускной способности подсистемы памяти. Ее цель — зафиксировать максимально достижимую устойчивую полосу памяти. В тестах использовался Intel MLC для оценки устойчивой пропускной способности разных конфигураций памяти на серверах с процессорами Intel Xeon Scalable 4-го и 5-го поколений.

Измерения выполнялись для схем 1 DIMM на канал (1DPC) и 2 DIMM на канал (2DPC) на штатных плановых скоростях памяти Intel (для обычных RDIMM):

4-е поколение Intel Xeon «Sapphire Rapids»

• 1DPC — 4800 MT/с
  
  

• 2DPC — 4400 MT/с

5-е поколение Intel Xeon «Emerald Rapids»

• 1DPC — 5600 MT/с
  
  

• 2DPC — 4400 MT/с

Применение принципов «сбалансированной» памяти

Далее предполагается соблюдение принципа 3: все процессорные сокеты в одном сервере укомплектованы памятью одинаково. Поэтому для описания конфигураций достаточно рассматривать один сокет.

В лабораторных измерениях использовались модули RDIMM 32 ГБ, двухранговые (2R). Приведенные ниже примеры следуют рекомендованной последовательности заполнения каналов.

Таблица 1. Порядок заполнения памяти

Конфигурация с 1 DIMM — несбалансированная

Установка одного модуля формирует топологию 0:0:0:0:1:0:0:0 (H:G:F:E:A:B:C:D). Относительная пропускная способность — ≈13% (около одной восьмой от потенциального максимума).

Нарушается принцип 2: память установлена только у одного iMC, конфигурации контроллеров различаются. Формируется один набор чередования (1-канальный interleaving), что резко ограничивает полосу.

Рекомендация для сохранения общей емкости: заменить один DIMM на два по 16 ГБ в каналах A и G — полоса почти удваивается за счет 2-канального чередования.

Альтернативы:

• 4 канала (A/C/E/G) модулями меньшей емкости — больший прирост за счет 4-канального чередования.

• Заполнение всех 8 каналов по одному модулю (1DPC) — целевой вариант для равномерной нагрузки.

Конфигурация с 2 DIMM — несбалансированная

Рекомендуемая при двух модулях раскладка — 0:1:0:0:1:0:0:0 (H:G:F:E:A:B:C:D).

Конфигурация удовлетворяет принципу 1 (равная емкость и ранговость на задействованных каналах), но нарушает принцип 2 — не все iMC укомплектованы идентично. Итог — несбалансированная конфигурация.

Формируется один набор чередования по 2 каналам. Задействованы лишь два канала, что существенно ограничивает полосу — порядка 25% от максимума.

Что лучше сделать дальше

• Для ощутимого прироста — перейти минимум к 4 каналам (например, A/C/E/G) модулями той же суммарной емкости.

• Целевой ориентир — 8 каналов по 1 модулю (1DPC) с одинаковой емкостью и ранговостью; затем, при необходимости, переход к 2DPC с сохранением симметрии по iMC и между сокетами.

Конфигурация с 4 DIMM — сбалансированная

Рекомендуемая раскладка при четырех модулях — 0:1:0:1:1:0:1:0 (формат H:G:F:E:A:B:C:D).

Конфигурация соответствует принципам 1 и 2: у всех задействованных каналов одинаковая емкость/ранговость, а раскладка по всем iMC идентична. Это сбалансированная конфигурация.

Формируется один набор чередования по 4 каналам. Однако задействованы только 4 из 8 каналов, поэтому измеренная полоса ограничена ~50%.

Конфигурация с 6 DIMM — несбалансированная

Рекомендуемая при шести модулях раскладка — 1:1:0:1:1:1:1:0 (H:G:F:E:A:B:C:D).

Конфигурация соблюдает принцип 1 (одинаковая емкость/ранговость на задействованных каналах), но нарушает принцип 2 — раскладка по iMC не идентична, поэтому конфигурация считается несбалансированной.

Формируется один набор чередования по 6 каналам; измеренная полоса — ~75%. Несмотря на несбалансированность, архитектура Intel Xeon Scalable 4/5 поколений позволяет создать единый 6-канальный interleaving, что обеспечивает относительно высокую производительность. Без такой реализации возникли бы несколько наборов чередования и более заметное падение полосы.

Конфигурация с 8 DIMM — сбалансированная

Рекомендуемая раскладка при восьми модулях — 1:1:1:1:1:1:1:1 (H:G:F:E:A:B:C:D), где относительная пропускная способность — 100% (полный потенциал подсистемы памяти).

Конфигурация соответствует принципам 1 и 2: все каналы укомплектованы одинаковой емкостью и одинаковой ранговостью, раскладка по всем iMC идентична. Формируется единый 8-канальный interleaving, обеспечивающий максимальную полосу.

Конфигурация с 12 DIMM — несбалансированная

Рекомендуемая при двенадцати модулях раскладка — 1:2:1:2:2:1:2:1 (H:G:F:E:A:B:C:D).

Относительная пропускная способность:
— ≈50–85% для Sapphire Rapids (4-е поколение),
— ≈50–75% для Emerald Rapids (5-е поколение).

Конфигурация соблюдает принцип 2 (у всех iMC одинаковая схема заполнения), но нарушает принцип 1 (неравная канал-емкость и/или разная ранговость между каналами). Поэтому конфигурация считается несбалансированной.

Формируются два набора чередования: один 8-канальный и один 4-канальный. Итоговая полоса ниже потенциального максимума по двум причинам:

1. часть обращений попадает в область, где задействовано меньше каналов (4-канальный interleaving),

2. на каналах с 2DPC (по два модуля на канал) контроллер переходит на пониженную POR-скорость (для DDR5 RDIMM типично 4400 MT/с вместо 4800/5600 MT/с в 1DPC), что снижает суммарную пропускную способность.

Конфигурация с 16 DIMM — сбалансированная

Полностью заполненная схема — 2:2:2:2:2:2:2:2 (H:G:F:E:A:B:C:D).

Конфигурация 2:2:2:2:2:2:2:2; относительная пропускная способность — ≈85% для Sapphire Rapids (4-е поколение) и ≈76% для Emerald Rapids (5-е поколение).

Конфигурация соответствует принципам 1 и 2 (одинаковая канал-емкость/ранговость; идентичная раскладка по всем iMC). Это сбалансированная полностью укомплектованная 2DPC-схема.

В каждом канале установлено два двухранговых RDIMM (2R), суммарно 4 ранга на канал (4R). Снижение относительной полосы до ~85% (SPR) и ~76% (EMR) объясняется переходом на пониженную POR-скорость при 2DPC (для DDR5 RDIMM типично 4400 MT/с против 4800 MT/с у SPR и 5600 MT/с у EMR в режиме 1DPC).

Сводный анализ результатов производительности

Примечание: SPR — Sapphire Rapids (Intel Xeon 4-го поколения); EMR — Emerald Rapids (Intel Xeon 5-го поколения).

При использовании одинаковых модулей DIMM максимальная пропускная способность достигается только при конфигурации 8×DIMM (1DPC на все восемь каналов) — это лучший вариант по производительности; сбалансированная, но более медленная альтернатива — 4×DIMM, где задействована лишь половина каналов; еще один сбалансированный вариант — 16×DIMM (2DPC), однако из-за двух модулей на канал контроллер снижает рабочую скорость памяти по плану Intel, поэтому итоговая полоса ниже, чем у 8×DIMM.

Максимизация пропускной способности памяти

Базовые правила

• Баланс между сокетами. Все процессорные сокеты в одном сервере должны иметь одинаковую конфигурацию DIMM.

• Баланс между контроллерами памяти (iMC). В пределах одного сокета все iMC должны быть укомплектованы одинаково.

• Баланс по каналам. Во всех задействованных каналах должна быть одинаковая емкость на канал и одинаковое число рангов.

Пиковая производительность достигается при 8 DIMM на сокет (1DPC на 8 каналов).

Как подобрать конфигурацию под требуемую емкость

1. Определить требуемую емкость на сокет.

2. Разделить ее на восемь — это минимальная емкость на канал.

3. Округлить вверх до ближайшей доступной емкости одного модуля в режиме 1DPC.

4. Укомплектовать сокет восемью идентичными DIMM выбранной емкости (один модуль на канал).

Примеры:

• Нужно 512 ГБ/сокет → ставятся 8×64 ГБ.

• Нужно 768 ГБ/сокет → ставятся 8×96 ГБ.

Двухсокетные платформы на Intel Xeon Scalable (4-е и 5-е поколения) от Dell, HPE, Lenovo, Huawei, SuperMicro

Ниже — ориентир для выбора универсальных 2U-серверов HPE, Dell, Lenovo, xFusion и Supermicro, поддерживающих как Sapphire Rapids (4-е поколение), так и Emerald Rapids (5-е поколение). При оценке рекомендуется исходить из принципов «сбалансированной памяти» (8×DIMM на сокет, одинаковая емкость/ранги по каналам, зеркальность между сокетами) — это дает максимум пропускной способности и предсказуемую производительность.

Практический пример: как выбор модулей влияет на полосу памяти 

Как на практике работают базовые принципы конфигурирования оперативной памяти?

Например, компания планирует сервер Dell PowerEdge R660 с двумя процессорами Intel Xeon Scalable 5-го поколения (Emerald Rapids) и суммарной емкостью 2 ТБ оперативной памяти. 

Сравниваются два варианта комплектации при одинаковой общей емкости:

• Вариант А (2DPC): 32×64 ГБ на весь сервер → по 16 DIMM на сокет, по 2 модуля на канал.

• Вариант B (1DPC): 16×128 ГБ на весь сервер → по 8 DIMM на сокет, по 1 модулю на канал.

Термины: 1DPC — один DIMM на канал; 2DPC — два DIMM на канал. В обоих вариантах задействованы все 8 каналов памяти на сокет (8-канальное чередование).

Методика и допущения в примере

• Процессоры: 2× Intel Xeon Scalable 5-го поколения (EMR).

• Тип модулей: RDIMM DDR5; одинаковая ранговость по каналам (как правило, 2R).

• Режимы по плану Intel (POR): 1DPC — до 5600 MT/с, 2DPC — до 4400 MT/с.

• Балансировка соблюдается: одинаковая раскладка по сокетам/iMC и равная емкость на канал.

• Оценка полосы — по устойчивой пропускной способности памяти (аналогично замерам с Intel MLC), с опорой на POR-скорости и результаты из предыдущих разделов.

Сравнение конфигураций

Почему 16×128 ГБ быстрее. В обоих случаях используется 8-канальный interleaving, но в 2DPC контроллер снижает пороговую скорость до ~4400 MT/с, тогда как 1DPC работает на ~5600 MT/с. Итог — преимущество 1DPC по полосе и латентности при той же общей емкости.

Влияние на реальные нагрузки

• Виртуализация/VDI. 1DPC ускоряет миграцию ВМ, снижает время отклика при «плотных» консолидациях, стабилизирует задержки под пиковыми IOPS.

• Базы данных (OLTP/OLAP). Чувствительные к пропускной способности и латентности рабочие наборы выигрывают от 1DPC; просадки при 2DPC проявляются в пиковых планах запросов и интенсивной буферизации.

• Аналитика/потоковая обработка. Более высокая полоса и предсказуемая латентность улучшают масштабирование по потокам и загрузку ядра/памяти.

Экономика решения (для бизнеса)

• Производительность. Переход с 32×64 ГБ (2DPC) на 16×128 ГБ (1DPC) при той же емкости дает прирост полосы порядка 30–35% и более предсказуемые задержки.

• Стоимость владения. Меньшее число модулей — ниже риск отказов на единицу емкости, ниже тепловыделение и энергопотребление; проще обслуживание.

• Гибкость роста. Свободные слоты позволяют наращивать объем без замены уже купленных модулей.

Вывод

Для сервера Dell PowerEdge R660 на Intel Xeon Scalable 5-го поколения при емкости 2 ТБ конфигурация 16×128 ГБ (1DPC) обеспечивает эталонную полосу памяти (≈100%), лучшую латентность и запас для масштабирования, тогда как 32×64 ГБ (2DPC) ограничивает скорость до ≈76% из-за порогов 2DPC. Решение с 1DPC одновременно понятно техническим специалистам (полоса/латентность) и оправдано для бизнеса (стоимость владения, риск, ресурс для роста).

Итоги

Производительность двухсокетной платформы в значительной степени определяется конфигурацией памяти. Тесты показывают: максимальная пропускная способность достигается при 8 одинаковых модулей на сокет (1DPC на все 8 каналов) с соблюдением трех правил баланса — зеркальность между сокетами, одинаковая раскладка по iMC, равная емкость и ранговость во всех задействованных каналах.

Схемы на 4 DIMM сбалансированы, но дают примерно половину полосы; 12 DIMM создают несколько наборов чередования и «пятнистую» производительность; 16 DIMM (2DPC) обеспечивают емкость, но снижают скорость по плану Intel (SPR/EMR: 4400 MT/с при 2DPC против 4800/5600 MT/с при 1DPC).

Что выбрать под задачу

• Нужна максимальная полоса и предсказуемая латентность (виртуализация, БД, аналитика) — 8×DIMM (1DPC) на сокет.

• Нужна повышенная емкость — 16×DIMM (2DPC) с пониманием снижения скорости.

• Ограниченный бюджет/поэтапное расширение — старт 4×DIMM, с последующим переходом на 8×DIMM.

Как подобрать модуль памяти

1. Рассчитать требуемую емкость на сокет, разделить на 8 и округлить вверх до ближайшей доступной емкости модуля. Если максимальной емкости модуля не хватает - делить требуемую емкость на сокет на 16 и соглашаться с некоторым падением производительности.

2. Заказать 8 или 16 идентичных RDIMM на сокет и по возможности избегать смешения 1DPC и 2DPC в одном сокете.

3. Зафиксировать в ТЗ: «зеркальная конфигурация между сокетами; одинаковая емкость/ранговость по всем каналам; POR-скорости для DPC».

Такой подход обеспечивает высокую и равномерную полосу и минимизирует риски непредсказуемых просадок при реальной эксплуатации.