Сбалансированная конфигурация памяти для двухпроцессорных серверов на Intel Xeon 6

Подсистема памяти в современных двухпроцессорных серверах на Intel Xeon 6 напрямую определяет итоговую производительность - не только на задачах, чувствительных к задержкам, но и там, где упор делается в потоковую обработку данных. Даже при одинаковом объеме оперативной памяти разница в том, как распределены модули по каналам и по процессорам, способна заметно изменить доступную пропускную способность и, как следствие, скорость работы прикладных систем.

Для серверных платформ уровня Lenovo ThinkSystem V4 или HPE Proliant Gen12 это особенно критично: у каждого процессора доступно восемь каналов памяти и до двух слотов DIMM на канал. При таком количестве каналов "перекосы" по заполнению возникают легко - и именно они чаще всего приводят к тому, что сервер не выходит на ожидаемые значения пропускной способности, а узким местом становится память, а не вычислительные ядра.

Отдельного внимания заслуживает архитектура Intel Xeon 6 с модульным исполнением - вычислительные кристаллы и кристаллы ввода-вывода связаны мостом EMIB (Embedded Multi-die Interconnect Bridge). Это повышает требования к дисциплине конфигурирования памяти: правильная симметрия и равномерное задействование контроллеров становятся практическим условием для предсказуемой производительности, особенно в двухпроцессорных конфигурациях.

Чтобы наглядно описывать разные варианты заполнения памяти у процессора, конфигурации будут обозначаться в формате H:G:F:E:A:B:C:D. Каждая буква соответствует отдельному каналу памяти, а число рядом показывает, сколько модулей DIMM установлено в этом канале. Например, запись 2:2:2:2:1:1:1:1 означает, что в каналах H, G, F и E установлено по два модуля DIMM, а в каналах A, B, C и D - по одному модулю.

Чередование доступа к памяти

Процессоры Intel Xeon Scalable 6th Gen оптимизируют обращения к оперативной памяти за счет формирования групп чередования между контроллерами памяти и каналами. Например, если два канала имеют одинаковую суммарную емкость, для них может быть сформирована общая группа чередования на два канала.

Чередование повышает пропускную способность памяти, потому что последовательные обращения распределяются по нескольким каналам, а не "упираются" в один. Однако для объединения двух каналов в одну группу требуется, чтобы емкость памяти в этих каналах совпадала.

Если для конкретной схемы установки модулей нельзя собрать одну единую группу на все задействованные каналы, формируется несколько отдельных групп. В этом случае производительность зависит от того, к какой области памяти идет обращение и сколько модулей DIMM участвуют в конкретной группе. Поэтому конфигурации с несколькими группами могут показывать нестабильную пропускную способность: обращения к области, связанной с меньшим числом каналов, будут медленнее, чем обращения к области, где задействовано больше каналов.

Сбалансированные конфигурации памяти

Сбалансированная конфигурация памяти позволяет выстроить оптимальное чередование доступа, что дает максимальную пропускную способность. По правилам заполнения памяти Intel, если каналы задействуются, то каналы A, E, C и G должны иметь одинаковую суммарную емкость на канал, а каналы B, D, F и H - также одинаковую суммарную емкость на канал.

Базовые правила сбалансированной подсистемы памяти:

1. Все задействованные каналы памяти должны иметь одинаковую суммарную емкость и одинаковое число рангов на канал.

2. Все контроллеры памяти в одном процессорном разъеме должны быть сконфигурированы одинаково по установке модулей DIMM.

3. Во всех процессорных разъемах одного сервера должна быть одинаковая конфигурация установки модулей DIMM.

Далее эти правила будут называться "Правила сбалансированной памяти" 1, 2 и 3.

О тестировании

Intel Memory Latency Checker (Intel MLC) - инструмент для измерения задержек доступа к памяти и пропускной способности. В рамках этой статьи он используется, чтобы зафиксировать максимально достижимую пропускную способность памяти на нескольких типах нагрузок с разным соотношением чтения и записи. С помощью Intel MLC измерялась устойчивая пропускная способность для разных конфигураций памяти, поддерживаемых процессорами Intel Xeon Scalable 6-го поколения.

Все конфигурации с одним модулем DIMM на канал и двумя модулями DIMM на канал тестировались на следующих эталонных скоростях памяти для обычных RDIMM (по плановым режимам Intel):

Intel Xeon 6-го поколения "Granite Rapids (GNR-SP)" и "Sierra Forest (SRF-SP)"

• 1 DIMM на канал (RDIMM): до 6400 MHz

• 2 DIMM на канал (RDIMM): до 5200 MHz

Применение правил сбалансированной конфигурации памяти

Далее принимается базовое допущение: соблюдается правило сбалансированной памяти - во всех процессорных разъемах одного физического сервера установлена одинаковая конфигурация модулей DIMM. Поэтому для описания каждой схемы достаточно рассматривать один процессорный разъем.

В лабораторных измерениях использовались модули памяти 64 ГБ, двухранговые (2R) RDIMM. Примеры далее соответствуют поддерживаемой последовательности установки модулей, приведенной в таблице ниже.

Порядок установки модулей памяти

Конфигурация с 1 DIMM - несбалансированная

Начальная точка - установка одного модуля памяти, что дает конфигурацию 0:0:0:0:1:0:0:0, показанную на рисунке ниже.

При установке модуля памяти только в одном канале правило сбалансированной памяти 2 не выполняется - в одном процессорном разъеме задействован лишь один контроллер памяти. Это несбалансированная конфигурация.

Формируется единственная группа чередования на один канал. Когда память установлена только в одном канале, пропускная способность резко снижается: по измерениям она составляет 13% - 15% в зависимости от характера нагрузки (соотношения чтения и записи), то есть около одной восьмой от максимально возможного уровня.

Конфигурация с 4 DIMM - несбалансированная

Для установки четырех модулей памяти рекомендуемая схема - 0:1:0:1:1:0:1:0, как показано на рисунке ниже.

Эта схема соответствует правилу заполнения памяти 1: все задействованные каналы имеют одинаковую емкость. При этом конфигурация остается несбалансированной.

Формируется одна группа чередования на четыре канала. Из восьми каналов памяти задействованы только четыре, поэтому измеренная пропускная способность составляет 50% - 60%, то есть примерно половину от максимально возможного уровня.

Конфигурация с 8 DIMM - сбалансированная

Для установки восьми модулей памяти рекомендуемая схема - 1:1:1:1:1:1:1:1, как показано на рисунке ниже.

Эта схема соответствует правилам сбалансированной памяти 1 и 2. Все каналы заполнены одинаковой емкостью, а конфигурация установки модулей одинакова для всех контроллеров памяти (iMC). Это сбалансированная конфигурация.

Формируется одна группа чередования на восемь каналов, и измеренная пропускная способность памяти достигает 100% от максимально возможного уровня.

Конфигурация с 12 DIMM - несбалансированная

Для установки двенадцати модулей памяти рекомендуемая схема - 1:2:1:2:2:1:2:1, как показано на рисунке ниже.

Эта схема не соответствует правилам сбалансированной памяти 1 и 2. Конфигурация является несбалансированной.

Формируются две группы чередования: одна на восемь каналов и одна на четыре канала. В результате измеренная пропускная способность составляет 50% - 81% от максимально возможного уровня. Снижение относительно потенциала связано с тем, что в группе чередования на четыре канала задействуется не весь набор из восьми каналов, а также с тем, что при установке двух DIMM на канал применяются поддерживаемые Intel режимы частоты памяти, отличающиеся от конфигураций с одним DIMM на канал.

Конфигурация с 16 DIMM - сбалансированная

Это полностью заполненная схема 2:2:2:2:2:2:2:2, как показано на рисунке ниже.

Конфигурация соответствует правилам сбалансированной памяти 1 и 2, то есть является сбалансированной.

В каждом канале установлено по два двухранговых (2R) модуля DIMM, поэтому суммарно на канал приходится 4 ранга (4R). Измеренная пропускная способность составляет 75% - 82% от максимально возможного уровня, поскольку при конфигурации с двумя DIMM на канал частота памяти снижается в соответствии с плановыми режимами Intel.

Сводные результаты по производительности памяти на Intel Xeon 6

В таблице ниже приведены сводные результаты относительной пропускной способности памяти для всех рассмотренных конфигураций. Также указано, сколько групп чередования формируется в каждом случае и относится ли конфигурация к сбалансированным или несбалансированным.

Результатов по производительности памяти на Intel Xeon 6

(*) Двенадцать модулей DIMM на один процессорный разъем не поддерживается для процессоров Sierra Forest (SRF-SP).

При использовании одинаковых модулей памяти только конфигурация с 8 DIMM обеспечивает максимальную потенциальную пропускную способность. С точки зрения производительности это наиболее удачный вариант.

Сбалансированную конфигурацию можно получить и с 4 DIMM, однако в этом случае задействованы не все каналы памяти, что снижает пропускную способность и итоговую производительность.

Сбалансированная конфигурация возможна и с 16 DIMM, но она предполагает установку двух DIMM на канал. Из-за этого частота памяти снижается в соответствии с плановыми режимами Intel, что ограничивает достижимую пропускную способность.

Чтобы получить максимальную пропускную способность памяти в сервере, следует придерживаться следующих правил:

• Балансировать память между процессорными разъемами - во всех разъемах одного физического сервера должна быть одинаковая конфигурация установки модулей DIMM.

• Балансировать память между контроллерами памяти - в одном процессорном разъеме все контроллеры памяти должны иметь одинаковую конфигурацию установки модулей DIMM.

• Балансировать память между задействованными каналами - во всех задействованных каналах должна быть одинаковая суммарная емкость и одинаковое суммарное число рангов.

Пиковая производительность подсистемы памяти достигается при установке 8 DIMM на один процессорный разъем. При заданном требовании к общему обьему памяти на сервер рекомендуется действовать так, чтобы получить оптимальную конфигурацию по пропускной способности.

Двухсокетные серверы на процессорах
Intel Xeon 6

Двухсокетные серверы на Intel Xeon 6 выбирают, когда важны предсказуемая производительность на широком наборе корпоративных нагрузок, масштабирование по оперативной памяти и высокая плотность ресурсов в стойке. На практике итоговая отдача от платформы сильно зависит не только от выбора процессоров, но и от дисциплины конфигурирования памяти и подсистемы ввода-вывода. Поэтому при подборе конкретной модели имеет смысл отталкиваться от форм-фактора, предельной емкости памяти и того, насколько сервер соответствует целевому сценарию - от виртуализации и баз данных до плотных вычислений и задач с ускорителями.

При выборе двухсокетного сервера на Intel Xeon 6 между Dell, HPE, Lenovo, SuperMicro и xFusion логика выбора начинается не с бренда, а с того, какую пропускную способность памяти требуется получить в реальной нагрузке. Для большинства прикладных сценариев максимум по пропускной способности достигается при сбалансированной установке 8 DIMM на процессорный разъем - с одинаковой емкостью по всем задействованным каналам и полностью зеркальной конфигурацией между разъемами.

Разница между производителями в таких проектах проявляется в трех практических плоскостях: насколько удобно и безопасно собрать и поддерживать строго симметричную схему памяти (включая подсказки по установке и валидацию конфигураций), насколько богата конфигурация по вводу-выводу при сохранении правильной топологии памяти, и насколько предсказуемы поставки и сервис в нужных комплектациях. При равных процессорах и одинаковых модулях итоговая производительность памяти определяется прежде всего дисциплиной конфигурирования и выбранной топологией, поэтому корректнее выбирать производителя под эксплуатационные требования и сценарий расширения, а не ожидать, что один бренд сам по себе даст "быстрее память".

Заключение

Подсистема памяти в двухсокетных серверах на Intel Xeon 6 напрямую влияет на итоговую производительность не меньше, чем выбор процессоров: при правильной топологии она дает высокую пропускную способность и низкие задержки, а при ошибках конфигурирования становится узким местом всей системы. Ключевой вывод простой - максимальная отдача достигается тогда, когда память выровнена по каналам и контроллерам и полностью симметрична между процессорными разъемами, потому что именно это позволяет эффективно распределять обращения по всем DIMM через чередование. Несбалансированная установка способна обрушить суммарную пропускную способность до уровней порядка 13% относительно эталонной сбалансированной конфигурации с 8 одинаковыми DIMM на один процессорный разъем, то есть превращает дорогую платформу в систему с заведомо ограниченным потенциалом.

Для платформ класса Dell PowerEdge G17, где важна именно пропускная способность памяти можно ориентироваться на 8 DIMM на процессорный разъем как на базовую конфигурацию для пиковых значений. Если приоритетом становится объем памяти, сбалансированная конфигурация достижима и при 16 DIMM на разъем, но нужно учитывать снижение частоты при двух DIMM на канал и заранее оценивать, как это скажется на целевых нагрузках.