500 активных виртуальных машин VMware в одном кластере

Проблема

У заказчика — распределённая ИТ-среда: производственные площадки, оптовые склады, розничные магазины, внутренние сервисы и корпоративные системы. Всё это создаёт высокую нагрузку на платформу виртуализации: растёт число ВМ, увеличивается плотность размещения сервисов, повышаются требования к памяти, сети и отказоустойчивости.

Типовые ограничения в таких проектах проявляются быстро:

• не хватает вычислительных ресурсов при росте числа виртуальных машин;

• узкие места возникают на памяти и сетевых интерфейсах при высокой плотности размещения;

• масштабирование требует всё больше отдельных узлов, а это усложняет сопровождение;

• возрастает нагрузка на SAN, резервное копирование и межсервисный обмен;

• ИТ-команде нужен не просто мощный сервер, а предсказуемая платформа под крупный VMware-кластер.

Для заказчика было важно получить вычислительный узел с большим запасом по CPU и RAM, готовый к работе в среде виртуализации высокой плотности и подключению к корпоративному SAN-контуру.

Задача

Построить платформу для VMware-кластера, которая:

• поддерживает высокую плотность размещения виртуальных машин;

• даёт серьёзный запас по вычислительным ресурсам и памяти;

• обеспечивает быстрый сетевой обмен и подключение к SAN;

• остаётся удобной в эксплуатации и удалённом администрировании;

• может использоваться как база для консолидации крупных сервисов в одном кластере.

Решение

1) Вычислительная основа: Dell PowerEdge R7725

В основу проекта легла платформа Dell PowerEdge R7725 в конфигурации под ресурсоёмкую виртуализацию и консолидацию сервисов.

Ключевые параметры узла:

2 × AMD EPYC 9965
Итого — 384 физических ядра / 768 потоков в одном сервере

1,5 ТБ DDR5-6400
24 модуля по 64 ГБ

BOSS-N1 + 2 × M.2 960 ГБ RAID 1
Отдельный загрузочный контур под ОС

2 × 3200W Titanium PSU
Резервирование питания

iDRAC10 Enterprise
Удалённое управление и контроль состояния сервера

Такая конфигурация дала заказчику мощную вычислительную базу для размещения большого числа виртуальных машин в составе одного кластера.

2) Сеть и SAN-подключение без компромиссов

Чтобы узел не упирался в обмен данными, в проекте сразу предусмотрели производительную Ethernet и SAN-среду.

Сервер получил:

2 × 100GbE на базе Nvidia ConnectX-6 Dx
для высокоскоростного обмена и сценариев, где важна пропускная способность;

2 × 25GbE
для подключения в корпоративную сетевую среду;

2 × 32G Fibre Channel
для подключения к SAN и работы с внешним хранилищем.

Такой набор интерфейсов позволяет использовать сервер не как изолированную машину, а как полноценный элемент корпоративной виртуальной инфраструктуры — с быстрым доступом к сети, хранилищу и сервисным контурам.

3) Платформа под высокую плотность виртуализации

Главная ценность проекта — не просто в «мощном железе», а в возможности держать большую нагрузку в одном узле без дефицита ресурсов.

За счёт конфигурации на базе двух AMD EPYC 9965 заказчик получил:

• высокую плотность размещения ВМ в кластере VMware;

• большой запас по CPU для параллельных задач и сервисов;

• значительный объём RAM под ресурсоёмкие виртуальные машины;

• готовность к консолидации крупных корпоративных систем в пределах одного вычислительного контура.

Для бизнеса это означает более компактную и управляемую среду виртуализации: меньше ограничений по размещению сервисов, больше гибкости при развитии кластера и ниже риск быстрого упора в ресурсы.

4) Эксплуатационная надёжность

Для проектов такого класса важны не только производительность, но и удобство сопровождения.

В этой конфигурации заказчик получил:

• отдельный загрузочный контур на BOSS в RAID 1;

• резервирование питания;

• удалённое управление через iDRAC10 Enterprise;

• готовность к работе в связке с SAN и корпоративной сетью;

• понятную платформу для дальнейшего расширения кластера.

Это снижает риски при эксплуатации и делает сервер удобным для работы в составе производственной ИТ-среды, где простой вычислительного контура критичен.

Тесты

Первый тест

Платформа была дополнительно проверена синтетическими тестами, чтобы оценить её поведение под многопоточной нагрузкой и при интенсивной работе с памятью.

AIDA64 Cache & Memory

Первый тест (AIDA64 Cache & Memory) показывает, что у системы очень высокая пропускная способность памяти: примерно до 1 ТБ/с на чтение и около 0,86–0,87 ТБ/с на запись/копирование. Это означает, что узел хорошо подходит для нагрузок, где важны массовый параллелизм и быстрый доступ к большим объёмам данных — виртуализация высокой плотности, аналитика, in-memory задачи, подготовка данных для AI.

Второй тест

Cinebench 2024 (CPU Multi Core).

Сервер на AMD EPYC 9965 набрал 8061 балл, то есть показывает очень высокий уровень “чистой” многопоточной мощности. По-простому: такая машина уверенно тянет задачи, где важны сотни потоков — рендеринг/кодирование, сборки и компиляции, аналитика, плотная виртуализация и крупные сервисы в одном узле.

Cinebench (карта загрузки “квадратиками”)
Почти все квадраты подсвечены 100% — это значит, что тест реально “раскочегарил” сервер и загрузил все вычислительные потоки. Для широкой аудитории: система умеет одновременно выполнять сотни параллельных задач и не простаивает по ядрам.

Cinebench (вторая карта)
Видно, как после пика часть потоков уходит в 0% — это типичная картина окончания теста/перехода в простой: нагрузка снята, процессор возвращается к фоновому режиму.

CPU-Z (Socket #1) и CPU-Z (Socket #2)

Два скрина подтверждают “железо” по каждому сокету: в сервере стоят два одинаковых процессора AMD EPYC 9965, каждый по 192 ядра / 384 потока (и указан их теплопакет). Это наглядное подтверждение, что речь не о “виртуальных ядрах”, а о двух физических CPU

Диспетчер задач Windows

Система видит конфигурацию целиком: 2 сокета, 384 ядра и 768 логических процессоров. Дополнительно видно, что виртуализация включена, а объём ОЗУ — порядка 1,5 ТБ (по показателю “Память”). Для читателя это простой маркер: это сервер уровня “много CPU + много RAM”, рассчитанный на высокую плотность нагрузок.

Результат

По итогам проекта заказчик получил вычислительную платформу под крупный VMware-кластер с высоким запасом по ресурсам и готовностью к размещению большого числа сервисов.

Что это дало на практике:

Высокую плотность виртуализации.
Платформа рассчитана на размещение до 500 активных виртуальных машин в одном кластере.

Серьёзный запас по CPU и RAM.
Один узел даёт 384 физических ядра и 1,5 ТБ памяти под ресурсоёмкие сервисы и рост нагрузки.

Готовность к корпоративной инфраструктуре.
Сервер оснащён быстрыми сетевыми интерфейсами и FC-подключением к SAN.

Упрощение консолидации.
Крупные сервисы можно размещать в более компактной архитектуре без постоянного наращивания числа узлов.

Предсказуемую эксплуатацию.
Удалённое управление, резервирование питания и отдельный загрузочный контур повышают удобство сопровождения.