Виртуализация и локальный AI-ассистент на одном сервере с GPU 96 ГБ

Проблема

У заказчика стояла двойная задача. С одной стороны, требовалась надёжная платформа под гипервизор VMware и корпоративные сервисы. С другой — компания хотела развернуть локальный AI-ассистент для техподдержки и поиска по внутренней базе знаний по модели RAG, не выводя документы, инструкции и технические материалы во внешние облачные контуры.

Для таких сценариев типовые ограничения проявляются быстро:

• обычные серверы под виртуализацию не рассчитаны на AI-нагрузки и работу с крупными моделями;

• облачные AI-сервисы не всегда подходят из-за требований к конфиденциальности и контролю над данными;

• при запуске RAG-решения важны не только GPU-ресурсы, но и быстрый отклик CPU, высокая скорость локального хранилища и удобное масштабирование;

• заказчику нужна была не экспериментальная сборка, а корпоративная платформа с удалённым управлением, отказоустойчивым загрузочным контуром и запасом на развитие.

В результате требовалось собрать один вычислительный узел, который одинаково уверенно чувствует себя и в роли VMware-хоста, и в роли базы для локального AI-сервиса.

Задача

Построить платформу, которая:

• поддерживает гипервизор VMware и корпоративные сервисы в постоянной эксплуатации;

• позволяет развернуть локального AI-ассистента для техподдержки и поиска по внутренней документации;

• обеспечивает быстрый отклик в задачах, чувствительных к частоте CPU и скорости хранения;

• даёт достаточный объём GPU-памяти под AI- и RAG-сценарии;

• остаётся удобной в сопровождении и готовой к дальнейшему расширению.

Решение

1) Базовая платформа: Dell PowerEdge R7725

В основу проекта лег сервер Dell PowerEdge R7725, выбранный как универсальная платформа для совмещения виртуализации, корпоративных сервисов и GPU-нагрузок.

Конфигурация сервера:

2 × AMD EPYC 9175F, 4,2 ГГц
Высокочастотные процессоры с акцентом на быстрый отклик и стабильную работу задач, где важна не только общая многопоточность, но и производительность на ядро.

24 × 64 ГБ RDIMM DDR5-6400
Итого — 1,5 ТБ оперативной памяти, достаточный объём для виртуальных машин, служебных сервисов и AI-контуров.

2 × 1,6 ТБ DC NVMe Mixed Use E3.S Gen5
Стартовый быстрый NVMe-контур под рабочие данные и сервисные задачи.

PERC H975i
Контроллер для надёжной работы дисковой подсистемы.

BOSS-N1 + 2 × FIPS M.2 960 ГБ в RAID 1
Отдельный загрузочный контур под ОС и гипервизор.

2 × 3200W PSU
Резервирование питания.

iDRAC Enterprise
Удалённое управление и контроль состояния оборудования.

Такой набор позволил собрать сервер не “под один эксперимент”, а под реальную корпоративную эксплуатацию.

2) Упор на высокочастотные CPU для сервисов и отклика

В этом проекте важно было не просто набрать как можно больше ядер, а обеспечить хороший отклик прикладных сервисов, виртуальных машин и AI-интеграций.

Именно поэтому были выбраны 2 процессора AMD EPYC 9175F с частотой 4,2 ГГц. Такой профиль хорошо подходит для сценариев, где параллельно работают:

• виртуальные машины с корпоративными системами;

• внутренние сервисы техподдержки;

• поисковые и вспомогательные AI-механизмы;

• служебные процессы, чувствительные к задержкам.

Для заказчика это означало более универсальную платформу: сервер уверенно закрывает и классические задачи виртуализации, и новые AI-сценарии, где важен не только GPU, но и быстрый CPU-контур.

3) GPU-контур для локального AI и RAG

Ключевой элемент проекта — NVIDIA RTX PRO 6000 BSE 96GB PCIe.

Этот ускоритель дал заказчику:

• достаточный объём видеопамяти для локального AI-сервиса;

• возможность работать с RAG-сценариями на внутренних данных;

• основу для корпоративного AI-ассистента без передачи документов во внешние сервисы;

• запас по ресурсам для дальнейшего развития AI-функций.

Для инженерной компании в промышленности это особенно важно: значимая часть ценности AI лежит не в “общем чате”, а в быстром поиске по регламентам, инструкциям, проектной документации, эксплуатационным материалам и внутренней базе знаний. Локальное размещение такого контура упрощает контроль над доступом и снижает риски, связанные с выносом данных за пределы компании.

4) NVMe Gen5 и задел на расширение

Сервер использует шасси с корзиной до 16 × E3.S NVMe Gen5, а в стартовой конфигурации установлен базовый набор из 2 × 1,6 ТБ NVMe.

Это дало несколько практических преимуществ:

• быстрый старт проекта без перегрузки бюджета избыточной ёмкостью на первом этапе;

• высокую скорость локального хранилища для служебных задач, индексов, кэша и рабочих данных;

• понятный путь дальнейшего расширения без смены платформы;

• возможность масштабировать подсистему хранения по мере роста AI-сервиса и числа корпоративных сервисов.

Такой подход удобен для проектов, где часть нагрузки запускается сразу, а часть — развивается по мере появления новых сценариев и роста числа пользователей.

5) Готовность к масштабированию GPU-направления

В проекте сразу была заложена готовность к установке второго GPU: сервер укомплектован силовыми кабелями под конфигурацию с двумя ускорителями.

На практике это важно по нескольким причинам:

• не нужно менять платформу при развитии AI-нагрузок;

• можно постепенно наращивать вычислительные ресурсы по мере роста сервиса;

• упрощается переход от пилотного AI-контура к более широкой корпоративной эксплуатации.

Для заказчика это означает, что текущая конфигурация — не тупиковая, а масштабируемая база, на которой можно дальше развивать AI-сценарии внутри компании.

6) Сетевое подключение и корпоративная эксплуатация

Для интеграции сервера в инфраструктуру заказчика использован NVIDIA ConnectX-6 Lx Dual Port 25GbE SFP28 OCP.

Это обеспечивает:

• быстрое подключение к корпоративной сети;

• комфортную работу виртуальных машин и сервисных контуров;

• достаточную пропускную способность для обмена между гипервизором, корпоративными приложениями и AI-компонентами;

• готовность к работе в современной серверной среде без узких мест на сетевом уровне.

В сочетании с iDRAC Enterprise, RAID1 для загрузочного контура и резервированным питанием заказчик получил платформу, рассчитанную не на лабораторные тесты, а на нормальный режим эксплуатации в промышленной компании.

Результат

По итогам первого этапа заказчик получил современную сетевую платформу для нового корпуса, рассчитанную на текущую эксплуатацию и дальнейшее развитие.

Что было достигнуто:

По итогам проекта заказчик получил серверную платформу, которая совмещает две задачи в одном вычислительном узле: виртуализацию корпоративных сервисов и запуск локального AI-ассистента на внутренних данных.

Что это дало на практике:

Единую платформу под VMware и AI-сервис.
Заказчик получил сервер, который можно использовать и как хост виртуализации, и как основу для локального RAG-контурa.

Локальный AI без вывода данных во внешние облака.
Поиск по внутренней базе знаний и сценарии AI-поддержки можно развивать внутри корпоративного периметра.

Быстрый отклик прикладных задач.
Высокочастотные AMD EPYC 9175F хорошо подходят для сервисов, где важна скорость реакции, а не только общее число ядер.

Быстрый контур хранения и запас на рост.
NVMe Gen5 и шасси под E3.S дают понятную модель дальнейшего расширения.

Готовность к следующему этапу развития.
Платформа уже подготовлена к установке второго GPU, если AI-нагрузка вырастет.