GPU-сервер ASUS с 8 NVIDIA RTX PRO 6000 для корпоративной LLM

Проблема

Развитие корпоративных ИИ-сервисов требует не только выбора языковой модели и программного обеспечения, но и создания подходящей аппаратной инфраструктуры. Особенно это касается крупных LLM, для работы которых необходимы производительные графические ускорители и значительный объем видеопамяти.

В торговом бизнесе языковые модели могут использоваться для интеллектуального поиска по корпоративной информации, обработки документов, автоматизации типовых запросов и создания внутренних ИИ-помощников. Такие инструменты способны упростить работу сотрудников с большими объемами информации и стать основой для дальнейшей автоматизации бизнес-процессов.

Однако возможности использования LLM во многом зависят от характеристик оборудования. При развертывании крупных моделей необходимо учитывать сразу несколько ограничений.

Прежде всего, это объем видеопамяти. Она используется не только для размещения весов модели, но и для промежуточных вычислений, хранения KV-кеша и обработки пользовательских запросов. Требования к памяти увеличиваются с ростом размера модели, длины контекста и количества одновременных обращений.

Не менее важна вычислительная производительность. Обработка запросов к LLM представляет собой ресурсоемкую задачу, особенно при необходимости обслуживать нескольких пользователей или запускать несколько моделей параллельно.

Дополнительную сложность представляет масштабирование. Если ресурсов одного GPU недостаточно, вычисления необходимо распределять между несколькими ускорителями. Это предъявляет требования к серверной архитектуре, пропускной способности интерфейсов и программному обеспечению.

Заказчику требовалась специализированная платформа, способная обеспечить необходимую аппаратную основу для корпоративной LLM и сохранить возможности для дальнейшего развития ИИ-инфраструктуры.

Задача

Подобрать высокопроизводительный GPU-сервер для локального развертывания корпоративной большой языковой модели.

При выборе оборудования необходимо было обеспечить:

• Поддержку восьми производительных графических ускорителей в одном серверном корпусе.

• Большой суммарный объем видеопамяти для работы с ресурсоемкими LLM.

• Возможность распределять вычисления между несколькими GPU.

• Производительную процессорную платформу и высокоскоростные интерфейсы для обслуживания ИИ-нагрузок.

• Поддержку современных стандартов оперативной памяти и NVMe-накопителей.

• Возможность дальнейшего развития корпоративных ИИ-сервисов без необходимости сразу создавать многосерверный GPU-кластер.

Отдельное внимание уделялось плотности размещения вычислительных ресурсов. Восемь GPU требовалось объединить в одном серверном узле, рассчитанном на эксплуатацию в корпоративной ИТ-инфраструктуре.

Решение

Для реализации проекта был выбран ASUS ESC8000A-E13 — специализированный GPU-сервер формата 4U с восемью NVIDIA RTX PRO 6000 Blackwell Server Edition.

Платформа предназначена для высокопроизводительных вычислений, машинного обучения и задач искусственного интеллекта. Ее архитектура позволяет разместить восемь двухслотовых графических ускорителей в одном корпусе и обеспечить их необходимыми ресурсами питания, охлаждения и ввода-вывода.

Основные характеристики решения

• Серверная платформа: ASUS ESC8000A-E13.
• Количество серверов: 1.
• Форм-фактор: 4U.
• Графические ускорители: 8 × NVIDIA RTX PRO 6000 Blackwell Server Edition.
• Видеопамять одного GPU: 96 ГБ GDDR7 ECC.
• Суммарный объем видеопамяти: 768 ГБ.
• Интерфейс подключения GPU: PCIe 5.0 x16.
• Процессорная платформа: поддержка двух процессоров AMD EPYC серий 9004/9005.
• Оперативная память: поддержка DDR5 RDIMM.
• Дисковая подсистема: поддержка высокоскоростных NVMe-накопителей.
• Основное назначение: локальное развертывание корпоративных LLM, инференс и другие задачи искусственного интеллекта.

Восемь NVIDIA RTX PRO 6000 Blackwell Server Edition

Главной особенностью конфигурации стали восемь графических ускорителей NVIDIA RTX PRO 6000 Blackwell Server Edition. Каждый GPU оснащен 96 ГБ памяти GDDR7 с поддержкой коррекции ошибок ECC, поэтому суммарный объем видеопамяти достигает 768 ГБ.

Ускорители построены на архитектуре NVIDIA Blackwell и предназначены в том числе для задач искусственного интеллекта, инференса и высокопроизводительных вычислений.

Большой объем видеопамяти особенно важен при использовании LLM. Помимо размещения весов языковой модели, память GPU используется для обработки входных данных, промежуточных вычислений и хранения KV-кеша, необходимого при генерации ответов.

Конфигурация из восьми ускорителей позволяет рассматривать несколько вариантов организации вычислений. GPU можно распределять между независимыми экземплярами моделей, использовать для параллельного обслуживания запросов или объединять их вычислительные ресурсы для запуска более крупных LLM.

При этом суммарные 768 ГБ не образуют единое адресное пространство. Каждый ускоритель располагает собственными 96 ГБ памяти, а работа одной модели на нескольких GPU требует соответствующих механизмов распределения вычислений в программном обеспечении.

Такой подход дает возможность гибко выбирать архитектуру инференса в зависимости от размера модели, требуемой производительности и характера нагрузки.

Серверная архитектура ASUS ESC8000A-E13

ASUS ESC8000A-E13 разработан специально для систем с высокой плотностью графических ускорителей.

В корпусе формата 4U предусмотрена установка восьми двухслотовых GPU с подключением через PCIe 5.0 x16. В отличие от универсальных серверов, рассчитанных на один или два ускорителя, эта платформа позволяет сосредоточить значительно больше вычислительных ресурсов в одном узле.

Сервер поддерживает два процессора AMD EPYC серий 9004 и 9005. Многоканальная подсистема памяти DDR5 RDIMM обеспечивает ресурсы для подготовки данных, работы серверных приложений и обслуживания задач, выполняемых на GPU.

Поддержка NVMe-накопителей позволяет организовать высокоскоростное локальное хранение языковых моделей, программных компонентов и рабочих данных. Это особенно важно при загрузке крупных моделей, обновлении программного окружения и выполнении вспомогательных операций.

Высокоскоростные интерфейсы PCIe 5.0 обеспечивают подключение ускорителей и периферийных устройств. При этом фактическая скорость обмена данными между GPU зависит от топологии сервера, используемого программного обеспечения и способа распределения вычислений.

Для эксплуатации мощной GPU-конфигурации также важны питание и охлаждение. ASUS ESC8000A-E13 оснащается серверной системой охлаждения и резервируемыми блоками питания, рассчитанными на работу с высокопроизводительными ускорителями.

Средства удаленного управления позволяют контролировать состояние оборудования и выполнять необходимые административные операции без постоянного физического доступа к серверу.

Возможности для корпоративных ИИ-сервисов

Выбранная конфигурация формирует аппаратную основу для локального развертывания LLM и связанных с ними приложений.

В зависимости от выбранной модели и программного стека сервер может использоваться для нескольких направлений:

• Инференс LLM. Запуск языковых моделей и обработка пользовательских запросов с использованием GPU-ускорения.

• Работа с крупными моделями. Распределение вычислений между несколькими ускорителями, когда ресурсов одного GPU недостаточно.

• Параллельное обслуживание запросов. Размещение нескольких экземпляров моделей или распределение вычислительных ресурсов между независимыми ИИ-сервисами.

• Корпоративные ИИ-помощники. Создание приложений для работы с внутренней документацией, поиска информации и обработки текстовых запросов.

• Развитие ИИ-инфраструктуры. Тестирование различных языковых моделей, программных инструментов и способов организации вычислений.

В дальнейшем платформа может использоваться для интеллектуального поиска по корпоративным данным, создания внутренних помощников для сотрудников, обработки документов и других сценариев автоматизации.

Локальное размещение LLM также позволяет организовать обработку корпоративной информации в собственном вычислительном контуре. При этом безопасность данных, разграничение доступа и интеграция с внутренними системами должны обеспечиваться соответствующей программной архитектурой.

Результат

Основой будущей корпоративной ИИ-инфраструктуры стал GPU-сервер ASUS ESC8000A-E13 с восемью ускорителями NVIDIA RTX PRO 6000 Blackwell Server Edition. Конфигурация объединяет значительные вычислительные ресурсы в одном серверном узле и создает аппаратную основу для локального развертывания крупных языковых моделей.

Ключевые характеристики решения:

• 8 GPU NVIDIA Blackwell — вычислительные ресурсы для инференса, параллельной обработки запросов и распределенных LLM-нагрузок.

• 768 ГБ суммарной видеопамяти GDDR7 ECC — возможность работы с ресурсоемкими моделями и организации нескольких вычислительных задач.

• Один сервер формата 4U — высокая плотность GPU-ресурсов без необходимости размещать восемь ускорителей в отдельных серверных узлах.

• Поддержка двух процессоров AMD EPYC — производительная серверная архитектура для обслуживания GPU-вычислений.

• Поддержка DDR5 и NVMe — возможность формирования высокоскоростной подсистемы оперативной памяти и хранения данных.

Выбранная платформа позволяет гибко распределять GPU-ресурсы в зависимости от задач и развивать вычислительную инфраструктуру по мере появления новых корпоративных ИИ-сервисов.

При этом фактическая производительность и количество одновременно обслуживаемых запросов будут зависеть от конкретной языковой модели, ее размера, точности вычислений, длины контекста и используемого программного обеспечения.

Таким образом, проект позволил сформировать аппаратную базу для корпоративной LLM, объединив восемь производительных GPU в одной серверной системе с возможностью дальнейшего развития ИИ-направления.