Dell ObjectScale получил до 9,83 ПБ в 2U и ускорение S3 через RDMA

Компания Dell сертифицировала NVMe SSD KIOXIA емкостью 245,76 ТБ для программно-определяемой платформы ObjectScale, что позволяет разместить до 9,83 ПБ сырой флеш-емкости в одном сервере 2U. Одновременно компания продолжает развивать тракт данных в ObjectScale 4.2 и 4.3, ориентируя платформу на обучение ИИ, обработку большого количества мелких объектов и ускорение инференса.

Среди ключевых возможностей — S3 поверх RDMA, выгрузка KV-кэша больших языковых моделей на флеш-хранилище, переработанный механизм chunk store и нативная поддержка Apache Iceberg через S3 Tables.

9,83 ПБ в одном сервере 2U

Рост корпоративных ИИ-озер данных повышает требования не только к общей емкости, но и к плотности размещения, энергопотреблению и охлаждению. Данные для обучения и дообучения моделей, аналитики и длительного хранения могут занимать петабайты, поэтому количество терабайт на одну единицу стойки становится важным параметром инфраструктуры.

Для таких сценариев Dell квалифицировала SSD KIOXIA на 245,76 ТБ для ObjectScale, развернутого на серверах Dell PowerEdge R7725.

В конфигурации с 40 накопителями в одном корпусе 2U общая сырая емкость достигает:

40 × 245,76 ТБ = 9,83 ПБ.

Такая плотность рассчитана на ИИ-фабрики, крупные векторные базы данных, аналитические репозитории и системы киберустойчивости, где требуется многопетабайтное объектное хранилище при минимальном количестве серверов, сетевых соединений и занимаемого пространства.

До 40 ГБ/с чтения на один узел

В программно-определяемых конфигурациях на сертифицированных серверах PowerEdge внутренние тесты Dell показывают до 40 ГБ/с чтения с одного узла. Компания заявляет, что это примерно в восемь раз выше, чем у предыдущего поколения all-flash объектных платформ.

Dell также приводит пример заказчика из сферы высокочастотной торговли в Великобритании, где агрегированная скорость чтения составляет около 280 ГБ/с.

Аппаратный потенциал платформы при этом заметно выше. В независимых тестах PowerEdge R7725xd внутренняя NVMe-подсистема демонстрировала более 300 ГБ/с, а при передаче данных через NVMe-oF RDMA — порядка 160 ГБ/с. Эти цифры относятся непосредственно к серверной платформе, а не к ObjectScale, однако показывают доступный аппаратный запас производительности.

Оптимизация миллионов мелких объектов

Для ИИ-нагрузок важна не только работа с большими файлами. Векторные фрагменты, признаки, телеметрия и другие данные часто представлены миллионами небольших объектов, что создает значительную нагрузку на метаданные.

ObjectScale использует оптимизированный chunk-store engine, который объединяет небольшие объекты в блоки по 128 МБ, после чего к ним применяется erasure coding между узлами.

При среднем размере файла около 10 КБ в один такой chunk можно поместить более 10 000 объектов. Это значительно снижает объем служебных операций с метаданными.

Подобная схема влияет и на восстановление после отказа накопителя. Вместо необходимости реконструировать миллиарды отдельных shards система работает с существенно меньшим их количеством. По данным Dell, для плотных NVMe-конфигураций это может сократить восстановление с недель до часов.

Проверка inline checksums на уровне stripe также уменьшает количество процессорных ресурсов, затрачиваемых на фоновые операции контроля целостности.

Переработанный Key-Value Store в ObjectScale 4.2, по информации Dell, обеспечивает примерно в четыре раза более эффективное использование памяти и сокращает объем метаданных на дисках на 30–60%.

S3 поверх RDMA

В ObjectScale 4.3 технология S3 over RDMA распространяется на all-flash-платформы Dell, включая XF960, EXF900, а также программно-определяемые конфигурации на PowerEdge R7725xd.

Решение использует RoCEv2 и SDK Dell для S3 over RDMA. Такой подход позволяет обходить часть накладных расходов традиционного TCP-стека и процессорных прерываний, формируя более прямой путь передачи данных между вычислительными узлами и NVMe-хранилищем.

По внутренним тестам Dell, по сравнению со стандартным S3 поверх TCP это обеспечивает:

• до 230% более высокую пропускную способность;
• до 80% меньшую задержку;
• до 98% меньше загрузки CPU клиента.

Такой подход особенно интересен для ИИ-кластеров, где высокая производительность самого хранилища теряет смысл, если значительная часть ресурсов CPU расходуется на обслуживание сетевого стека.

ObjectScale как уровень хранения KV-кэша

Одним из наиболее интересных сценариев стала возможность использовать ObjectScale как внешний уровень для KV Cache Offload.

При инференсе с длинным контекстом объем KV-кэша быстро растет и начинает занимать значительную часть дорогостоящей HBM или VRAM ускорителей. После исчерпания доступной памяти часть этих данных можно перенести на более емкий уровень хранения.

Интеграция с vLLM, LMCache и библиотекой NVIDIA NIXL позволяет передавать активные состояния attention непосредственно в ObjectScale через ускоренный S3 over RDMA.

По данным Dell, по сравнению со стандартным vLLM без выгрузки кеша такой подход способен обеспечить:

• до 19 раз меньше Time to First Token;
• до 5,3 раза более высокую пропускную способность по токенам;
• почти трехкратный рост производительности в многоходовых диалогах.

В отдельном сравнении с конкурирующей объектной платформой Dell заявляет показатель TTFT около 0,86 секунды.

Таким образом, объектное хранилище начинает выполнять в ИИ-инфраструктуре не только роль долговременного репозитория, но и более активного уровня в иерархии памяти между дорогостоящей памятью ускорителей и основным массивом данных.

S3 Tables и Apache Iceberg

ObjectScale 4.3 также получил нативную поддержку S3 Tables, пока представленную в статусе tech preview. Она интегрирует открытый табличный формат Apache Iceberg непосредственно на уровне S3-бакетов.

За счет этого аналитические движки Trino, Starburst, Spark и Flink могут работать с данными непосредственно в объектном хранилище без обязательного предварительного копирования в отдельное data warehouse или дополнительного ETL-контура.

Dell заявляет до двукратного ускорения загрузки данных и до 4,5 раза более быстрых запросов по сравнению с традиционными архитектурами с отдельным хранилищем аналитических данных.

Эффективнее хранение больших объемов данных

На уровне защиты данных ObjectScale поддерживает схемы erasure coding 24+2 и 24+4, которые, по оценке Dell, позволяют снизить write amplification до 75%.

Для систем на высокоемких HDD, например EX500, компания также заявляет до 25% более высокую скорость записи крупных объектов и до двукратного роста производительности при работе с объектами среднего размера.

Для отдельных бакетов можно выбирать алгоритмы сжатия Snappy, LZ4, ZSTD и Deflate, а встроенная телеметрия помогает учитывать эффективность хранения и расходы в рамках FinOps.

Платформа также интегрируется с инструментами облачной инфраструктуры, включая Kubernetes Container Object Storage Interface (COSI) и провайдеры Terraform.

ObjectScale становится частью ИИ-тракта данных

Главное изменение в ObjectScale заключается не только в росте емкости до 9,83 ПБ в 2U. Dell постепенно превращает объектное хранилище из конечного репозитория данных в активный компонент ИИ-инфраструктуры.

Высокоемкие SSD KIOXIA позволяют резко увеличить плотность хранения, S3 over RDMA сокращает сетевые накладные расходы, а KV Cache Offload дает возможность использовать NVMe как дополнительный уровень памяти для инференса больших языковых моделей.

В результате граница между вычислительной инфраструктурой и системами хранения постепенно размывается: производительность ИИ все сильнее зависит от того, насколько быстро данные могут перемещаться между HBM, системной памятью, локальной NVMe-подсистемой и объектным хранилищем.