Серверы для больших данных (Big Data)

Аппаратная основа для быстрой аналитики и масштабируемого хранения

Подобрать решение

Серверы для обработки больших данных представляют собой специализированные аппаратные решения, предназначенные для работы с крупными объёмами информации — от терабайт до петабайт и выше. Основной задачей таких серверов является обеспечение высокой производительности при работе с горячими структурированными данными и масштабируемость при обработке объёмных архивов. Когда требуются серверы для больших данных

При необходимости анализа больших массивов структурированных данных (СУБД, SQL) в реальном времени.
Для обеспечения высокой скорости отклика бизнес-аналитики и принятия решений.
При наличии неструктурированных данных (например, логов, медиафайлов) с требованием к длительному хранению.
Для построения корпоративных хранилищ и систем прогнозной аналитики.

Основной сценарий: работа с горячими структурированными данными

Для обработки горячих структурированных данных — таблиц СУБД, транзакционной информации, аналитических витрин — критически важно обеспечить максимально быстрый доступ к данным. В таких задачах на первый план выходят объём оперативной памяти и производительность подсистемы хранения:

Оперативная память: Рекомендуется от 1 до 4 ТБ, чтобы данные и индексные структуры могли быть загружены в память целиком.
Процессоры: Высокопроизводительные серверные CPU с большим количеством ядер и расширенной поддержкой многопоточности.
Хранение NVMe: Использование NVMe-накопителей как буфера или расширения RAM для быстрой подгрузки данных, не помещающихся в память.
Сетевые интерфейсы: Высокоскоростные подключения (25/100 Гбит/с) для связи с BI-инструментами и внешними сервисами.

Альтернативный сценарий: обработка массивов данных от 1 ПБ и выше

Если объём данных существенно превышает возможности хранения в оперативной памяти или на локальных NVMe-дисках, применяется другой подход:

Внешние системы хранения: Масштабируемые хранилища с высокой пропускной способностью (SAN/NAS).
Распределённые платформы: Использование кластерных решений и программных фреймворков для параллельной обработки данных (например, Hadoop, Spark).

Работа с неструктурированными данными

В некоторых задачах важна работа с объектным хранилищем для хранения логов, документов, изображений и видео. Для таких целей применяются программные решения с распределённым доступом, которые легко масштабируются и интегрируются с аналитическими платформами. Аппаратная часть подбирается аналогично, с фокусом на ёмкость, надёжность и сетевую производительность.

Практический пример

Розничная сеть продуктовых магазинов внедрила серверную платформу для анализа торгового дня и управления товарными остатками

Основные задачи:

Анализ транзакций: Обработка структурированных данных за день из всех магазинов.
Учет сроков годности: Отслеживание остатков с привязкой к срокам хранения.
Прогнозирование спроса: Построение прогностических моделей по категориям товаров.
Автоматизация логистики: Формирование заданий для распределительного склада по доставке и перемещению товаров.
Система скидок: Автоматическая идентификация позиций с истекающим сроком годности для перевода в зону уценки.

Техническое решение:

2 процессора с 64 ядрами суммарно, высокочастотные, с поддержкой AVX-инструкций.
Оперативная память — 2 ТБ, что позволило обрабатывать актуальные данные без обращения к дискам.
Накопители — 12 NVMe SSD по 7.68 ТБ в RAID 6, для хранения горячих данных, архива и логов.
Сетевые адаптеры — 2 × 100 Гбит/с для быстрой передачи аналитических результатов.

Результаты:

Аналитическая отчётность формируется в режиме near real-time.
Сокращение объёмов списаний за счёт своевременного перемещения товаров с подходящими сроками годности.
Повышение точности логистического планирования.

Рекомендация: При выборе сервера для задач Big Data важно не только учитывать объём оперативной памяти и производительность хранилища, но и заранее оценивать прогнозируемый рост объёмов данных. По мере увеличения нагрузки и накопления информации необходимо предусмотреть возможность перехода от архитектуры на базе одного сервера к распределённому кластеру с единым масштабируемым хранилищем.