Серверы для больших данных (Big Data)

Основной сценарий: работа с горячими структурированными данными

Для обработки горячих структурированных данных — таблиц СУБД, транзакционной информации, аналитических витрин — критически важно обеспечить максимально быстрый доступ к данным. В таких задачах на первый план выходят объём оперативной памяти и производительность подсистемы хранения:

• Оперативная память: Рекомендуется от 1 до 4 ТБ, чтобы данные и индексные структуры могли быть загружены в память целиком.

• Процессоры: Высокопроизводительные серверные CPU с большим количеством ядер и расширенной поддержкой многопоточности.

• Хранение NVMe: Использование NVMe-накопителей как буфера или расширения RAM для быстрой подгрузки данных, не помещающихся в память.

• Сетевые интерфейсы: Высокоскоростные подключения (25/100 Гбит/с) для связи с BI-инструментами и внешними сервисами.

Альтернативный сценарий: обработка массивов данных от 1 ПБ и выше

Если объём данных существенно превышает возможности хранения в оперативной памяти или на локальных NVMe-дисках, применяется другой подход:

• Внешние системы хранения: Масштабируемые хранилища с высокой пропускной способностью (SAN/NAS).

• Распределённые платформы: Использование кластерных решений и программных фреймворков для параллельной обработки данных (например, Hadoop, Spark).

Работа с неструктурированными данными

В некоторых задачах важна работа с объектным хранилищем для хранения логов, документов, изображений и видео. Для таких целей применяются программные решения с распределённым доступом, которые легко масштабируются и интегрируются с аналитическими платформами. Аппаратная часть подбирается аналогично, с фокусом на ёмкость, надёжность и сетевую производительность.

Практический пример: анализ данных ритейл-сети продуктовых магазинов

Розничная сеть продуктовых магазинов внедрила серверную платформу для анализа торгового дня и управления товарными остатками. Задачи включали:

• Анализ транзакций: Обработка структурированных данных за день из всех магазинов.
• Учет сроков годности: Отслеживание остатков с привязкой к срокам хранения.
• Прогнозирование спроса: Построение прогностических моделей по категориям товаров.
• Автоматизация логистики: Формирование заданий для распределительного склада по доставке и перемещению товаров.
• Система скидок: Автоматическая идентификация позиций с истекающим сроком годности для перевода в зону уценки.

Техническое решение:

• 2 процессора с 64 ядрами суммарно, высокочастотные, с поддержкой AVX-инструкций.
• Оперативная память — 2 ТБ, что позволило обрабатывать актуальные данные без обращения к дискам.
• Накопители — 12 NVMe SSD по 7.68 ТБ в RAID 6, для хранения горячих данных, архива и логов.
• Сетевые адаптеры — 2 × 100 Гбит/с для быстрой передачи аналитических результатов.

Результаты:

• Аналитическая отчётность формируется в режиме near real-time.
• Сокращение объёмов списаний за счёт своевременного перемещения товаров с подходящими сроками годности.
• Повышение точности логистического планирования.

Рекомендация: При выборе сервера для задач Big Data важно не только учитывать объём оперативной памяти и производительность хранилища, но и заранее оценивать прогнозируемый рост объёмов данных. По мере увеличения нагрузки и накопления информации необходимо предусмотреть возможность перехода от архитектуры на базе одного сервера к распределённому кластеру с единым масштабируемым хранилищем.