Нынешнее время можно смело назвать эрой Big Data или эпохой структурированных и неструктурированных данных огромных объемов и разнообразия. Количество информации, которую ежедневно производит и «переваривает» бизнес, неуклонно растет, как и потребности в организации ее хранения.
По данным IDC к 2025 году объем данных в мире составит 175 зеттабайт, а 1 зеттабайт равен 1021 (секстиллион) байт!
Классические СУБД – прекрасное решение для хранения данных. Но ввиду того, что постоянно появляются новые форматы информации: показания датчиков и счетчиков, видео- и аудиофайлы, фотографии и другие неструктурированные данные, СХД и сам подход к управлению данными сильно меняется. Это понимают все управленцы, работающие в сфере IT, как и то, что нужно адаптироваться, чтобы идти в ногу со временем.
В этой статье мы остановимся на ключевых изменениях СХД, время для которых уже наступило.
Твердотельные накопители
На смену гибридной системе хранения данных приходят полностью твердотельные системы хранения. Конечно, в свое время гибридные системы стали прекрасным решением. Сегодня уже пришло осознание, что разделять информацию на востребованную и не очень не столь легко и что это также требует вложения финансовых ресурсов. Таким образом, скорость доступа стала основой экономии.
Твердотельные накопители – настоящее открытие для тех, у кого главными приоритетом является производительность. Превосходная отказоустойчивость такого типа накопителей становится основой надежной защиты всех видов данных, причем независимо от ПО, которое используется.
Кроме того, малый размер накопителей позволяет создавать свои базы без излишних затрат на большие площади для хранения собственных серверов. При этом технология создания твердотельных накопителей продолжает развиваться, а значит потенциал повсеместного использования такого типа СХД только растет.
Тенденция вытеснения механических накопителей продолжается, скорость доступа к данным сегодня более важна
Кроме того, возрастает популярность СХД с NVMe-накопителями. Благодаря им задержка при доступе к данным максимально сокращена. Но об этом подробнее ниже.
Единый интерфейс управления данными
Первоочередная задача многих компаний – централизовать администрирование используемых СХД, лучше всего через единый интерфейс. Это не только облегчит сортировку и применение данных, но и позволит снизить затраты на IT-персонал, так как с администрированием сможет справляться один сотрудник.
Оптимизация управления данными позволит полностью раскрыть их потенциал, поэтому необходимы инструменты, позволяющие работать по принципу «одного окна».
Чтобы данные стали активом, приносящим бизнесу реальную пользу и прибыль, ими нужно эффективно управлять
Развитие искусственного интеллекта
ИИ уже оказывает влияние на СХД, особенно на стадии глубокого машинного обучения, связанного с анализом больших объемов накопленной информации. Он требует от систем предсказуемой и масштабируемой производительности, упрощения работы и снижения затрат. Алгоритмы ИИ анализируют пул данных по конкретным характеристикам, а затем «тренируются» на них.
При использовании GPU-систем важное значение имеет скорость обмена данными между алгоритмами ИИ и СХД. Именно с этим и связана популярность твердотельных СХД (см. пункт 1).
ИИ помогает упорядочить хаос больших данных и поставить аналитику на поток
Увеличение скорости подключения
Облачные провайдеры понимают, как важно для бизнеса иметь возможность быстрого подключения к корпоративной инфраструктуре. Поэтому повсеместно строятся дата-центры крупных облачных провайдеров, таких как Amazon и Microsoft. Это позволяет находиться ближе к пользователям и тем самым решить проблему низкой скорости подключения к облаку.
Такой подход используют и региональные провайдеры вроде Azure и AWS. Для достижения высокой пропускной способности они строят дата-центры небольших размеров, которые географически приближены к пользователям и предлагают отличную производительность по приемлемой цене. Регионалы часто выступают точками доступа к публичным облакам, предоставляя возможность создавать мультиоблачные решения.
Увеличение скорости подключения к облаку решает проблему задержек при использовании бизнес-приложений
Новые решения для резервирования, восстановления и архивирования данных
Увеличение накопления объема данных непременно отразится на таких операциях, как резервное копирование, восстановление и архивирование. Работать с петабайтами информации намного сложнее, чем с терабайтами. И если при архивировании вопрос скорости не так важен, то при восстановлении он имеет первостепенное значение. Поэтому в ближайшее время усилия будут направлены на поиск оптимальных решений для выполнения этих операций. А также на интеллектуальное индексирование и хранение метаданных для упрощения поиска в пуле неструктурированной информации.
Каждую секунду в мире теряется 214 записей, а это 7 млрд записей в год, поэтому вопросы резервирования, восстановления и архивирования данных как нельзя актуальны
HPC перетекают в средний бизнес
В скором времени не только компании-гиганты, университеты и государственные ЦОД, но и предприятия среднего бизнеса не смогут обойтись без высокопроизводительных вычислений. Поэтому разработка HPC-решений – актуальная задача.
С ростом объема данных такие решения будут необходимы везде, где применяются приложения, требующие больших вычислительных ресурсов и объемов хранения. К примеру, в строительных компаниях, где используется BIM-моделирование, научных и медицинских центрах. Без надлежащей вычислительной среды обработка большого объема данных потребует нереальных затрат времени или вовсе окажется нерешаемой задачей.
Высокопроизводительные вычисления – основа бизнеса завтрашнего дня
Мы живем в то время, когда данные стали важнейшим бизнес-ресурсом, СХД уже претерпели сильные изменения, но самое интересное еще впереди. Среди значимых инноваций стоит отметить объектное хранение и Storage Class Memory не просто для минимизации задержек, а даже в качестве хранилищ. Технология флеш-памяти продолжает активно вытеснять традиционные жесткие диски.
В сфере HPC-решений расширяется использование протокола NVMe-o-F. Ведущие производители СХД предлагают продукты с NVMe-моделями, выполняющими роль ускорителей для решений на основе SAS SSD. Причем новые протоколы можно просто активировать на имеющихся СХД без замены оборудования, тем самым сэкономив на инвестициях в IT.
Такие решения позволяют достичь высоких значений IOPS и минимальных задержек при доставке приложений. В результате удается создать мощные, масштабируемые кластеры систем хранения.
Несомненно, для СХД наступили увлекательные времена, когда одна инновация сменяет другую, что для бизнеса означает возможность упорядочить «непокорные» данные и извлечь из них максимум пользы.
