Название In-Memory Computing буквально переводится как «вычисления в оперативной памяти», и это является самым точным описанием данной технологии. Она представляет собой хранение информации в основной оперативной памяти (ОЗУ) выделенных серверов, а не в сложных реляционных базах данных, которые работают на сравнительно медленных дисках. Размещение данных непосредственно в ОЗУ помогает бизнес-клиентам, включая предприятия розничной торговли, банки и т. д., быстро обнаруживать шаблоны, анализировать большие объемы данных «на лету» и так же быстро выполнять необходимые операции. Росту популярности In-Memory Computing способствует снижение цен на оперативную память, поэтому сейчас эта технология выгодна для широкого спектра приложений. Количество компаний, которые используют вычисления в оперативной памяти, растет почти на треть каждый год. Ожидается, что в ближайшие два года рынок решений с поддержкой In-Memory перешагнет отметку в 23 миллиарда долларов США.

Возможности и преимущества In-Memory Computing

Сегодня In-Memory Сomputing используют многие технологические компании. Встроенная вычислительная технология HANA (High-Performance Analytic Appliance), разработанная в SAP, использует метод сложного сжатия данных для хранения их в оперативной памяти. Производительность HANA в 10 000 раз выше по сравнению со стандартными дисками. Это позволяет компаниям тратить на анализ считанные секунды вместо долгих часов.

Другие преимущества вычислений в памяти:

  • непрерывное кэширование огромных массивов данных. Это обеспечивает чрезвычайно быстрый отклик в процессе поиска;
  • хранение данных сеансов и изменение их «на лету». Это обеспечивает оптимальную производительность веб-сайтов;
  • обработка событий и реагирование на сложные события в масштабе времени, близком к реальному.
Рабочий компьютер

Технология In-Memory Сomputing позволяет тратить на анализ данных считанные секунды

Оборудование для In-Memory Сomputing

Для реализации концепции In-Memory Сomputing применяют ПО, соответствующее потребностям бизнеса, и серверное оборудование с достаточным объемом ОЗУ. Современные процессоры Intel позволяют устанавливать до 1.5 ТБ оперативной памяти. Таким образом, популярные 2-сокетные серверы поддерживают до 3 ТБ оперативной памяти, 4-сокетные модели – до 6 ТБ и 8-сокетные – до 12 ТБ. Это открывает даже небольшим предприятиям доступ к преимуществам современных высокоэффективных технологий обработки данных.

На роль сервера, отвечающего за вычисления In-Memory Сomputing, подойдет любая модель производителя HPE из этого списка:

В линейке продукции Dell это могут быть такие серверы:

Японская Fujitsu предлагает для этой цели следующее оборудование:

Далее мы подробнее расскажем о том, в каких сферах и как именно используются технологии вычислений в оперативной памяти.

В банковской отрасли

Российские законы обязывают банки и другие финансовые структуры собирать и обрабатывать большие объемы данных для уменьшения количества мошеннических действий и оперативного выявления фактов отмывания денежных средств. Чтобы оставаться конкурентоспособными, банки вынуждены делать это максимально быстро, так как любое промедление чревато оттоком клиентом и снижением прибыли. Крупные банки РФ уже внедрили технологию In-Memory, чтобы избежать этой проблемы, и теперь способны обрабатывать до 1 миллиарда транзакций в секунду.

Помимо банковской сферы вычисления в оперативной памяти применяются в высокочастотном и алгоритмическом трейдинге, в системах оценки финансовых и правовых рисков, при заключении срочных контрактов на поставку в будущем определенных процентных ставок, в работе финансовых бирж, в торговле спредами.

Пример. Коммерческий банк планировал заменить действующую систему обработки данных на более новую и совершенную. Она должна быстро находить и предотвращать риски, выполнять аналитические задачи и приумножить количество транзакций в секунду. Внедрение технологии In-Memory решило эти задачи и одновременно увеличило производительность в целом, обеспечило бесперебойную работу в режиме 24/7, а также дало конкурентное преимущество в инвестициях и трейдинге.

В финансовых технологиях

Обработкой и анализом данных часто занимаются аутсорсинговые компании – это позволяет самим банкам сконцентрироваться на приоритетных направлениях. В этом случае In-Memory Сomputing, на которой специализируются финтех-организации, позволяет улучшить производительность сервисов и приложений для банковских учреждений. Вычисления в памяти помогают создавать аналитическое ПО для оценки рисков, эффективные решения для банковского менеджмента и казначейств, гибко управлять корпоративными данными, заниматься страховыми операциями и краудфандингом, обеспечивать прозрачное кредитование физических лиц.

Пример. Финтех-компания предоставляет услуги банкам и другим финансовым учреждениям, которые нуждаются в обработке больших объемов бухгалтерской и трейдинговой информации. Технология In-Memory позволяет обрабатывать запросы в реальном времени, благодаря чему клиенты быстро принимают важные решения в вопросах трейдинга и инвестирования.

В сфере информационных технологий

In-Memory Сomputing широко востребована среди разработчиков ПО и поставщиков программного обеспечения как услуги. Она используется там, где традиционные облачные инструменты и сервисы не справляются с критичным увеличением объемов данных и возникают простои в работе. Многие компании несут убытки, так как требовательные к сервису клиенты уходят к конкурентам, если их провайдер работает даже с незначительными перебоями. Платформа In-Memory увеличивает скорость обработки потоков и упрощает горизонтальное масштабирование систем. Эту технологию уже взяли на вооружение лидеры мирового IT-рынка.

Вычисления в оперативной памяти применяются для ускорения транзакций и поиска в больших массивах данных, в HTAP, аналитике Big Data, при подготовке отчетности в реальном времени, для быстрого управления и улучшения пользовательского опыта.

Пример. Разработчик аналитического ПО для телекоммуникационной компании столкнулся с проблемой анализа нескольких десятков терабайт в реальном времени. Эти объемы данных обеспечивали работу огромной клиентской базы. Платформа с интегрированной технологией In-Memory обеспечила ощутимый прирост в скорости вычислений и повысила удовлетворенность клиентов телекоммуникационной компании.

В транспортной логистике

Программы для автоматизации работы транспортных компаний, логистики грузовых и пассажирских перевозок со временем сталкиваются с проблемой увеличения объемов данных – те становятся сложными и трудоемкими в обработке. Внедрение In-Memory-систем увеличивает производительность и тем самым сокращает время, затрачиваемое на каждую операцию.

Вычисления в оперативной памяти применяются для построения событийно-ориентированной архитектуры, разработки оптимальных маршрутов движения транспорта, прогнозирования объемов и отслеживания статуса отправлений.

Пример. Крупному разработчику систем управления транспортными потоками потребовалось повысить производительность приложений, которые стали медленно реагировать на запросы клиентов. Внедрение технологии In-Memory в несколько раз уменьшило время отклика, в результате чего выросла прибыль, была оптимизирована нагрузка и увеличилась конкурентоспособность компаний, использующих логистические системы.
IT в логистике

Внедрение In-Memory-систем позволяет автоматизировать работу транспортных компаний

В ритейле и электронной коммерции

Компании в ритейле и электронной коммерции ведут ожесточенную борьбу за клиентов. Если их интернет-площадки не обеспечивают ожидаемый уровень сервиса, клиенты уходят к конкурентам, а прибыль снижается. Часто к сбоям и задержкам приводит сложная и медленно работающая инфраструктура, которая не справляется с обработкой больших объемов информации.

Вычисления в оперативной памяти помогают создавать индивидуальные торговые предложения в реальном времени, гибко управлять пользовательскими сессиями, готовить аналитические отчеты, быстро искать необходимые позиции в товарных каталогах.

Пример. Разработчик ПО для совместной работы представителей брендов и крупного ритейла столкнулся с проблемой поиска инструментов для обработки больших объемов данных. Главной задачей компании была организация работы в реальном времени и сложная аналитика многочисленной аудитории (несколько тысяч пользователей). Внедрение In-Memory открыло возможности для кеширования в оперативной памяти и потоковой обработки информации. Благодаря этому ритейлеры улучшили бизнес-показатели, покупатели стали более лояльными, а эксперты получили инструменты для точной настройки таргетированной рекламы.

В обработке данных для IoT (интернет-вещей)

На фоне непрерывного роста устройств, взаимодействующих с интернетом, увеличивается объем обрабатываемой информации. Платформы, на которых работает IoT-техника, должны быть высокопроизводительными, масштабируемыми и поддерживать инструменты гибкой балансировки нагрузки. In-Memory справляется с этой задачей и заменяет собой традиционные БД, размещенные на СХД.

Вычисления в оперативной памяти используются современным оборудованием для ЦОДов и крупных промышленных объектов, системами видеонаблюдения, мобильными гаджетами, техникой медицинского назначения, автомобильными устройствами, всевозможными датчиками.

Пример. Разработчик большой IoT-сети столкнулся с ограничением роста производительности и слабой масштабируемостью оборудования, в то время как стоимость лицензий на специальное ПО продолжала увеличиваться. За счет внедрения In-Memory компания уменьшила операционные расходы и привлекла новых крупных клиентов.

В фармацевтической отрасли

Компании из медицинской отрасли, которые разрабатывают и производят лечебные препараты, регулярно исследуют их эффективность и побочные действия. Технологии In-Memory помогают фармацевтическому бизнесу перебирать большое количество комбинаций и оперативно принимать окончательное решение по препарату.

Вычисления в оперативной памяти используются в исследовательской работе и для моделирования действия потенциальной эффективных лечебных препаратов.

Пример. Зарубежная фармацевтическая компания занимается поиском препаратов для лечения сложных заболеваний. Для этого она проводит постоянный анализ зараженных клеток – несложную, но требующую многократных повторений операцию. Использование In-Memory-системы позволило компании перейти на параллельные вычисления в распределенной системе и в несколько раз сократить трудоемкость аналитических проектов. Также у нее появились инструменты для построения сложных моделей поведения клеток, что в перспективе поможет открыть новые методы лечения.

Перспективы In-Memory

Технология In-Memory шагнула далеко за пределы IT и финансовой сферы, и темпы ее распространения увеличиваются с каждым годом. Очередного прироста решений по вычислениям в оперативной памяти стоит ожидать и в нынешнем 2018 году. Это подтверждают результаты исследований ведущих мировых аналитиков – Gartner, MarketsandMarkets и других.

Стремительный рост рынка In-Memory-продуктов объясняется двумя главными причинами: плавно снижается стоимость ОЗУ и одновременно появляются возможности разворачивания этих решений в облаке. Единственное препятствие на пути к дальнейшему внедрению этой технологии – острый дефицит кадров, но при условии сохранения тенденции эта проблема быстро решится.