Dell продолжает развивать программное обеспечение контроллеров в системах хранения Dell PowerVault ME5 (ME5), улучшая технологию защиты данных ADAPT по сравнению с ее первоначальной реализацией в серии ME4.
ADAPT (Autonomic Distributed Allocation Protection Technology) — это реализация технологии стирающего кодирования от Dell, которая является альтернативой традиционным типам RAID (RAID 0, 1, 5, 6 и др.). В этой схеме защиты контрольная информация (parity) распределяется по большему количеству HDD или SSD, что обеспечивает лучшую защиту данных, масштабируемость и ряд других преимуществ.
В серии ME5 используется более широкая полоса данных (wider stripe), что снижает издержки на хранение контрольной информации.
Данный краткий обзор описывает работу этой технологии, ее ключевые возможности и преимущества, а также основные отличия ME5 от ME4.
Что решает ПО ADAPT
Одной из главных проблем традиционных RAID-систем сегодня является рост времени восстановления массивов (rebuild) по мере увеличения емкости дисков. Чем больше этот процесс длится, тем выше риск отказа дополнительных дисков во время восстановления, что может привести к потере целостности данных. Поэтому ключевой задачей остаётся минимизация времени rebuild.
В классической схеме в системе держат «горячие» запасные диски (hot spare), которые не участвуют в работе до момента отказа одного из дисков массива. Такие диски не приносят пользы в плане производительности, но увеличивают стоимость владения.
ADAPT решает эту проблему за счет резервирования не отдельных дисков, а резервного пространства внутри массива. При сбое одного или нескольких дисков эта зарезервированная область используется как виртуальный запасной диск. По умолчанию в ADAPT объем резерва равен удвоенному объему самого емкого диска в группе.
Технология разрабатывалась с учётом работы в крупных шасси, например, ME5084 в 5U-корпусе на 84 диска. В отличие от традиционных ограничений (не более 16 дисков в массиве), ADAPT может использовать более широкие группы, но при этом работает с оптимальной конфигурацией 8+2 (8 блоков данных и 2 блока контрольной информации). Это позволяет избежать падения производительности, характерного для слишком широких полос, где для записи нужно собрать большие объемы данных.
Конфигурация 8+2 также хорошо подходит для виртуальных пулов, обеспечивая более высокую скорость последовательной записи по сравнению с RAID 6 при том же числе дисков. В ME5 появилась и дополнительная конфигурация 16+2, которая еще больше снижает издержки на хранение контрольных данных (parity overhead).
Ещё одно преимущество ADAPT — более гибкое использование доступного объёма. В отличие от RAID, где используется минимальный общий объём всех дисков в группе, ADAPT способен задействовать пространство на каждом диске максимально, а расширение массива можно проводить, добавляя диски разных ёмкостей в большем числе комбинаций.
Что такое ADAPT
ADAPT — это схема защиты данных, которая обеспечивает максимальную гибкость, встроенное резервное пространство, очень быстрое восстановление (rebuild), поддержку крупных пулов хранения и упрощенное масштабирование.
Технология ADAPT является альтернативой традиционным типам RAID (R0, R1, R5, R6), применяемым в контроллерах ME5.
Все диски в одной ADAPT-группе должны относиться к одному типу и находиться в одном текущем уровне (tier):
-
Performance — SSD
-
Standard — HDD 10K/15K
-
Archive — HDD 7.2K
При этом ёмкость дисков в группе может быть разной.
В интерфейсах управления ADAPT отображается как отдельный уровень RAID.
Рис. 1 Добавление группы дисков в веб-интерфейсе управления — ADAPT доступен как вариант защиты данных наряду с RAID 1, RAID 5, RAID 6 и RAID 10.
Физическая организация массива ADAPT
Группа дисков ADAPT использует всё доступное пространство для поддержания отказоустойчивости, а данные равномерно распределяются по всем дискам. Когда добавляются новые данные, подключаются новые диски или система обнаруживает, что данные распределены по дискам неравномерно, выполняется автоматическое перемещение данных для восстановления баланса в группе дисков.
В ME5 полоса (stripe) состоит из 10 элементов группы дисков — 8 блоков данных и 2 блока четности. Если в группе более 18 дисков, ME5 может поддерживать полосу из 18 элементов — 16 блоков данных и 2 блока четности.
Chunk — это наименьшая единица непрерывного пространства на каждом диске, из которых формируется полоса. Chunk может содержать либо данные, либо информацию четности, которая защищает другие блоки данных в полосе. Для защиты используется тот же метод, что и в RAID 6 — двойная четность P и Q с кодированием Рида–Соломона.
Большая доля блоков данных в полосе снижает долю избыточности на четность. Размер одного chunk — 512 КиБ, поэтому ширина полосы составляет 4 МиБ.
Полосы агрегируются линейно в зоне полосы (stripe zone). Каждая зона полосы содержит 2048 последовательных полос RAID 6, что соответствует 8 ГБ пользовательских данных, хранящихся в зоне.
На рисунке 3 показано, как это реализовано на практике.
Рис. 2 Зоны полос распределены по группе дисков
В традиционном RAID 6 для обеспечения отказоустойчивости выделяются один или несколько резервных дисков (hot spare), которые остаются неактивными до момента выхода из строя рабочего диска. Такой подход означает, что резерв не участвует в работе массива и не влияет на производительность до возникновения сбоя.
В технологии ADAPT используется иной принцип. Вместо выделения целых резервных дисков система резервирует объём пространства, эквивалентный емкости двух накопителей, и распределяет его равномерно по всей группе дисков. Таким образом, все накопители постоянно участвуют в работе, а зарезервованная область готова к немедленному использованию для восстановления данных при отказе одного или нескольких дисков.
По умолчанию объём резерва соответствует двум накопителям, что определяет минимальный размер группы ADAPT — 12 дисков. В этой конфигурации 80 % ёмкости десяти рабочих накопителей используется для хранения пользовательских данных, а оставшиеся 20 % — для избыточного кодирования по схеме Рида–Соломона (двойная паритетная защита).
Резервное пространство организовано блоками по 1 МиБ и равномерно распределяется по всем дискам и их адресному пространству (LBA). Такой подход снижает нагрузку на отдельные накопители и значительно ускоряет процесс восстановления после сбоя, обеспечивая стабильную производительность массива даже в период ребилда.
Рис. 3 Распределение резервной емкости внутри группы дисков
В конфигурациях ADAPT, где используются диски разного объема, зоны полос (stripe zones) распределяются по физическому диапазону LBA всех накопителей. Когда у одного или нескольких дисков достигается предел их емкости, они исключаются из дальнейшего распределения зон.
Таким образом, система задействует всё доступное пространство накопителей различной емкости в массиве, оптимизируя использование ресурсов и избегая потерь полезного объема.
На схеме (рис. 4) показан принцип этого распределения.
Рис. 4 Распределение зон полос при разной емкости дисков
Группу дисков ADAPT можно масштабировать двумя способами — для восстановления целевого объема зарезервированной емкости или для увеличения доступного пользовательского объема.
Например, в массив из 14 дисков можно добавить еще 6 накопителей, получив 20-дисковую группу ADAPT. После добавления дисков контроллер запускает операцию балансировки: существующие зоны полос (stripe zones), которые ранее распределялись только между первоначальными участниками массива, перераспределяются между всеми дисками, включая новые.
Этот процесс занимает определенное время и выполняется в фоновом режиме, не прерывая работу системы. Такой подход позволяет гибко наращивать емкость массива и поддерживать равномерную загрузку всех накопителей.
Рис. 5 Переразметка (Restriping) при расширении дисковой группы
В дисковых группах ADAPT резервирование пространства под восстановление происходит автоматически, поскольку выделенная под «резерв» емкость равномерно распределяется по всем накопителям в системе.
В случае сбоя одного из дисков данные восстанавливаются на все оставшиеся накопители группы, что обеспечивает быстрое завершение процесса и минимальное влияние на текущие операции ввода-вывода.
Резервная емкость выделяется из доступного пространства массива, что позволяет выполнять восстановление без подключения отдельных «горячих» дисков. Такой подход значительно ускоряет rebuild, поскольку в процессе задействованы все диски группы, а не только один выделенный накопитель.
Почему ADAPT важен
Проблема: увеличение емкости современных накопителей в системах RAID с высокой доступностью (High Availability) приводит к новым вызовам в управлении сбоями. Несмотря на высокую надежность дисков, RAID-массивы изначально проектируются для защиты от их отказов. Однако чем больше объем накопителя, тем дольше длится процесс восстановления (rebuild) при выходе его из строя.
Решение: технология ADAPT в системах хранения Dell PowerVault ME5 использует преимущества увеличенной ёмкости дисков, сочетая это с улучшенными алгоритмами распределения данных. Такой подход позволяет:
-
сократить время восстановления после отказа;
-
повысить общую надежность системы;
-
сохранить или даже увеличить производительность в процессе rebuild.
В отличие от традиционного RAID 6, где восстановление происходит медленнее и с большей нагрузкой на отдельные диски, ADAPT задействует все накопители группы для параллельного восстановления.
В таблице (ниже) приводится сравнение времени rebuild и влияния на производительность между группой дисков RAID 6 (8+2) и массивом ADAPT при 24, 48 и 128 накопителях (расчет сделан для дисков объемом 10 ТБ и скоростью восстановления 50 МБ/с на диск).
|
Метрика
|
Традиционный RAID 8+2
|
ADAPT с 24 дисками
|
ADAPT с 48 дисками
|
ADAPT со 128 дисками
|
|
Время восстановления 1 диска
|
55,5 часа
|
24 часа
|
11 часов
|
4 часа
|
|
Допуск отказа: после сбоя второго диска
|
55,5 часа
|
9 часов
|
2 часа
|
16 минут
|
|
Влияние на производительность, при сбое 1 диска
|
−41%
|
−23%
|
−13%
|
−6%
|
|
Влияние на производительность, при сбое 2 дисков
|
−62%
|
−47%
|
−48%
|
−49%
|
Таблица 1. Влияние на производительность и время восстановления для группы дисков RAID 6 (8+2) по сравнению с группами дисков ADAPT.
Когда в массиве выходит из строя более одного диска, часть полос (stripes) теряет от одного до двух фрагментов данных (chunks) — в зависимости от того, как эти фрагменты расположены в массиве. Полосы, потерявшие два фрагмента, находятся в более уязвимом положении, чем те, у которых потерян только один, поскольку любое дальнейшее повреждение данных в такой полосе уже нельзя будет восстановить или защитить.
Поэтому в процессе восстановления приоритет отдается полосам с двумя утерянными фрагментами. Это приводит к тому, что процесс восстановления имеет две ключевые цели:
- Восстановить резервирование — вернуть возможность защитить данные.
- Полностью завершить восстановление — вернуть массив в оптимальное состояние.
На следующей схеме показан принцип приоритезации восстановления при отказе двух дисков в массиве.
Рис. 6 Приоритет восстановления полос
ADAPT выполняет процесс восстановления только для тех полос (stripes), которые затронуты потерей дисков. Это означает, что требуется восстановить меньший объем данных. Более того, по мере увеличения ширины массива доля данных, приходящаяся на каждый диск, уменьшается, и время восстановления сокращается еще больше.
Другой важный показатель — это влияние потери диска на производительность. В традиционных RAID при отказе диска для восстановления утраченных данных приходится использовать информацию о паритетах, что повышает нагрузку на систему. В ADAPT, благодаря большей ширине массива, влияние отказа одного диска значительно ниже. Дополнительно, за счет зарезервированной емкости, не все полосы оказываются затронуты. Таким образом, по сравнению с традиционными массивами, ADAPT при выходе из строя одного или двух дисков испытывает меньшие потери в производительности.
Сценарии применения ADAPT: практические примеры и ожидания
ADAPT — это дополнительная опция, доступная на этапе создания дисковой группы. Такая группа может работать в двух режимах: Linear или Virtual.
-
Linear — пространство выделяется сразу на всех дисках массива.
-
Virtual — пространство выделяется по мере необходимости, постранично (по 4 МиБ) при создании новых данных в том или ином томе.
Понятие «страницы» является базовым для целого ряда продвинутых функций серии ME5, включая:
-
авто-тиринг,
-
создание снимков (snapshot),
-
удаленную репликацию.
Для ADAPT одна страница соответствует одной полосе (stripe).
Таким образом, ADAPT — это технология, дополняющая современные механизмы гибкого использования хранилища. Например, при конфигурировании нескольких дисковых групп, основная группа с ADAPT может быть отнесена к стандартному или архивному уровню, а SSD-диски выделены в отдельную группу с выбором уровня производительности.
Главное отличие от традиционных RAID — это возможная ширина массива.
-
В RAID 5/6 максимальная ширина — до 16 дисков.
-
В ADAPT минимальная ширина — 12, максимальная — 128 дисков.
Это позволяет строить гораздо более емкие группы, чем в RAID 6, что особенно важно при работе с системами наподобие ME5084.
Пример:
-
RAID 6: 5 групп по 16 дисков + 4 диска в запасе.
-
ADAPT: 2 группы по 48 дисков или 4 группы по 24 диска — оптимальный вариант.
Примечание: массив из 84 дисков (1×84) технически возможен, но не оптимален, так как каждая группа принадлежит конкретному контроллеру, и в такой конфигурации производительность двух контроллеров не суммируется.
В следующей таблице приведены ключевые характеристики массивов, построенных на базе 5U-корпуса.
|
Уровень RAID
|
Резервные диски
|
Полезная ёмкость
|
Баланс
|
Время восстановления
|
Скорость записи
|
|
5× RAID 6 (16 групп дисков)
|
4
|
700 ТБ
|
3:2
|
3333 мин
|
3200 МБ/с
|
|
2× ADAPT (48 групп дисков)
|
4
|
735 ТБ
|
1:1
|
125 мин
|
9600 МБ/с
|
|
4× ADAPT (24 группы дисков)
|
4
|
703 ТБ
|
2:2
|
500 мин
|
4800 МБ/с
|
Таблица 2. Ключевые характеристики массивов, построенных на базе 5U-корпуса
Как видно из приведенных данных, конфигурация 4×ADAPT 24D обеспечивает тот же полезный объем, что и решение на RAID 6, но при этом имеет в два раза больше резервной емкости. Это повышает доступность и надёжность системы в таком варианте конфигурации.
Так как контроллер ME5 управляет массивом на уровне группы дисков, рекомендуется распределять одинаковое количество групп дисков между контроллерами, чтобы сбалансировать нагрузку. При распределении на пять групп может возникнуть разница в производительности на уровне отдельных групп, так как каждый контроллер ограничивает производительность в зависимости от количества закрепленных за ним групп. Дисбаланс не является критической проблемой, но усложняет равномерное распределение нагрузки и достижение оптимальной производительности каждого контроллера.
Широкие группы дисков обеспечивают более высокую пропускную способность на одну группу. Однако в случае с контроллером ME5 и современными накопителями при последовательных операциях чтения/записи предел производительности пары контроллеров достигается уже на уровне одной группы. Поэтому добавление дополнительных групп или увеличение их ширины может не дать прироста при последовательных нагрузках.
При случайных операциях (Random IO) широкие группы дают больший прирост производительности при чтении, так как запросы распределяются по большему числу шпинделей. Поскольку производительность ограничивается временем поиска головки, увеличение числа дисков повышает скорость работы. Для записи ситуация аналогична, но, как и в RAID 6, есть значительные накладные расходы на операции Read-Modify-Write.
Краткое резюме: особенности и преимущества ADAPT в Dell PowerVault ME5
|
Особенность
|
Преимущество
|
|
Существенное сокращение времени перестроения за счет параллельной архитектуры
|
Защита данных, особенно при использовании накопителей большого объема
|
|
Возможность самовосстановления
|
Автоматически распределяет резервную емкость для восстановления после сбоя устройств. Не требует отдельных дисков-«спейров»
|
|
Поддержка дисков разной емкости
|
Максимальное использование полезного объема, снижение стоимости за терабайт
|
|
Отсутствие ограничений по геометрии корпуса
|
Упрощенная конфигурация для пользователя
|
|
Отсутствие потери данных при отказе любых двух устройств
|
Повышенная отказоустойчивость
|
|
Поддержка пулов от 12 до 128 устройств и их онлайн-расширение
|
Отличная масштабируемость (и рост производительности)
|
|
Высокая производительность при последовательных операциях ввода-вывода
|
Применимо для задач потоковой передачи данных с HDD
|
Заключение
По мере того как производители продолжают выводить на рынок дисковые накопители все большей плотности, крайне важно разрабатывать системы, которые способны эффективно использовать такие накопители, обеспечивая при этом повышенную надежность и производительность.
ADAPT — это новейшее программное улучшение системы от Dell Technologies, доступное по умолчанию в каждой системе хранения PowerVault ME5 наряду с традиционными схемами защиты данных RAID.
Сергей