Хранение медиаконтента на лентах: технологический обзор

Современный рынок систем хранения предлагает заказчику широкий спектр платформ для резервного копирования. Дисковые BackUp-системы (D2D-хранилища) получают все более широкое распространение, однако последнее время все больше внимания стали обращать также и на старые добрые ленточные библиотеки: во-первых, значительно усовершенствовались их характеристики, во-вторых, объем данных, подлежащих хранению, показал взрывной рост.

Это вызвано прежде всего повышенными требованиями к разрешению видео: 4K, 8K, 3D; развитием технологий анализа больших данных, которые требуют хранить большие объемы неструктурированных данных, в т. ч. медиаконтента: видео, аудио, изображений, данных с датчиков интернета вещей и пр. Такие данные обычно плохо поддаются сжатию и дедупликации, поэтому использовать для их хранения дисковые накопители очень накладно и технически неудобно. Удельная стоимость хранения данных на диске в 5 раз больше, чем на ленте, и операционные расходы у дисков также выше.

Соотношение объемов видеоданных в различном разрешении

Переход от формата Full HD (1920 x 1080 пикселов на дюйм) к набирающему популярность формату 4К «утяжеляет» видео в четыре раза. Между тем практически все современные видеокамеры (типа GoPro и др.) поддерживают формат 4К. Большинство новых видеороликов выкладывается на порталы видеохостинга в формате 4К. На подходе – формат 8К, который потребует еще большей полосы пропускания и еще большего объема хранения видеоконтента.

По данным Cisco, рост объема IP-трафика видео в формате UHD (4K) в интернете растет со скоростью 22 % в год.

Объем не только видео, но и других производимых в мире видов данных быстро растет. За 15 лет (с 2015 по 2020 годы) объем создаваемых в год данных вырос почти в 300 раз.

Рост объема производимых данных в год в мире (источник: tape-storage.net)

По оценкам аналитиков, почти 70 % хранимых данных относятся к категории «холодных» (cold) данных, которые долго остаются невостребованными, но подлежат длительному и архивному хранению.

Сравнительные объемы горячих, теплых и холодных данных в СХД различных типов (источник: tape-storage.net)

С ростом объема производимых данных доля холодных данных будет расти опережающими темпами. Для их хранения наилучшим образом подходят ленточные накопители.

Экономика

Часто можно слышать мнение, что накладных расходов при хранении информации на ленте больше – прежде всего за счет того, что приводы для лент обычно дороже, чем дисковые накопители.

Компания Fujitsu провела сравнительное исследование полной стоимости владения ТСО (Total Cost of Ownership) для лент и дисков для сценария типовой медийной компании при хранении объема данных, который растет на 56 терабайт в год (280 терабайт за пять лет). Исследование показало, что, если в первый год затраты ТСО для лент и дисков сравнимы между собой, то к концу пятого года общая стоимость хранения на лентах составит не более трети от стоимости хранения на дисках.

Сравнительная стоимость хранения на лентах и дисков за 5 лет (источник: Fujitsu)

Примерно такой объем данных может производить и хранить небольшая видеостудия при компьютерной обработке видеофайлов и производстве компьютерной графики.

Надежность

Часто можно услышать о якобы низкой надежности ленточных накопителей, о том, что ленты отказывают чаще, чем диски, и частота ошибок считывания-записи данных (bit error rate) у них выше. Последние исследования компании Fujitsu показывают обратные результаты.

Надежность хранения данных на ленте в сравнении с дисками (источник: Fujitsu)

Из таблицы можно видеть, что показатели частоты появления ошибок (bit error rate) и удельного объема хранения на один отказ для лент намного лучше, чем для дисков.

Скорость

Распространено также мнение, что процесс записи-считывания у лент происходит медленнее, чем у дисков. Это справедливо только для записи и считывания относительно небольших объемов данных до 30 Гбайт. Для объемов данных более 30 Гбайт время передачи на диск (магнитный или оптический) и на ленту различается несущественно.

Соотношение времени передачи данных при использовании различных носителей: жестких дисков, оптических дисков и лент (источник: Fujitsu)

Именно с такими объемами данных обычно работают производители и потребители мультимедийного контента (видео, AR/VR, компьютерная анимация, компьютерное зрение в видеоаналитике, архив систем видеонаблюдения и пр.).

Что касается средней мгновенной скорости записи и считывания, то, как показали исследования Fujitsu, преимущество опять за лентами, которые по скорости обмена данными не проигрывают магнитным и оптическим дискам, а то и превосходят их.

Сравнение скорости записи и считывания для магнитных и оптических дисков в сравнении с магнитными лентами (источник: Fujitsu)

Энергопотребление

Что касается энергопотребления (актуально для медийных компаний), то и здесь победа за лентами. Исследования Fujitsu показывают, что при использовании ленточных СХД потребление электроэнергии снижается почти в 10 раз, – прежде всего за счет того, что кассеты с лентой при хранении в архиве не потребляют энергии вовсе.

Сравнение потребления электроэнергии между лентами и дисками (источник: Fujitsu)

Операционная система

Часто также выдвигается тезис о том, что ленты не обеспечивают достаточной совместимости операционных систем из-за того, что ленточные СХД стандарта LTO (Linear Tape Open) работают в особой файловой системе – LTFS (Linear Tape File System). Но эта файловая система способна обеспечивать полную совместимость с основными операционными системами: Windows, iOS, Linux, AIX, Solaris.

Совместимость LTFS c операционными системами

Ленточный накопитель может быть виден в операционной системе как диск. Он поддерживает операции перетаскивания файлов (drag and drop).

Хранение видеоконтента на лентах

В компаниях IBM, FujiFilm и Sony Storage Media Solutions ведутся разработки по увеличению плотности записи на ленту до 20 раз. В результате была достигнута плотность записи на ленте до 200 Гбайт на квадратный дюйм. Длина ленты в картридже может быть более 1000 метров, поэтому емкость одного картриджа может составить до 300–500 Тбайт.

Это позволяет компаниям, производящим видеоконтент в разрешении 4К/8К, записывать полнометражный фильм в сверхвысоком разрешении на один картридж LTO-8 вместо 10–20 предыдущих поколения.