Руководство по модернизации сети дата-центра по технологии 25GbE

Сетевая архитектура дата-центров постепенно меняется по мере появления новых технологий и развития требований услуг. Виртуализация продолжает оставаться основной тенденцией в дата-центрах, поскольку она помогает значительно повысить использование физических ресурсов ИТ-оборудования и снизить текущие затраты.

Одним из средств повышения эффективности работы является расширение пропускной способности внутренней сети дата-центров. Здесь хорошую службу может сослужить технология 25 Gigabit Ethernet (25GbE), которая может помочь «расшить» узкие места в сетях дата-центров, недостаточная производительность которых – одно из главных препятствий повышения их мощности.

Проблемы развития ИТ-инфраструктуры дата-центров

В дата-центрах остро стоит задача снижения капитальных и операционных затрат, снижение нагрузки по обслуживанию все более возрастающего количества инфраструктуры, как вычислительной, так и сетевой, а также инженерной. Не секрет, что несмотря на появление многоядерных процессоров и расширение доступного объема оперативной памяти, вычислительные ресурсы в обычном невиртуализированном сервере используются лишь на 5-10 %. Виртуализация позволяет запускать сразу несколько виртуальных машин на одном физическом сервере, тем самым позволяет задействовать до 80-90 % мощности процессора, причем без влияния отдельных виртуальных машин на работу других.

Виртуализованная архитектура сервера

В дата-центрах применяются и другие технологии виртуализации: виртуализация рабочих компьютеров пользователей, виртуализация систем хранения данных и даже виртуализация сетевых ресурсов дата-центра.

Неизбежным следствием виртуализации является возрастание числа сетевых подключений как между виртуальными машинами в пределах одного сервера, так и между разными виртуализованными устройствами.

Кроме того, вносят свою лепту и облачные услуги, вызывающие рост подключений через интернет, прежде всего в модели «гибридного облака», когда часть услуг предоставляется от собственного дата-центра, а часть – с удаленных платформ. Развитие интернета вещей также в значительной мере способствует росту сетевого трафика как внутри, так и между дата-центрами.

Рассмотрим, как перспективная технология 25GbE может помочь снизить остроту всех этих проблем.

Что такое технология 25GbE

Появившаяся в 70-х годах технология локальных вычислительных сетей LAN по технологии Ethernet прошла большой путь развития. Начала развиваться со скорости передачи данных всего в 10 Mbps, затем появились «стомегабитные сети» Fast Ethernet (100 Mbps), а затем и «гигабитный Ethernet» 1000 Mbps, 100 Gbps и далее.

В 2014 году организация 25G Ethernet Consortium в ответ на запросы о повышении скорости локальных сетей дата-центров свыше 10 GBs разработала спецификацию, дающую возможность сетям работать по протоколу Ethernet со скоростью 25 гигабит в секунду (25Gbps). В 2016 году институт IEEE (Institute of Electrical and Electronics Engineers) и ассоциация стандартов IEEE-SA (IEEE Standards Association) опубликовали стандарт IEEE 802.3by-2016 на сети 25GbE.

Стандарт определяет физический тракт 25 Gbs PHY, аналогичный используемому в технологии 10GbE, для работы поверх электрических объединительных панелей (backplanes) в стойках дата-центров, через сдвоенный медный коаксиальный кабель, а также многомодовое оптоволокно. Ранее технологии 40GbE и 100GbE требовали наличия четырех трактов: 4 x 10GbE и 4 x 25GbE соответственно.

Такая конструкция решала проблему того, что многие специализированные микросхемы ASIC имели ограниченное число контактов ввода-вывода I/O, поэтому приходилось увеличивать количество трактов. Возможность работы I/O-портов микросхем ASIC на скоростях от 10 Gb/s до 25 Gb/s решает многие конструктивные проблемы.

Например, в коммутационной ASIC которая может обрабатывать до 128 I/O-трактов со скоростью до 3.2Tbps мы имеем следующее:

Таблица 1. Максимизация пропускной способности ASIC.

Большинство Ethernet-коммутаторов в настоящий момент имеют два типа интерфейса 25GbE в двух форм-факторах:

• (1) QSFP28 с поддержкой четырех интерфейсов 25Gbps;
• (2) SFP28 с поддержкой одного интерфейса 25Gbps.

Два типа интерфейса 25GbE

25GbE привлекателен еще и тем, что он может работать по существующим оптическим кабелям, предназначенным для 10GbE, поэтому отпадает необходимость модернизации кабельной инфраструктуры дата-центра.

Переход на инфраструктуру 25GbE в дата-центре

Как беспроблемно перейти на инфраструктуру 25GbE в дата-центре?

Необходимо вначале тщательно изучить имеющуюся инфраструктуру дата-центра, затем посмотреть, какие коммутаторы 25GbE имеются на рынке в данный момент, и только затем приступать к разработке плана миграции.

Если в процессе изучения инфраструктуры дата-центра будет обнаружено много серверов и накопителей со встроенным интерфейсом ввода-вывода 25G, то переходить на 25GbE как раз самое время, и это можно сделать очень просто, установив соответствующие коммутаторы.

Однако далее мы рассмотрим случай, когда в работе находятся серверы и СХД с инфраструктурой сети 10GbE с ToR-коммутаторами также 10GbE.

Инвентаризация инфраструктуры

Инвентаризация проводится по четырем категориям оборудования:

• (1) платформы,
• (2) виртуализация,
• (3) облачные приложения,
• (4) управление.

Платформы

Хотя некоторые производители уже поставляют серверы и платформы СХД с интерфейсами iSCSI, которые изначально поддерживают 25GbE, нет ничего необычного в том, что до сих пор используются вполне современные серверы с многоядерными процессорами и накопителями all-flash, где преобладают интерфейсы 10GbE.

Прежде всего нужно составить список имеющихся платформ и их интерфейсов как показано в таблице 2. Это поможет лучше понять текущую ситуацию и найти «узкие места». В дальнейшем обсуждении будем считать, что имеющиеся порты СХД – только iSCSI.

Таблица 2. Таблица инвентаризации оборудования

Виртуализация

Затем нужно составить список видов виртуализации, которые имеют место в дата-центре. Это поможет лучше понять, насколько виртуальные сетевые подключения повлияют на существующую сетевую инфраструктуру. При этом может получиться подобная таблица:

Таблица 3. Таблица для инвентаризации по виртуализации.

Облачные приложения

Многие организации не хотят заморачиваться развитием и содержанием собственной ИТ-инфраструктуры, предпочитая получать все из облака. Либо это может быть частичный перевод услуг в облако: многие ИТ-руководители предпочитают хранить данные предприятия в облаке, если это не входит в противоречие с требованиями информационной безопасности. Либо использовать какие-то облачные приложения для работы предприятия, а данные хранить в собственной ИТ-системе.

Поэтому при инвентаризации следует учесть типы облачных приложений, используемые в организации, которые при переходе на 25GbE могут повлиять на работу дата-центра. Обычно облачные приложения можно подразделить на предоставляющие услуги второстепенным департаментам, например, отдел кадров или бухгалтерия, и предоставляющие услуги для подразделений основного бизнеса.

Таблица 4. Таблица инвентаризации облачных сервисов и приложений

Управление

Здесь нужно учесть типы устройств и средств управления сетью, которые используются в дата-центре организации. Вместо серверов и СХД здесь может использоваться множество разнообразных встроенных устройств. Используется ли одна или несколько версий операционных систем? Возможно ли управление всеми сетевыми устройствами от одной панели управления? Какой тип корпоративной системы планирования ресурсов используется для мониторинга ИТ-устройств, включая серверы, СХД и сетевые платформы?

Это поможет лучше понять, сколько интерфейсов ввода-вывода требует система управления дата-центром предприятия, какая полоса пропускания требуется под нужды управления.

Таблица 5. Инвентаризация средств управления.

Оценка и выбор коммутаторов 25GbE

Следующим шагом можно посмотреть на спектр доступных коммутаторов 25GbE, сравнить их характеристики. Их на рынке уже достаточно много.

Коммутаторы ToR (Top-of-Rack)

В дата-центрах обычно используются стойки (rack) для серверов. Для них можно подобрать ToR-коммутаторы 25GbE. Эти высокопроизводительные коммутаторы внутри стойки (статива) могут содержать интерфейс 100GbE для подключения к сети дата-центров (data center fabric). При выборе ToR-коммутатора нужно убедиться в том, что его плотность портов, величина сходимости полосы пропускания (oversubscription, т. е. когда требования нижележащих устройств, например, коммутаторов доступа, соответствуют тому, что может обеспечить ToR-коммутатор), мощность процессора и операционной системы обеспечивают максимальную производительность сети в инфраструктуре дата-центра.

Таблица 6. Характеристики ToR-коммутаторов, которые следует учесть при выборе.

Управление

При выборе коммутаторов 25GbE важно тщательно оценить тип доступных средств управления. С целью упрощения лучше выбирать систему управления с операционной системой, уже используемой в дата-центре. Другим желательным качеством является использование единой встроенной утилиты сетевого управления для всех сетевых устройств и единой консоли для контроля всех платформ предприятия.

Начало миграции

После анализа данных, инвентаризации дата-центра и оценки коммутаторов 25GbE, которые подходят для нужд предприятия, можно приступать к разработке плана миграции.

Определение плана

Основной проблемой любого процесса миграции в дата-центре является гарантия минимального влияния миграции на текущий бизнес предприятия. Чтобы обеспечить плавность процесса миграции, нужно разработать четкий план, в котором будут указаны основные цели миграции, распределены ответственные лица с указанием ответственности и обязанностей, а также приведена сравнительная оценка и результаты выбора коммутаторов 25GbE. Важно определить самые важные платформы, где нужно провести миграцию, и разработать календарный план этого процесса.

Новые коммутаторы 25GbE должны обеспечивать обратную совместимость с существующими коммутаторами, СХД и серверами с портами 10GbE. Многие из коммутаторов 10GbE используют коннекторы SPF+ (Small Form-Factor Pluggable), как и коммутаторы 25GbE. Их использование снижает затраты при миграции.

Что касается управления, нелишним будет рассмотреть вопрос об интеграции средств управления коммутаторов 25GbE с существующими или даже полной замены существующих новыми. Обеспечивают ли, например, существующие средства управления интерфейсы API для сред других вендоров? Если нет, то предоставляют ли новые средства управления такие API, поскольку это дает возможность упростить операции управления. Иногда новые коммутаторы 25GbE имеют ОС на базе Linux, что дает возможность использовать общие средства управления не только для сетевых устройств, но и для серверов.

Хорошая идея – выбрать небольшой набор платформ, некритичных для основного бизнеса предприятия, и в качестве пилотного проекта перевести их на коммутаторы 25GbE. Здесь и попрактиковаться «на кошках» можно, и получить ценные данные о возможных проблемах.

Если опыт такого «пилота» будет положительным, то миграцию можно продолжать дальше. Важно соблюсти постепенность миграционного процесса, чтобы не сильно задевать текущие бизнес-процессы.

Хорошей бизнес-практикой являются также «разборы полетов», в особенности после каждого этапа миграции, где можно всесторонне проанализировать результаты, успехи и упущения каждого из них, и обсудить, как на следующем этапе избежать тех просчетов, которые были заметны на предыдущем. Важно, чтобы на таких встречах присутствовали по возможности все участники процесса, а также специалисты по информационной безопасности, чтобы оценка получилась максимально всесторонней.

Коммутаторы 25GbE от Dell EMC: краткий обзор

Коммутаторы Dell Technologies имеют встроенные порты 25GbE для серверов Dell 14G, интерфейсы iSCSI и СХД SAN. Они хорошо подходят для целей виртуализации, облачных инфраструктур и новых функций кэширования в серверах. Миграция с 10GbE на 25GbE с ними проводится довольно легко.

Переход на однотрактовый канал PHY 25GbE дает возможность значительно снизить капитальные затраты. Число коммутаторов и объем кабельной инфраструктуры также удается значительно сократить. Кроме того, технология 25GbE даст возможность масштабирования полосы пропускания сети дата-центра для перехода на серверы следующих поколений.

Коммутаторы серии PowerSwitch компании Dell EMC с поддержкой ONIE используют сетевые ОС «OS9» или «OS10» с поддержкой интерфейса командной строки. В них можно использовать сетевой менеджер OMNM (OpenManage Network Manager) от Dell EMC, имеющий единую панель OME (OpenManage Essentials) для инвентаризации и управления всего спектра оборудования Dell EMC: серверов, СХД и сетевых устройств.

Таблица 7. Коммутаторы Dell EMC PowerSwitch 25GbE.

Заключение

Инфраструктурный ландшафт дата-центров будет меняться под постоянным воздействием новых технологий и требований рынка. Виртуализация серверной инфраструктуры дата-центров набирает обороты и может дать значительные экономические выгоды. Ethernet становится стандартной магистралью обмена данными как внутри, так и вне инфраструктуры дата-центров, а также между серверами и СХД.

Прогресс в технологиях 25GbE, который может дать оптимальное соотношение «цена-производительность» и снизить текущие затраты, привлекателен для многих организаций. Технологии 25GbE позволяют осуществить плавную и недорогую миграцию от существующих инфраструктур 10GbE.

На рисунке показана типовая инфраструктура дата-центра с архитектурой Leaf-Spine 100GbE, стоечными серверами, СХД на 10/25G и коммутаторами 25GbE.

Типовая сетевая инфраструктура дата-центра с использованием технологии 25GbE