Проблемы при выборе решения для виртуализации рабочих мест (Virtual Desktop) и удаленной работы
Сейчас актуальными становятся решения для удаленной работы сотрудников предприятий. Кроме того, решения виртуализации для частного облака предприятий – это хорошее средство сокращения затрат:
- капитальных – за счет более рационального использования ресурсов вычислительной инфраструктуры;
- операционных – за счет сокращения квалифицированного технического персонала и повышения удельного числа обслуживаемых машин на специалиста техподдержки.
Эти решения использовались и ранее, однако их внедрение было сопряжено с немалыми проблемами, прежде всего касающимися воспринимаемого качества услуг для конечного пользователя (EUE, End User Experience). Это качество во многом зависит от правильного выбора параметров оборудования системы (сайзинг), его конфигурации и режимов работы.
Кроме того, раньше определенные сложности вызывала необходимость наличия достаточно высокой квалификации узких технических специалистов разных профилей (СХД, серверы сети) в области решений виртуализации. С развитием решений автоматизации операций и решений гиперконвергентной инфраструктуры для виртуализации для обслуживания решений виртуализации рабочих мест и удаленной работы сотрудников необходимость услуг таких «крутых» специалистов уже не столь остра.
Однако проблемы конфигурации решений и правильного выбора режимов работы остаются актуальными. Определенные затруднения у заказчиков вызывает выбор лучших параметров и комплектации оборудования (сайзинг) для решений виртуализации и удаленной работы.
Для облегчения этой задачи, компания Dell EMC провела тестирование решений с утвержденными (validated) конфигурациями оборудования, в ходе которых были найдены оптимальные решения для удаленной работы сотрудников различный категорий:
- рядовой сотрудник (Task Worker);
- квалифицированный специалист (Knowledge Worker);
- высокопроизводительный сотрудник (Power Worker);
- сотрудник, работающий с высоконагруженными графическими и мультимедийными приложениями.
Ниже приводим результаты тестирования рекомендованных конфигураций и параметров решений на базе серверов Dell EMC с программной платформой Citrix Virtual Apps and Desktops с гипервизорами VMware vSphere ESXi 6.5, Microsoft Hyper-V.
Аппаратная платформа тестирования
Для тестирования решения были использованы конфигурации B5 and C7 решения на базе серверов Dell EMC 740xd-24.

Аппаратная платформа тестирования Dell EMC 740xd-24 (источник: Dell EMC)
Конфигурации аппаратной платформы для тестирования
Таблица 1. Конфигурации решений для тестирования Dell EMC XC740xd-24.
Конфигурация | Платформа | Процессор | Память | RAID-контроллер | Диски | Сеть |
В5 | 740xd-24 | 5120 Gold (14-ядер 2,2 ГГЦ) | 384 ГБ, 2400 MT/с | HBA 330 | 2 x 240 ГБ M.2 2 x 960 ГБ SSD 4 x 1.8 TБ HDD | 2 x Mellanox Connect X-4 LX 25 GbE SFP Rack NDC |
С7 | 740xd-24 | 6138 Gold (20-ядер 2,0 ГГц) | 768 ГБ, 2666 MT/с | HBA 330 | x 240 ГБ M.2 l 2 x 960 ГБ SSD l 6 x 1.8 ТБ HDD | Intel X710 rNDC |
Графическая карта:
- NVIDIA Pascal P40 PCI Express Gen3, формат 10,5 дюйма, с процессором NVIDIA Pascal GPU и памятью 24 ГБ GDDR5.
Сетевое оборудование:
- ToR-коммутатор S4048 (10 GbE), с портами 48 x 10 GbE SFP+ и 6 x 40 GbE, с коммутационной матрицей 720 Гбит/с.
- ToR-коммутатор Dell S5248 (25 GbE) с портами 48 x 25 GbE SFP28, 4 x 100 GbE QFSP28, 2 x 100 GbE QFSP28-DD и коммутационной матрицей до 2,0 Тбит/с.
Dell EMC утвердила для тестирования решение со следующими программными компонентами:
Таблица 2. Программные компоненты для тестирования.
Компонент |
Описание |
Гипервизор |
VMware vSphere ESXi 6.5, Microsoft Hyper-V Server 2012 R2 и 2016 |
Брокер соединений |
Citrix Virtual Apps and Desktops версия 7.15 LTSR |
База данных брокера |
Microsoft SQL Server 2016 |
Операционная система управления виртуальными машинами |
Microsoft Windows Server 2016 (DCC, StoreFront и база данных) |
Операционная система для рабочих столов |
Microsoft Windows 10 Enterprise |
Офисный пакет |
Microsoft Office Professional 2016 |
Платформа тестирования Login VSI |
Version 4.1 |
Платформа гипервизора |
Nutanix AOS версия 5.5.3.1 |
ПО NVIDIA GRID (для тестирования графики) |
6.2 |
Система виртуализации для тестирования
Dell EMC утвердила для тестирования следующее решение системы виртуализации со следующими версиями оборудования.
Таблица 3. Параметры системы виртуализации для тестирования.
Конфигурация сервера |
Версия гипервизора |
Модель гипервизора (build) |
Патчи гипервизора |
BIOS |
Версия AOS |
Версия Windows10 |
Патчи Windows10 |
Версия vGPU NVIDA |
B5 + 3 x P40 |
ESXi 6.5 U2 |
8294253 |
-- |
1.3.7 |
5.5.3.1 |
1709 |
KB5969303 |
6.2 |
C7 |
ESXi 6.5 U1 |
5969303 |
-- |
1.0.7 |
5.1.3 |
1703 |
-- |
-- |
C7 |
Hyper-V 2012 R2 |
6.3 build 9600 |
-- |
1.0.7 |
5.1.3 |
1507 LTSB |
-- |
-- |
C7 |
Hyper-V 2016 |
1607 build 14393 |
KB4056890 |
1.3.7 |
5.5.2 |
1703 |
KB4056890 |
-- |
C7 + 3 x M60 |
ESXi 6.5 U1 |
5969303 |
-- |
1.0.7 |
5.1.3 |
1703 |
-- |
5.0 |
C7 + 3 x P40 |
ESXi 6.5 U2 |
8294253 |
-- |
1.3.7 |
5.5.3.1 |
1709 |
KB5969303 |
6.2 |
Конфигурация виртуальной сети
Для конфигурации сети Dell EMC использована модель конвергированной инфраструктуры 25 Гбит/с.
Все VLAN проходят через два интерфейса NIC 25 Гбит/с, работающих в режиме «активный-активный». Для большего масштабирования рекомендуется разделить виртуальные машины для управления от виртуальных машин для вычислений, чтобы масштабирование серверных мощностей было более предсказуемым.
Для вычислительных хостов, хостов управления и контроллеров удаленного доступа iDRAC использовались следующие конфигурации VLAN:
Вычислительные хосты:
- VLAN управления: конфигурируется для трафика инфраструктуры гипервизора – маршрутизаторы уровня L3 (spine в архитектуре Leaf-Spine);
- VLAN для живой миграции: конфигурируется для трафика миграции виртуальных машин в процессе работы – коммутаторы уровня L2 (leaf в архитектуре Leaf-Spine);
- VLAN для VDI: конфигурируется для сессий VDI – маршрутизаторы уровня L3 (spine в архитектуре Leaf-Spine);
Хосты управления:
- VLAN управления: конфигурируется для траффика управления гипервизора – маршрутизаторы уровня L3 (spine в архитектуре Leaf-Spine);
- VLAN для живой миграции: конфигурируется для трафика миграции виртуальных машин в процессе работы – коммутаторы уровня L2 (leaf в архитектуре Leaf-Spine);
- VLAN для VDI: конфигурируется для трафика инфраструктуры VDI – маршрутизаторы уровня L3 (spine в архитектуре Leaf-Spine).
- VLAN для контроллеров удаленного доступа iDRAC: конфигурируется для трафика управления всей инфраструктурой – маршрутизаторы уровня L3 (spine в архитектуре Leaf-Spine).
Инфраструктура сервера управления
Для тестирования был рекомендован следующий сайзинг оборудования:
Таблица 4. Сайзинг для устройств.
Компонент |
Число vCPU |
Объем памяти (ГБ) |
Число сетевых интерфейсов NIC |
Объем операционной системы + данные vDisk (ГБ) |
Объем Tier 2 (ГБ) |
VMware vCenter |
2 |
16 |
1 |
290 |
|
Контроллер сервисов платформы |
2 |
2 |
1 |
30 |
|
Контроллер рабочих столов и сервер лицензий |
4 |
8 |
1 |
40 |
|
StoreFront |
2 |
4 |
1 |
40 |
|
Сервер SQL |
5 |
8 |
1 |
40 |
210 (VMDK) |
Файловый сервер |
1 |
4 |
1 |
40 |
2048 (VMDK) |
Контроллер виртуальных машин Nutanix |
12 |
32 |
3 |
0 |
|
Системный менеджер ВМ SCVMM |
8 |
32 |
1 |
80 |
|
Виртуальные машины RDSH |
8 |
32 |
1 |
80 |
|
Сервер лицензий для NVIDIA GRID
При использовании карт NVIDIA vGPU виртуальные машины, обрабатывающие графику, должны получать лицензии от сервера лицензий GRID в сети, выделенной для vGPU.
Для тестирования конфигураций vGPU использовался сервер лицензий GRID, работающий на ОС Windows 2016.
Для требований лицензирования в сервер лицензий GRID были внесены следующие изменения:
- использованы фиксированные резервированные IP-адреса;
- использованы отдельные МАС-адреса;
- применена тактовая синхронизация всех хостов в одной сети.
SQL-cервер баз данных
При тестировании на уровне управления для SQL-сервера 2016 использовалась виртуальная машина, на которой работали базы данных VMware. Данные SQL и файлы tempdb были разделены на отдельные тома; была создана единая база данных для контроллера доставки рабочих столов и сервера лицензий.
Для тестирования были использованы лучшие практики VMware, в т. ч. выравнивание дисков (alignment of disks), используемых на SQL-сервере, со сдвигом 1024 Кбайт и форматированием с размером блока 64 Кбайт для размещения файлов (данные, логи и tempdb).
DNS
Сервер DNS – основа Microsoft Active Directory; также он управляет доступом к различным компонентам ПО для сервисов VMware. Все хосты, виртуальные машины и компоненты ПО должны быть представлены на сервере DNS. Использовалось динамическое назначение имен, интегрированное с Active Directory, в соответствии с практиками Microsoft.
Высокая доступность
Функция высокой доступности (НА) не задействовалась при тестировании, однако ее рекомендуется использовать при любом практическом развертывании VDI. Для этого рекомендуется использовать модель N+1 с избыточностью как на аппаратном, так и на программном уровне. Дополнительные рекомендации приведены в документе Design Guide.
Архитектура решения Citrix Virtual Apps and Desktops
Схема для тестирования решения Citrix Virtual Apps and Desktops показана на рисунке ниже.

Схема для тестирования решения Citrix Virtual Apps and Desktops
Процесс тестирования
С целью оптимизации баланса между качеством и стоимостью услуг для пользователя EUE (end-user experience) проводился анализ производительности и тестирование характеристик решения с использованием средства генерации нагрузок Login VSI. Этот инструмент хорошо спроектирован, имеет целостную методологию, во время нагрузочного тестирования он может производить мониторинг как загрузки аппаратных ресурсов, так и EUE.
Каждая пользовательская нагрузка тестировалась в четыре замера:
- пилотный замер, чтобы убедиться, что инфраструктура работает;
- три последующих замера для коррелирования данных.
Во время тестирования, когда среда была под нагрузкой, производился вход в сессию и выполненние задачи, соответствующей нагрузке. Хотя это тестирование носит субъективный характер, оно помогает лучше понять уровень EUE во время сеанса доступа к рабочим столам, особенно при высокой нагрузке. Также это помогало обеспечивать надежный сбор данных.
Мониторинг ресурсов
Для того, чтобы воспринимаемое пользователем качество услуг (user experience) не ухудшалось, производился мониторинг следующих ресурсов:
- Сервера вычислений. VMware vCenter (для решений на базе vSphere) или монитор производительности Microsoft (для решений на базе Hyper-V) во время тестирования собирает основные данные (загрузка процессора, памяти, дисков и сети) от каждого вычислительного хоста. Данные отдельных хостов экспортируются в файлы формата .csv и затем консолидируются для всех хостов. Хотя отчеты не содержат специфических метрик характеристик для серверов управления, эти серверы также мониторятся во время тестирования, чтобы убедиться, что их производительность находится на заданном уровне.
- Аппаратные ресурсы. Конфликты ресурсов, которые возникают при их недостатке, могут вызывать снижение качества услуг для пользователя (EUE). Использование ресурсов во время тестирования отслеживалось; применялись консервативные пороги, как показано в таблице. Пороги выбирались из соображений обеспечения оптимального качества EUE и стоимости ресурсов на пользователя, что также предоставляет емкость для регулярных и непредвиденных всплесков использования услуг.
Пороги загрузки аппаратных ресурсов решения для тестирования
Таблица 5. Выбранные пороги загрузки ресурсов решения для тестирования.
Параметр |
Порог отсечения |
Использование процессора физического хоста |
85% * |
Использование памяти физического хоста |
85% |
Полоса пропускания сети |
85% |
Задержка ввода-вывода СХД |
20 мс |
*В «Готовых Решениях» (Ready Solutions) для VDI рекомендуется, чтоюы средняя загрузка процессора не превышала 85 % в продуктивной среде. Допускалась ошибка измерения в 5 %. Следовательно, загрузка процессора иногда может превышать рекомендованное значение. Вследствие природы тестирования LoginVSI эти исключения приемлемы для практического сайзинга.
- Ресурсы GPU. При мониторинге клиента vSphere данные об использовании ресурсов GPU собирались при помощи скрипта, работающего на хостах ESXi 6.5 или более поздних версий. Скрипт работал на протяжении всего тестирования и содержал команды интерфейса системы интерфейса NVIDIA (NVIDIA System Management). Эти команды запрашивают каждый процессор GPU и ведут журнал его параметров с записью в файл.csv: загрузки, температуры и использования памяти.
Генерация нагрузки
Средство тестирования Login VSI – это стандартный инструмент для тестирования сред VDI и хостов с коллективными сессиями RDSH (Remote Desktop Session Host). Login VSI предусматривает установку стандартного набора ПО для рабочего стола (например, Microsoft Office, Adobe Acrobat Reader) на каждом рабочем столе VDI. Затем инструмент использует средства запуска системы для подключения к определенному числу пользователей в среде.
При подключении пользователя logon-скрипт запускает нагрузку, конфигурирует среду пользователя и запускает тестовый скрипт. Каждая система запуска может запускать подключения для определенного числа рабочих мест VDI (целевые машины). Средства запуска и среда Login VSI управляются и конфигурируются с центральной консоли управления.
Кроме того, использовался следующий принцип логина и запуска системы (login and boot):
- Пользователи логинятся на 1 час, за исключением случаев тестирования низконагруженных решений (например, конфигурации с GPU и графикой). В этом случае пользователи логинятся каждые 10–15 секунд.
- Все рабочие места запускаются до логина пользователя.
Все десктопы работают с использованием стандартного антивирусного решения (машины Windows используют Windows Defender).
Профили и нагрузки
Плотность нагрузки решения зависит от профилей виртуальных машин и нагрузок пользователей. Каждый профиль и нагрузка пользователя связана со специфическими метриками и возможностями, нацеленными на приложения с интенсивным использованием графики.
Профили и нагрузки при тестировании были определены следующим образом:
- Профиль. Конфигурация виртуального рабочего места; число виртуальных процессоров vCPU и объем памяти, который сконфигурирован для каждого рабочего места и доступен пользователю.
- Нагрузка. Набор приложений, который используется для тестирования.
Профили виртуальных рабочих мест и их нагрузки показаны в таблице ниже:
Таблица 6. Профили виртуальных рабочих мест и их нагрузки.
Профиль, нагрузка |
Описание нагрузки |
Рядовой сотрудник (Task Worker) |
Наименее интенсивная нагрузка. В основном используются Microsoft Excel, Microsoft Internet Explorer, с минимальным использованием – Microsoft Word, Microsoft Outlook, Adobe. |
Квалифицированный специалист (Knowledge Worker) |
Конфигурируется для виртуальных машин с двумя vCPU. Нагрузка включает следующие виды активности:
|
Высокопроизводительный сотрудник (Power Worker) |
Наиболее интенсивное использование стандартных нагрузок. Выполняются следующие операции:
|
Работа с графическими и мультимедийными приложениями |
Рабочая нагрузка, предназначенная для наибольшей загрузки процессора при использовании программных средств ускорения обработки графики. GPU разгружают приложения с большой вычислительной нагрузкой, поскольку обработку графики берет на себя GPU, а процессор CPU выполняет остальной код приложения. При этом используются следующие приложения, с интенсивной обработкой графики и вычислениями:
|
Сервисы создания виртуальных приложении и виртуальных машин MCS (Machine Creation Services) Citrix
Для тестирования использовалось сервисы создания виртуальных приложений и виртуальных машин MCS (Machine Creation Services) с методом привиженинга связанных клонов (linked clones).
MCS – это набор сервисов, предназначенных для создания виртуальных рабочих мест из мастер-образа, который оптимизирует использование СХД и предоставляет новую виртуальную машину пользователям каждый раз при логине.
Конфигурации тестирования виртуальных машин рабочих столов (Desktop VM)
Таблица 7. Конфигурации тестирования виртуальных машин рабочих столов (Desktop VM).
Профиль пользователя |
Кол-во vCPU |
Память ESXi (конф.) |
Память ESXi (резерв) |
Разрешение экрана |
Опер. система |
Рядовой сотрудник (Task Worker) |
2 * |
2 ГБ |
1 ГБ |
1280 х 720 |
Windows 10 Enterprise 64-bit |
Квалифицированный специалист (Knowledge Worker) |
2 |
3 ГБ |
1,5 ГБ |
1920 х 180 |
Windows 10 Enterprise 64-bit |
Высокопроизводи-тельный сотрудник (Power Worker) |
2 |
4 ГБ |
2 ГБ |
1920 х 180 |
Windows 10 Enterprise 64-bit |
Работа с графическими и мультимедийными приложениями |
2 |
8 ГБ |
8 ГБ |
1920 х 180 |
Windows 10 Enterprise 64-bit |
*Dell EMC утвердила нагрузку для Рядового сотрудника LoginVSI с двумя vCPU на виртуальную машину, хотя LoginVSI предписывает для такого рядового сотрудника один vCPU для такой же нагрузки. Dell EMC отошла от этой нормы для улучшения качества услуг для пользователя. Увеличение числа vCPU до двух связано с тем, что рядовой сотрудник мало влияет на плотность загрузки, но при этом выше воспринимает качество услуг.
Результаты тестирования и их анализ
В таблице ниже приведены результаты тестирования.
Примечание: Dell EMC принимала во внимание возможное влияние уязвимостей процессоров, известных как Meltdown, Spectre и Foreshadow/L1TF, которые могут воздействовать на многие современные микропроцессоры, что описано в следующих статьях
- http://www.dell.com/support/article/SLN308588
- http://www.dell.com/support/article/SLN308587
- http://dell.com/support/L1-terminal-fault
Таблица 8. Результаты тестирования для VMware ESXi
Конфигурация сервера |
Нагрузка |
Плотность пользователей |
Средняя загрузка CPU |
Средний объем активной памяти |
Среднее значение IOPS на пользователя |
B5 + 3 x P40 |
Мультимедиа (виртуальный ПК: Р40-2В) |
36 |
72% |
321 ГБ |
15 |
C7 |
Рядовой сотрудник (Task Worker) |
190 |
77% |
427 ГБ |
3,3 |
C7 |
Квалифицированный специалист (Knowledge Worker) |
160 |
83% |
|
4,2 |
C7 |
Высокопроизводительный сотрудник (Power Worker) |
130 |
87% |
527 ГБ |
3,5 |
C7 + 3 x M60 |
Высокопроизводительный сотрудник (виртуальная рабочая станция: M60-1Q) |
48 |
38% |
561 ГБ |
9,1 |
C7 + 3 x P40 |
Мультимедиа (виртуальный ПК: Р40-1В) |
72 |
92,8% |
609 ГБ |
6,4 |
С7 - Hyper-V 2016 (Shared Desktop) |
Квалифицированный специалист (Knowledge Worker) |
185 |
61% |
522 ГБ |
2,27 |
С7 - Hyper-V 2016 |
Рядовой сотрудник (Task Worker) |
210 |
37% |
370 ГБ |
2,37 |
С7 - Hyper-V 2016 R2 |
Квалифицированный специалист (Knowledge Worker) |
185 |
44% |
400 ГБ |
1,89 |
С7 - Hyper-V 2016 R2 |
Высокопроизводительный сотрудник (Power Worker) |
145 |
44% |
354 ГБ |
1,68 |
Объяснения заголовков таблицы:
- Плотность пользователей: число пользователей на вычислительный хост, успешно завершивших нагрузочный тест при приемлемом потреблении ресурсов на хосте. Для кластеров это число отображает среднюю плотность, достигнутую на всех вычислительных хостах в кластере.
- Средняя загрузка CPU: средняя загрузка процессора за период стабильного состояния нагрузки. Для кластеров это число представляет собой усредненную среднюю загрузку CPU хостов кластера. На последних процессорах Intel метрики CPU хоста ESXi превышают 100 % для хоста, если включен режим Turbo Boost, что является установкой по умолчанию. Функция Turbo Boost дает дополнительные 35 % к средней загрузке процессора, но эти дополнительные проценты не отображаются в метриках VMware vSphere, где собираются данные тестирования. Следовательно, использование CPU для хостов ESXi может подстраиваться, и каждый граф CPU включает линию, представляющую потенциальное использование дополнительных процентов (headroom), которые добавляет Turbo Boost.
- Средняя активная память: для хостов ESXi объем активно используемой памяти оценивается при помощи VMkernel на основе задействованных страниц памяти. Для кластеров это является средним значением гостевой физической памяти, которая активно используется по всем компьютерным хостам за период стабильного состояния.
- Среднее значение IOPS на пользователя: IOPS, рассчитанный из среднего значения IOPS диска в среднем за период стабильного состояния, поделенное на число пользователей.
Примечание: период стабильного состояния (Steady State) – период нормальной и стабильной работы системы после загрузки системы, «загрузочного шторма» (Boot Storm) и входа пользователей в систему (Logon).

Этапы работы системы на графике потребления памяти (источник: Dell EMC)
Рекомендации по плотности пользователей
Были протестированы все конфигурации с Microsoft Windows 10 и Microsoft Office 2016. По результатам тестирования были выработаны рекомендации по плотности пользователей, приведенные в таблице.
Примечание: при сравнении величин плотности в этой таблице с величинами для других брокеров и сред HCI нужно иметь в виду, что меры снижения уязвимости процессора, примененные при тестировании, оказывают значительное влияние на полученную плотность пользователей. В таблице приведены рекомендации для VMware vSphere ESXi 6.5 U1 с платформой виртуализации Citrix Virtual Apps and Desktops.
Таблица 9. Рекомендации по плотности пользователей для VMware vSphere ESXi 6.5 U1 с платформой виртуализации Citrix Virtual Apps and Desktops
Конфигурация сервера |
Нагрузка |
Плотность пользователей |
B5 + 3 x P40 |
Мультимедийная (виртуальный ПК: P40-2B) |
36 |
С7 |
Рядовой сотрудник (Task Worker) |
190 |
С7 |
Квалифицированный специалист (Knowledge Worker) |
160 |
С7 |
Высокопроизводительный сотрудник (Power Worker) |
130 |
С7 + 3 х М60 |
Высокопроизводительный сотрудник (виртуальная рабочая станция M60-1Q) |
48 |
С7 + 3 х Р40 |
Мультимедийная (virtual PC: P40-2B) |
72 |
Оптимальные конфигурации серверов Dell PowerEdge R740 для виртуализации рабочих мест и удаленной работы со склада в Москве с антикризисной скидкой:
Выводы
Выбраные конфигурации памяти и процессора обеспечивают оптимальную производительность. Эти конфигурации можно менять в зависимости от конкретного сценария, однако нужно иметь в виду, что изменения указанных в отчете конфигураций памяти и процессора повлияют на плотность пользователей на хост.
При использовании процессоров Skylake с шестью каналами памяти на CPU рекомендуемая память в конфигурации С7 увеличивается с 512 ГБ в предыдущем руководстве до 768 ГБ. Это измнение необходимо для обеспечения сбалансированной конфигурации памяти и оптимизации производительности для решения VDI. Дополнительная память дает преимущества в увеличении использования ресурсов операционной системы и повышения воспринимаемого качества услуг для пользователей.