
Обзор: Сервер Lenovo ThinkSystem SR650 V4: масштабируемая производительность для широкого спектра корпоративных задач
Содержание
Сервер Lenovo ThinkSystem SR650 V4 — универсальный двухпроцессорный сервер форм-фактора 2U на базе Intel Xeon 6, ориентированный на устойчивую производительность и рост. Архитектура предоставляет гибкие конфигурации для хранения данных, поддерживает расширенную работу с графическими ускорителями и современные технологии памяти, включая MRDIMM и CXL 2.0, а также интерфейсы PCIe Gen5. Такой набор возможностей делает платформу уместной как в текущих, так и в перспективных задачах, где растет доля ИИ-нагрузок.
Сервер одинаково уверенно закрывает виртуализацию, базы данных, гибридные сценарии, аналитические контуры и VDI. Масштабирование реализуется предсказуемо: до 32 модулей TruDDR5 RDIMM, до 36 накопителей NVMe и до 10 слотов PCIe Gen5 — этого хватает и для плотных кластеров, и для поэтапного наращивания ресурсов без остановки сервисов.
Энергоэффективные платформы SR650 V4 соответствуют требованиям ENERGY STAR и дают возможность консолидации до трех стоек в одну при сопоставимой нагрузке, снижая энергопотребление и затраты на охлаждение. Дополнительно доступны опции жидкостного охлаждения Lenovo Neptune, повышающие тепловую эффективность.
В основе — процессоры Intel Xeon 6700-й или 6500-й серий, что делает SR650 V4 уместным выбором для высокоплотных и масштабируемых сред. Для сценариев с экстремальной плотностью GPU в том же 2U целесообразно рассмотреть модель ThinkSystem SR650a V4 с поддержкой четырёх двухслотовых ускорителей и NVLink.
Ключевые преимущества сервера Lenovo ThinkSystem SR650 V4
Сочетание производительности и гибкости делает Lenovo ThinkSystem SR650 V4 удачным выбором для инфраструктур любого масштаба. Платформа предлагает широкий набор конфигураций по дисковым корзинам и слотам расширения, поддерживает высокопроизводительные опции и демонстрирует развитые возможности RAS - надежности, доступности и обслуживаемости (Reliability, Availability, Serviceability), которые у Lenovo ThinkSystem SR650 V4 снижают риск отказов, минимизируют простои и упрощают ремонт/диагностику. Энергоэффективная архитектура и продуманная обслуживаемость помогают снижать операционные затраты и поддерживать стабильную работу сервисов.
Масштабирование и производительность
- Процессоры: 1–2× Intel Xeon 6700/6500 (P-cores), до 86 ядер/172 потока, частоты до 4 ГГц, TDP до 350 Вт.
- Память DDR5: до 32 DIMM (16 на сокет), 8 каналов/сокет (2 DIMM/канал); 1 DPC — до 6400 МГц, 2 DPC — до 5200 МГц; до 8 ТБ с 256-ГБ 3D RDIMM.
- MRDIMM и CXL: MRDIMM с шиной до 8000 МГц; до 12 CXL DIMM (E3.S 2T) при 2 CPU, снижение задержек и TCO.
- GPU: до 10 однослотовых или 2 двухслотовых ускорителя
- Хранение (2,5″/3,5″/E3.S): до 40×2,5″ (24 фронт hot-swap, 8 mid simple-swap, 8 тыл hot-swap); до 36 NVMe Direct (1:1); до 16×3,5″; до 32× E3.S 1T NVMe.
- RAID/HBA: 12 Гбит/с SAS-контроллеры (варианты PCIe 3.0/4.0); загрузочные M.2 (внутренние или hot-swap фронт/тыл), RAID-0/1.
- Расширение I/O: до 10 задних PCIe + 2 слота OCP 3.0; дополнительный внутренний отсек под кабельный RAID/HBA; PCIe Gen5 (x16 до 128 ГБ/с — 2×200GbE или 1×400GbE).
Доступность и обслуживаемость
- 24×7 эксплуатация; защита памяти: SDDC (Chipkill), ADDDC (RBS), зеркалирование.
- Hot-swap диски с RAID; загрузочные M.2 с RAID-1 (аппаратный/Intel VROC).
- До 2× hot-swap БП и до 6× hot-swap вентиляторов (с резервированием N+1).
- Light Path Diagnostics для быстрой локализации отказов; SSD как более надежный носитель.
- Проактивные оповещения (PFA/SMART) по CPU/ VRM/ памяти/ накопителям/ вентиляторам/ БП/ RAID /температурам; интеграция с XClarity Admin, VMware vCenter, Microsoft System Center.
- XClarity Controller: непрерывный мониторинг, алерты и восстановление; XClarity Provisioning Manager (UEFI): инвентаризация, настройка, обновления, RAID-мастер, установка ОС, диагностика, выгрузка логов на USB/CIFS.
- Автоперезапуск при кратковременной потере питания; фронтальный диагностический порт; локальное управление через мобильное приложение по сервисному USB.
Управляемость и безопасность
- XClarity Controller 3 (база) и XCC3 Premier (опция): удаленный KVM, монтирование ISO/IMG, boot capture, power capping, Neighbor Groups, System Guard, режимы CNSA, FIPS 140-3, расширения NIST 800-193.
- Выделенный BMC-порт; XClarity Administrator — централизованное аппаратное управление; UEFI-инструменты доступные с F1.
- XClarity Energy Manager: телеметрия питания/температур, политике-ориентированное управление.
- Поддержка IPMI 2.0, SNMP 3.0, Redfish (REST), serial-console over IPMI.
- Безопасность хранения: FC-адаптеры с шифрованием «на лету» и пост-квантовыми алгоритмами (PQC), соответствие CNSA 1.0/2.0.
- Аппаратный TPM 2.0, пароли администратора и включения, Secure Boot (HDD/SSD/M.2), AES-NI, Execute Disable Bit, Intel TXT.
- Физическая защита: датчик вскрытия шасси, запираемая фронтальная панель.
Энергоэффективность
- Neptune Core DWC:
- Processor Neptune Core — жидкостный отвод тепла от CPU.
- Compute Complex Neptune Core — отвод тепла от CPU/памяти/VRM через открытый контур и CDU.
- Энергоэффективные компоненты платы; БП 80 PLUS Titanium.
- SSD потребляют до 80% меньше энергии, чем 2,5″ HDD.
- XClarity Energy Manager: уведомления, аналитика, политики энергосбережения уровня ЦОД.
- Шестиугольная перфорация для повышенной плотности вентиляции и более эффективного воздушного потока.
- Подготовлено к сравнению с SR650 V3: далее — отличия по PCIe Gen5, памяти (MRDIMM/CXL), плотности NVMe/E3.S и охлаждению Neptune.
Сравнение ThinkSystem SR650 V4 с SR650 V3
Сервер ThinkSystem SR650 V4 превосходит предыдущее поколение SR650 V3 - ключевые отличия сведены в таблицу ниже.
| Раздел | ThinkSystem SR650 V3 | ThinkSystem SR650 V4 | Преимущества |
|---|---|---|---|
| Процессор | 2× 4-е/5-е поколение Intel Xeon Scalable До 60 ядер TDP до 350 Вт 80× линий PCIe 5.0 на сокет | 2× Intel Xeon 6700/6500 с (P-cores) До 86 ядер и 172 потока TDP до 350 Вт 88× линий PCIe 5.0 на сокет | Существенный прирост ядер на сокет Рост производительности Консолидация большего числа приложений на том же парке серверов, снижение затрат Больше линий — выше скорость сетевых и NVMe-подсистем |
| Память | DDR5 до 4800 МГц 8 каналов на ЦП 32 DIMM (16 на процессор), по 2 DIMM на канал RDIMM, 3DS RDIMM и 9×4 RDIMM До 8 ТБ ОЗУ | DDR5 до 6400 МГц 8 каналов на ЦП; 32 DIMM (16 на процессор), по 2 DIMM на канал 1 DIMM/канал — 6400 МГц; 2 DIMM/канал — 5200 МГц RDIMM, 3DS RDIMM, MRDIMM Поддержка CXL 2.0 памяти в E3.S 2T (до 12 DIMM при 2 ЦП) До 8 ТБ ОЗУ | Поддержка новых технологий памяти ≈1,7× рост пропускной способности (DDR5 6400) До ≈2,3× с MRDIMM CXL позволяет наращивать пул памяти и снижать задержки |
| Внутреннее хранилище |
До 3× 3,5″ корзин; до 2× 2,5″ корзин Спереди: до 12× 3,5″ / 24× 2,5″ hot-swap Середина: до 4× 3,5″ / 8× 2,5″ simple-/hot-swap Сзади: до 4× 3,5″ / 8× 2,5″ (7 мм) hot-swap 2× внутр. M.2 с опц. RAID 1 До 2× задних hot-swap SAS/SATA/NVMe (RAID через VROC) Поддержка PCIe 4.0 и корзин NVMe на PCIe 5.0 Два встроенных NVMe-порта для прямого подключения дисков Ретаймеры для NVMe — подключение до 32 дисков через усилители сигнала. |
До 3× 3,5″ корзин; 4× 2,5″ корзины, 32× E3.S Спереди: до 12× 3,5″ / 24× 2,5″ / 32× E3.S hot-swap Середина: 8× 2,5″ simple-swap Сзади: до 4× 3,5″ / 8× 2,5″ hot-swap 2× внутр. M.2 с опц. RAID 1 Hot-swap M.2 спереди или сзади для повышения отказоустойчивости 36× NVMe Direct (1:1 по PCIe) NVMe-корзина с интерфейсом PCIe 5.0 — отсек для дисков, работающих на скорости PCIe Gen5. 3 встроенных NVMe-порта для прямого подключения |
Гибкие варианты корзин До 32× NVMe для высокопроизводительного хранения Поддержка E3.S NVMe до 32 шт. M.2 как эффективный загрузочный носитель Hot-swap M.2 (перед/зад) Доп. NVMe-порты уменьшают потребность в ретаймерах, освобождая слоты под другие адаптеры |
| RAID | 8-, 16- и 32-портовые RAID-адаптеры, до 8 ГБ кэша Адаптеры Lenovo и Broadcom Поддержка адаптеров PCIe/внутренних кабельных (CFF) NVMe через 940-ю серию RAID (Tri-Mode) Доступны HBA Варианты PCIe 3.0/4.0; поддержка Gen5 при наличии | Те же 8-/16-/32-портовые RAID, до 8 ГБ кэша Адаптеры Lenovo и Broadcom Адаптеры PCIe и CFF NVMe через RAID 940 (Tri-Mode) Доступны HBA Варианты PCIe 3.0/4.0; поддержка Gen5 для Gen5-адаптеров | Последовательная линейка RAID/HBA Гибкие варианты подключения PCIe Gen5 — выше производительность хранилища |
| Сеть | 1× OCP 3.0 со слотом PCIe Gen5 x16 OCP с доступом спереди или сзади Доп. PCIe-сетевые адаптеры 1× 1GbE порт управления | 2× OCP 3.0 с задним доступом и интерфейсом PCIe Gen5 Доп. PCIe-адаптеры 1GbE порт управления | Удвоение OCP-слотов — больше сетевых портов/вариантов |
| PCIe | Поддержка PCIe 5.0 До 10 задних PCIe (6× full-height, 4× low-profile) или 8× задних (все full-height) До 9× слотов могут быть PCIe 5.0 Опц. 2× доп. слота PCIe RAID/HBA в CFF (не занимает слот) | Поддержка PCIe 5.0 До 10 задних PCIe (6× full-height, 4× low-profile) — все PCIe 5.0 Модульные райзеры для простой модернизации RAID/HBA в CFF (не занимает слот) | Полнопрофильный PCIe Gen5 — выше I/O-производительность Гибкие опции PCIe Больше PCIe-подключений для сетевых/NVMe карт Модульные райзеры снижают стартовые CAPEX, если все слоты не нужны сразу |
| Поддержка GPU | До 8× однослотовых GPU До 3× двухслотовых GPU | До 10× однослотовых GPU До 2× двухслотовых GPU | Поддержка высокопроизводительных GPU-конфигураций |
| Управление и безопасность | Встроен XClarity Controller 2 Поддержка полного стека XClarity (в т.ч. XClarity Administrator) PFR Root of Trust (RoT) Датчик вскрытия (intrusion switch) Поддержка второго менеджмент-порта | Встроен XClarity Controller 3 Тот же стек XClarity, что и у V3, включая XClarity Administrator Кремниевый уровень безопасности Daisy-chain-опция для сокращения числа коммутаторов управления Шифрование трафика хранилища, в т.ч. адаптеры с шифрованием «на лету», такие как Emulex SecureHBA | Новый XCC3 с улучшенными возможностями (в т.ч. OpenBMC-поддержка) Единый инструментарий управления поколений Аппаратная защита на уровне кремния Сокращение стоимости/сложности сети управления Шифрование для соответствия требованиям к защите данных |
| Питание | Выбор: 750 Вт, 1100 Вт, 1800 Вт, 2400 Вт, 2600 Вт AC Hot-Plug PSU Серии Titanium и Platinum по КПД 1100 Вт −48 VDC (Telco) 1300 Вт HVDC/высоковольтный «зеленый» стандарт Active-Standby режим | Выбор: 800 Вт, 1300 Вт, 2000 Вт, 2700 Вт, 3200 Вт AC Hot-Plug PSU Серии Titanium и Platinum по КПД 1300 Вт −48 VDC (Telco) 1300 Вт HVDC/зеленый стандарт Active-Standby режим | Блоки питания большей мощности Поддержка промышленных CRPS форм-фактора Версии для Telco (−48 VDC) Опции для HVDC/«зеленой» инфраструктуры |
Дизайн и архитектура сервера Lenovo ThinkSystem SR650 V4
Фронтальная панель и внутренняя система хранения
Фронтальная часть Lenovo ThinkSystem SR650 V4 рассчитана на повседневную работу инженера: все элементы, которые пригодятся в эксплуатации и сервисе, вынесены на вид и читаются без лишних манипуляций.
Панель оператора дает быстрый статус по ключевым узлам — световая индикация сразу указывает, где смотреть проблему. Важно помнить нюанс: сетевой индикатор показывает активность только установленных OCP-адаптеров и, если их два, огонёк реагирует на трафик обоих.
С портами логика простая. Задние USB и VGA входят в базовую комплектацию и всегда доступны. Передние USB, внутренний USB и передний Mini DisplayPort — опциональные: их ставят там, где требуется локальная работа без доступа к «хвосту» стойки. Внутренний USB годится под компактные флеш-модули длиной до 30 мм — удобно для загрузочных образов и сервисных сценариев. Есть два правила конфигурации: внутренний USB можно выбрать отдельно, а вот передние USB и MiniDP появляются только вместе с внутренним USB. Если планируется использовать XClarity Mobile для локальной диагностики через сервисный USB, передние порты обязательны. При дооснащении действующих серверов пригодится комплект ThinkSystem 1U/2U V4 Front Media Bay (4X97A96850): он требуется для XClarity Mobile.
Для тех, кто ценит чистый фасад, предусмотрена внешняя диагностическая гарнитура. Она выполняет те же функции, что интегрированная панель, но не занимает место спереди и может «кочевать» между серверами — на магнит она легко крепится к любой стойке.
Через экран и кнопки доступны активные оповещения, сводная панель статусов, паспортные данные системы (тип, серийный номер, UUID), версии прошивок UEFI и XCC, параметры сети XCC, температуры и питание, активные сессии XCC и команда на перезапуск. Часть функций заявлена с поэтапным включением — поддержка отдельных экранов планируется к IV кварталу 2025 года. Рядом с панелью находится выдвижная карточка с сетевой информацией для удаленного доступа к сервисному процессору — мелочь, а в эксплуатации экономит время.
Диагностику аппаратных сбоев ускоряет Light Path: при превышении порога по среде или отказе компонента XClarity Controller подсвечивает конкретный участок. Отдельные светодиоды расположены у каждого DIMM-модуля, каждого дискового отсека и у блоков питания — инженер сразу видит, где именно менять узел.
По конфигурациям фронтального хранения у SR650 V4 большой разброс, и это удобно: можно выбрать 2,5-дюймовые корзины hot-swap на 8, 16 или 24 места, либо 3,5-дюймовые на 8 или 12.
Для задач с высокой плотностью NVMe доступно до 32 фронтальных отсеков E3.S 1T, а под CXL-модули памяти — до 12 E3.S 2T. Такое разнообразие позволяет строить как универсальные узлы под виртуализацию, так и специализированные конфигурации под интенсивные базы данных или ИИ-контуры.
При необходимости на «хвосте» можно собрать альтернативные варианты: с задними корзинами на 2,5″ или 3,5″, а также с задними hot-swap-отсеками M.2 — это полезно для отказоустойчивой загрузки без доступа к фронту.
В исполнениях с жидкостным охлаждением (Neptune Core) подвод и отвод теплоносителя аккуратно выведены через восьмой слот — трассировка не мешает остальным платам расширения.
В сумме фронтальная часть и внутренняя подсистема хранения выглядят продуманно: статус виден сразу, сервисные операции не требуют остановки, а конфигурации легко подогнать под конкретную роль узла — от компактного «универсала» до высокоплотного NVMe-носителя.
Процессоры
В основе Lenovo ThinkSystem SR650 V4 — одно- или двухсокетная платформа на Intel Xeon 6 с P-ядрами. На схеме архитектуры заметно, что значительная часть линий PCI Express разведена кабелями. Такой подход дает гибкость - например, конфигурация с десятью задними слотами подключается без перестройки базовой платы, а вариант с четырьмя задними корзинами 2,5″ сохраняет те же принципы маршрутизации.
Поддерживаются два семейства процессоров: Intel Xeon 6500 и Intel Xeon 6700 (оба — P-cores).
Процессорная часть интересна встроенными ускорителями, которые разгружают ядра и шины. Intel QuickAssist Technology берет на себя шифрование, расшифровку, защиту ключей и сжатие данных — полезно там, где критичны TLS-потоки и компрессия. Intel Dynamic Load Balancer распределяет сетевой трафик между ядрами и потоками, выравнивая нагрузку и восстанавливая порядок пакетов — это снижает задержки при многопоточном приёме данных. Intel Data Streaming Accelerator ускоряет типовые операции перемещения и трансформации потоков между процессором, памятью, кешами и подключенными устройствами — выигрыш ощущается в хранилищах и сетях. Intel In-Memory Analytics Accelerator оптимизирует запросы в СУБД «в памяти» и системах аналитики, повышая пропускную способность и уменьшая занимаемый объем — уместно для Redis, RocksDB, Cassandra, MySQL и аналогичных нагрузок. Для изоляции критичного кода поддерживаются защищенные области памяти SGX (enclave) - их размер зависит от конкретной модели CPU и дает аппаратное шифрование данных, недоступных даже более привилегированным процессам.
Теплоотвод реализуется несколькими вариантами — от простых радиаторов для конфигураций до 205 Вт, стандартных радиаторов с тепловыми трубками для CPU до 330 Вт и производительных радиаторов с выносным теплообменником — до жидкостных модулей Neptune. Вариант Lenovo Processor Neptune Core охлаждает процессоры, а Lenovo Compute Complex Neptune Core — и процессоры, и память/VRM; оба используют открытый контур с подводом шлангов через выделенный слот.
Предустановленные режимы UEFI помогают быстро «подогнать» сервер под профиль нагрузки. В заводской поставке для CTO можно выбрать пресет: General Computing — Power Efficiency (C3JB, профиль по умолчанию и соответствие ENERGY STAR/ERP Lot9), General Computing — Peak Frequency (C3JA, акцент на максимальную частоту части ядер), General Computing — Max Performance (C3J9, полная производительность без учета энергосбережения при NUMA-осведомленным ПО), High Performance Computing (C3J8, длительная 100% загрузка в кластерах), Low Latency (C9U8, минимизация задержек ядро-память-PCIe), два профиля виртуализации — Power Efficiency (C9UA) и Max Performance (C9U9), а также два профиля для СУБД — Transaction Processing (C9U7) и Database Memory (CCVW). Для процессоров с топологией LCC доступен только General Computing — Power Efficiency (C3JB); остальные режимы возможны, но настраиваются уже на площадке.
Процессоры задают характер всей платформы: гибкая разводка PCIe для разных сценариев, широкая линейка Xeon 6, аппаратные ускорители под сети, хранилища и аналитику, несколько уровней охлаждения — и понятная матрица UEFI-профилей, чтобы без долгих тюнингов подружить сервер с конкретной задачей.
Память
В Lenovo ThinkSystem SR650 V4 подсистема памяти построена на модулях Lenovo TruDDR5 и масштабируется под разные профили нагрузки — от классических RDIMM до высокоскоростных MRDIMM и модулей CXL 2.0. TruDDR5 — это не только скорость, но и предсказуемость: отбор компонентов Tier-1, совместимость и настройка под платформу подтверждаются фабричными тестами.
При двух процессорах доступно до 32 слотов DIMM: по 8 каналов на сокет и до двух модулей на канал. Максимальная емкость достигает 8 ТБ при установке 32×256 ГБ RDIMM. В конфигурациях с акцентом на пропускную способность применяются MRDIMM (до 8000 МГц при схеме «1 модуль на канал», поддержка зависит от модели CPU). Есть точечное ограничение: для процессора Intel Xeon 6747P поддержка модулей MRDIMM объявлена к вводу в промышленную эксплуатацию в первом квартале 2026 года.
Скорости зависят от выбранных процессоров. Для RDIMM/3DS RDIMM схема «1 модуль на канал» обеспечивает до 6400 МГц, при «2 модулях на канал» — до 5200 МГц. MRDIMM раскрываются при «1 модуле на канал» до 8000 МГц. При использовании модуля Lenovo Compute Complex Neptune Core возможно жидкостное охлаждение памяти: в этом режиме платформа ограничивается 16 слотами (по одному модулю на канал на каждый процессор), зато удерживает стабильные частоты при высокой тепловой плотности.
Для расширения объема за пределы «родной» шины DDR5 предусмотрены до 12 модулей CXL-памяти (по 6 на процессор), устанавливаемых во фронтальные отсеки E3.S 2T. CXL-память расширяет адресное пространство и гибко вписывается в архитектуру узла, но важны ограничения. В Windows Server и VMware ESXi она не поддерживается, а для Linux-стеков режимы выбираются на этапе конфигурирования или позже в UEFI. Доступны два подхода. «Гетерогенное чередование» объединяет DDR5 и CXL в единый NUMA-домена: обращения равномерно распределяются по «родным» каналам и CXL-линиям, растет суммарная пропускная способность — приложения изменений не требуют. «Двухуровневый режим» разделяет DDR5 и CXL на разные адресные пространства и NUMA-узлы: размещение данных управляется ПО (ядром, СУБД, промежуточным слоем или приложением). Во всех случаях зеркалирование памяти несовместимо с этими режимами. Есть и частные нюансы - VROC NVMe RAID не поддерживается, если в корзинах одновременно есть CXL (E3.S 2T) и E3.S 1T или стоят CXL и M., также ограничение заявлено к снятию прошивкой, планируемой к 3-му кварталу 2025 года. Кроме того, гетерогенный режим CXL недоступен с процессорами класса LCC. Наконец, CXL-модули физически ставятся в E3.S 2T-отсеки, но «горячая» замена для них не предусмотрена.
Для корректной сборки действуют простые правила. При двух процессорах количество DIMM должно совпадать по сокетам; смешивание разных артикулов в одном сервере не допускается (кроме CXL). Поддержка MRDIMM зависит от конкретных CPU, а при совместном использовании DDR5 и CXL с DDR5 можно смешивать только сертифицированные модули TruDDR5 64/96/128 ГБ 6400 МГц. Для лучшей производительности стоит выровнять частоты под шину выбранных процессоров и заполнять все каналы. Защитные механизмы памяти включают ECC, Bounded Fault, SDDC и ADDDC (для модулей на кристаллах «x4»), а также зеркалирование каналов; ранк-спаринг реализуется на базе ADDDC-семейства. Это позволяет удерживать доступность сервиса даже при единичных сбоях DRAM.
Подсистема памяти SR650 V4 дает выбор между емкостью и скоростью и позволяет расширять память за пределы материнской шины за счет CXL. В сочетании с жидкостным охлаждением и продвинутыми RAS-функциями это делает платформу удобной и для «тяжелой» виртуализации, и для аналитики в памяти, и для задач с жесткими требованиями по задержкам.
Расширения, устройства ввода-вывода и карты GPU
В Lenovo ThinkSystem SR650 V4 тыловая панель — главный «плацдарм» расширения. Конструкция даёт до десяти слотов PCI Express и два слота OCP 3.0, причем все линии — поколения Gen5.
Набор доступных слотов определяется выбранными райзерами и конфигурацией задних корзин: чем выше плотность дисков, тем внимательнее приходится расставлять платы. Варианты с 2,5-дюймовыми фронтальными корзинами допускают установку внутреннего RAID-адаптера/HBA форм-фактора CFF, который подключается кабелем к PCIe 4.0 x8 и освобождает один тыловой слот под другие задачи. В конфигурациях с E3.S такой адаптер не используется. Слот 8 при необходимости превращается в пару hot-swap M.2 — удобный способ организовать отказоустойчивую загрузку без потери фронтальных мест.
Логика компоновки сделана гибкой. Ряд слотов в райзерах 2 и 3 подключается к системной плате кабелями — это позволяет «докупать» места по мере роста требований, а не платить за полный набор сразу. Конфигуратор DCSC ведёт этот процесс пошагово и наглядно показывает, где окажется каждая плата и как это сочетается с задними корзинами. В райзерах 1 и 4 слоты ставятся парой, тогда как в райзерах 2 и 3 можно выбирать верхние слоты, не занимая нижние. Все слоты x8 выполнены «с открытым концом» — физически туда встанет плата x16, хотя работать она будет на восьми линиях. Два OCP-слота подключаются к разным процессорам и могут работать как x8, так и как x16; для режима x16 нужен комплект кабелей включения OCP x16. Если OCP-адаптер извлекается, лучше поставить заглушку — так сохраняется правильная аэродинамика. По мелочам тоже предусмотрено всё: опциональный последовательный порт RS-232 ставится на кронштейн в пятый или восьмой слот; есть заглушки, коды опций и наборы дооснащения для всех перечисленных сценариев.
Сетевые карты поддерживаются как в OCP-исполнении, так и в обычных PCIe-слотах. Для части OCP-моделей предусмотрено совместное использование одного порта с контроллером управления (NC-SI/WoL), а для плат с интерфейсом x16 — тот самый кабельный комплект OCP x16. Отдельной строкой идут высокоскоростные адаптеры NVIDIA ConnectX-8: у версий 2×400 Гбит/с и 1×800 Гбит/с требуется вспомогательный кабель, который подключается ко второму гнезду x16. В сумме получается PCIe 5.0 x32 — это условие для выхода на 800-гигабитные скорости. При дооснащении «в поле» нужно не забыть включить режим x32 в настройках адаптера, а при работе в Ethernet-профиле — активировать RoCE.
Для DPU NVIDIA BlueField-3 B3220 при доустановке отдельно заказывается комплект питания - в CTO-поставках нужные кабели подбираются автоматически. Часть сетевых плат поставляется с «генерик»-прошивкой вендора — они поддерживаются, но интеграция с инструментами XClarity может быть ограничена; безопаснее обновляться прошивками из каналов Lenovo.
Графические ускорители — ещё один сильный аспект SR650 V4. В зависимости от задач доступны как энергоэффективные однослотовые карты, так и полноразмерные решения. Контрактная линейка включает: ThinkSystem NVIDIA L4 24 ГБ (PCIe Gen4, пассивное охлаждение), NVIDIA L40S 48 ГБ (PCIe Gen4, пассивное), NVIDIA H100 NVL 94 ГБ (PCIe Gen5, пассивное), а также профессиональные RTX на базе Ada — RTX 4000 20 ГБ, RTX 4500 24 ГБ и RTX 6000 48 ГБ (все — активное охлаждение, PCIe). Для проектов, где карты закупаются поэтапно, предусмотрена «GPU-ready» конфигурация: сервер отгружается с нужными кабелями питания, воздуховодами, вентиляторами и БП, но без самих GPU — это сокращает время запуска пилота.
Есть важные правила компоновки. Все установленные GPU должны быть одинаковыми. Двухслотовая карта в четвертом или седьмом слоте «съедает» соседний — третий или шестой соответственно. Средние и задние корзины не совмещаются с GPU-конфигурациями; при фронтальных корзинах 3,5″ поддержана только восьмиместная задняя плата (12-местные варианты не применяются). Совместная работа с модулем жидкостного охлаждения Compute Complex Neptune Core (тип 7DK2) не допускается. При дооснащении полноразмерными картами нужен термокомплект GPU Enablement: производительные радиаторы, заменяющий воздуховод, заглушки в зонах райзеров и комплект 16-контактных кабелей питания для двухслотовых GPU. Если сервер уже укомплектован одной картой на заводе и требуется добавить еще — для ряда моделей нужен отдельный набор кабелей питания.
По сути, подсистема расширения SR650 V4 — это о том, чтобы не выбирать «все сразу», а собирать именно то, что нужно конкретной роли узла. Модульные райзеры, кабельная разводка PCIe, гибкие OCP-варианты и аккуратная работа с теплом вокруг полноразмерных GPU позволяют безболезненно «подкручивать» конфигурацию по мере роста нагрузки — от классических сетевых плат и HBA до линейки RTX/L-серии и H100 NVL.
Охлаждение и питание
В SR650 V4 теплообмен и питание спроектированы так, чтобы подбираться «под задачу», а не наоборот. Для процессоров доступны четыре варианта отвода тепла: базовые радиаторы для конфигураций до 205 Вт, стандартные радиаторы с теплотрубками до 330 Вт, производительные радиаторы для большинства сочетаний и два решения прямого жидкостного охлаждения Neptune — только для процессоров (Processor Neptune Core) и для всего вычислительного комплекса: CPU, память и VRM (Compute Complex Neptune Core).
Lenovo Compute Complex Neptune Core Module
Оба варианта работают в «открытом контуре» с выносом тепла за пределы стойки - при этом через восьмой слот проходит гидролиния, поэтому этот слот под адаптеры не используется. Оба модуля требуют готовой водяной инфраструктуры в ЦОД и отсутствие кабель-рукава (CMA).
Эффект от DWC понятен и измерим: при охлаждении только процессоров в тестах фиксировалась экономия мощности вентиляторов до ~63 % на узел и снижение энергопотребления стойки примерно на четверть. При охлаждении вычислительного комплекса — экономия вентиляторной мощности до ~92 % и сокращение потребления стойки на ~35,9 % в зависимости от конфигурации. В обоих случаях вентиляторы и кондиционирование отрабатывают только оставшееся тепловыделение остальных компонентов. Модули Neptune оснащены датчиками утечки (> 0,5 мл), события фиксируются XClarity Controller с записью в журнал и последующими действиями.
Воздушная часть организована через до шести 60-мм вентиляторов hot-swap с регулировкой скорости и N+1 по роторам: при одном процессоре достаточно пяти, при двух — шести. Выбор типа — стандартные (однороторные 24 k RPM), производительные (двухроторные 20 k RPM) или ультра (двухроторные 21 k RPM) — зависит от конфигурации. В типичных ровных сборках с 2,5″ или 3,5″ фронтом и TDP в пределах рекомендаций, а также при Neptune, подходят стандартные вентиляторы; если условия ужесточаются, требуются производительные; для фронтальных E3.S и схем с 36× 2,5″ NVMe обязательны ультра-вентиляторы. Детальная матрица — в Thermal Rules (Lenovo Docs).
Питание выполнено по схеме до двух блоков hot-swap с резервирование. Поддерживаются стандартные блоки питания и БП RPS Premium - у версии Premium дополнительно есть oversubscription, более точный учёт, виртуальный «переустанов», расширенная диагностика (в т. ч. световая индикация), помощь системе охлаждения и режим нулевой отдачи (Zero-output, «холодная избыточность»), при котором один БП уходит в пониженное потребление, а второй несет нагрузку — при росте потребления «спящий» блок автоматически включается. Диапазоны питающих сетей перекрывают 100–127/200–240 В AC (кроме оговоренных), −48 В DC (−44…−54 В), а также HVAC/HVDC 200–277 В AC/240–380 В DC. Расчёт мощности делается связкой с утилитой Capacity Planner — это помогает подобрать номинал под текущую сборку, но стоит закладывать запас под будущие апгрейды.
Линейка блоков питания охватывает титановый и платиновый классы КПД и разные сценарии ввода: 800/1300/2000/2700/3200 Вт (Titanium CRPS/CRPS Premium), 800/1300/2700 Вт (Platinum CRPS, включая ревизии v1.4–v2.4), вариант 1300 Вт HVAC/HVDC Platinum CRPS Premium для однофазных высоковольтных сетей AC и шин DC, а также 1300 Вт −48 V DC CRPS Premium для телеком-питания. При установке пары БП их тип и мощность должны совпадать.
В сумме охлаждение и питание SR650 V4 позволяют честно масштабировать CPU/память/накопители и видеокарты без лишних компромиссов: при плотных NVMe и ИИ-конфигурациях — за счет Neptune и «ультра» вентиляторов, при универсальных профилях — на стандартных вентиляторах и высокоэффективных БП CRPS Premium с режимом Zero-output.
Управление сервером
В SR650 V4 логика управления построена вокруг встроенного контроллера XClarity Controller 3 (XCC3). Это сервисный процессор на базе OpenBMC (AST2600, два ядра ARM Cortex-A7, 1,2 ГГц), который отвечает за наблюдение за «железом», телеметрию, оповещения и удаленный доступ — независимо от состояния основной ОС. Архитектурно XCC3 вынесен на отдельную плату System I/O Board (DC-SCM): на ней сосредоточены разъемы управления, аппаратный корень доверия (PFR Root of Trust), а также слот microSD для локального хранилища XCC (до 4 ГБ под образы/прошивки и историю N-1; без карты доступно ~100 МБ).
С локальным доступом все предсказуемо: в базовой комплектации есть задний порт управления RJ-45 (10/100/1000), браузерный интерфейс на HTML5 и привычные стандарты — IPMI 2.0 (по умолчанию отключен), Redfish/REST, SNMPv3, CIM-XML. Если фронт-доступ на площадке предпочтителен, его обеспечивают опциональные передние порты (USB/MiniDP) в составе медиабея, которые к тому же требуются для сценариев с XClarity Mobile. Аппаратная кнопка NMI на плате больше не используется — её функцию дублирует XCC в интерфейсе.
Чтобы не разводить лишние патч-корды, в OCP-слот можно поставить адаптер консолидации 4-к-1: он превращает четыре удаленных порта управления ближайших серверов в один выход к сети (внутри — пятипортовый гигабитный коммутатор). Адаптер допускается только в OCP-слоте 1 и отключает второй OCP-слот у того узла, где установлен; у «подключаемых» серверов OCP-слоты остаются свободными под обычные сетевые карты. Выбор сетевого интерфейса для BMC в таком сценарии переключается в настройках XCC (Uplink MAC).
Расширенная функциональность XCC3 активируется лицензией Premier — это прямой аналог XCC2 Premium прошлого поколения. На практике Premier добавляет: System Guard (снимок конфигурации и контроль «несанкционированных» изменений с опцией запрета загрузки), Neighbor Group (массовая синхронизация конфигураций и прошивок), журнал замены компонентов, совместную «консоль» до шести администраторов, видеозахват загрузки/аварий, удаленные виртуальные носители по HTTPS/SFTP/CIFS/NFS, ограничение энергопотребления (power capping), syslog-оповещения, SSO с XClarity Administrator и режим «строгой» безопасности уровня CNSA.
Для первичного ввода в эксплуатацию на уровне UEFI доступен Lenovo XClarity Provisioning Manager (F1 при старте): графическая настройка платформы, инвентаризация, обновление прошивок (UEFI/XCC), мастер RAID, установка ОС (включая безнадзорную) и диагностика. Для централизованного управления парком — Lenovo XClarity Administrator: безагентный подход, автообнаружение, обновление прошивок с контролем соответствия, оповещения, защищенные каналы, REST-интеграция в «старшие» системы, скриптование через PowerShell. Базовые функции бесплатны, а шаблоны конфигураций и развёртывание ОС/гипервизоров доступны по подписке XClarity Pro на управляемый узел. Для тесной интеграции с Microsoft/VMware есть бесплатные XClarity Integrators: они позволяют видеть «железо» прямо из vCenter или System Center, накатывать прошивки и выполнять неразрушающее обслуживание узлов кластеров с автоматическим перегонами нагрузок.
Набор XClarity Essentials закрывает «оперативные» задачи: OneCLI для инвентаризации и изменения настроек/прошивок через командную строку, UpdateXpress для обновления драйверов и микропрограмм (включая UXSP-пакеты), Bootable Media Creator для офлайн-обновлений. Для серверов V4 требуются актуальные ветки (OneCLI 5.x+, UpdateXpress 5.x+, BOMC 14.x+), поскольку формат настроек приведён к OpenBMC/Redfish.
Энергоменеджмент вынесен в Lenovo XClarity Energy Manager: веб-консоль без агентов для контроля мощности и температур, политики «среза» потребления и повышение плотности в стойке. Одна лицензия LXEM входит в XCC3 Premier. Для предварительного расчета нагрузок в ЦОД есть Lenovo Capacity Planner — инструмент оценки потребления, токов, BTU и VA на уровне узла и стойки, полезный и на этапе пресейла, и при планировании модернизаций.
В итоге стек управления SR650 V4 охватывает все — от безопасной аппаратной базы (PFR, изолированный BMC) до повседневной эксплуатации (веб-интерфейс, мобильные сценарии, консолидация портов), от единичного узла (LXPM) до парка (XClarity Administrator/Integrators) и энергополитик (LXEM). Это позволяет запускать сервер «по кнопке», а дальше управлять им привычными средствами, не навешивая агентов и не нагружая вычислительные ресурсы.
Безопасность
В SR650 V4 защита выстроена «снизу вверх»: от аппаратного корня доверия и проверенных прошивок до контроля конфигураций и управления ключами.
Физическая защита решается просто и эффективно: опциональные датчик вскрытия шасси и запираемая фронтальная панель закрывают доступ к накопителям и органам управления, снижая риск как преднамеренного, так и случайного вмешательства.
Базой служит контроллер XClarity Controller 3 (OpenBMC) и отдельная плата DC-SCM с аппаратным Platform Firmware Resiliency (PFR) Root of Trust. Такой подход соответствует NIST SP 800-193: прошивки измеряются, проверяются, при компрометации восстанавливаются из «чистого» образа, а попытки несанкционированной записи в SPI-флеш блокируются. PFR охватывает образы UEFI, XCC и FPGA, а реализация протестирована внешними аудиторами.
Далее — уровень загрузки. Secure Boot проверяет подписи компонентов и допускает к старту только доверенное ПО. Опцию можно включить на заводе, но если включена позже, обратно отключить её уже нельзя — это сделано намеренно, чтобы исключить «расшивку» защиты в эксплуатации.
Средства защиты данных и учетных записей дополняют базу. На плате предусмотрен TPM 2.0, поддерживаются самошифрующиеся диски (SED) с внешними менеджерами ключей по KMIP(в т.ч. IBM SKLM, Thales). В части аутентификации и управления доступны интеграции с корпоративными системами (например, CyberArk), а поверхность атаки «из коробки» сокращена за счет отключаемых сетевых сервисов и строгих криптопрофилей в XCC (CNSA 1.0, FIPS 140-3 — для XCC). В составе лицензии XCC3 Premier работает System Guard: делается эталонный снимок аппаратной конфигурации, а любые неожиданные изменения фиксируются (вплоть до запрета загрузки), ведется журнал замены компонентов, есть захват видео загрузки/аварий, совместная удалённая консоль и централизованное обновление прошивок из репозитория.
На уровне платформы и процессора сервер использует набор аппаратных механизмов Intel: Boot Guard, TXT/OS Guard, MBEC, XD, аппаратное ускорение AES-NI, защищенные домены TDX, ускорители криптографии и компрессии QAT, полное шифрование памяти TME/TME-MK, контроль потока CET. Всё это дополняет прошивочные меры и снижает риски эксплуатации уязвимостей на этапах до загрузки ОС и в рантайме.
Соблюдение стандартов и процессы — отдельный пласт. SR650 V4 соответствует NIST SP 800-147B (защита BIOS), NIST SP 800-131A (криптопереход), ISO/IEC 11889 (TPM), поддерживает требования ErP Lot 9 к безопасному удалению данных. Фирменный подход ThinkShield распространяется на весь жизненный цикл: выбор и аудит поставщиков, безопасная разработка, непрерывное тестирование прошивок (статический/динамический анализ, SCA, проверка конфигураций UEFI и непрерывный контроль по цепочке поставок и производству.
У SR650 V4 безопасность не сводится к единственной функции — это согласованный «слоёный пирог» из аппаратного доверия (PFR/TPM/Secure Boot), криптографии и функций ЦП, строгих политик BMC, контроля конфигураций и защищённой цепочки поставок. Такой набор облегчает соответствие корпоративным и отраслевым требованиям и снижает операционные риски без усложнения администрирования.
У SR650 V4 безопасность не сводится к единственной функции — это согласованный «слоёный пирог» из аппаратного доверия (PFR/TPM/Secure Boot), криптографии и функций ЦП, строгих политик BMC, контроля конфигураций и защищённой цепочки поставок. Такой набор облегчает соответствие корпоративным и отраслевым требованиям и снижает операционные риски без усложнения администрирования.
Актуальные результаты тестирования Lenovo ThinkSystem SR650 V4
SAP Q2C (20 млн документов, 2-tier)
Методика. Q2C моделирует полный цикл «коммерческое предложение → заказ → отгрузка → счет → оплата». Нагрузка — сбалансированный микс транзакций (OLTP) и отчетности (OLAP) в двухуровневой схеме: база SAP HANA и сервер приложений S/4HANA работают на одном сервере. Это дает понятную метрику, насколько узел справится с типичной ERP-нагрузкой без выноса БД на другой хост.)
Конфигурация. 2× Intel Xeon Platinum 6787P (86C, 350 Вт), 1 ТБ TruDDR5 (16×64 ГБ MRDIMM 8000 MT/s), SLES 15 SP5, SAP HANA 2.0 Rev.82, SAP S/4HANA 2021.
Итог. 121 400 aSAPS; пропускная способность — ~2,43 млн обработанных строк заказа/час; 24 700 пользователей при средней задержке диалога 0,77 с. Результат сертифицирован SAP и опубликован 21 марта 2025.
SAP Q2C (40 млн документов, 2-tier)
Методика. Та же модель Q2C, но с увеличением исходного массива документов до 40 млн — сценарий для компаний с высокой транзакционной активностью и «тяжелыми» отчетами.
Конфигурация. 2× Intel Xeon Platinum 6787P (86C), 2 ТБ TruDDR5 (16×128 ГБ RDIMM 6400 MT/s), SLES 15 SP5, SAP HANA 2.0 Rev.82, SAP S/4HANA 2021.
Итог. 121 000 aSAPS; ~2,42 млн строк заказа/час; 24 160 пользователей при среднем времени диалога 0,57 с. Это первый опубликованный на сайте SAP Q2C-результат в такой постановке (11 апреля 2025), сертифицирован SAP.
VMmark 4 (виртуализация, matched-pair 2-сокет)
Методика. VMmark — «мультисерверный» эталон VMware для сравнения производительности платформ виртуализации в реальных сценариях (несколько тайлов приложений, сетевые/хранилища операции, миграции и др.). Конфигурация matched-pair моделирует типовой минимум для частного облака/кластера.
Конфигурация. Пара серверов SR650 V4, каждый: 2× Intel Xeon 6787P (86C, 350 Вт), 16×64 ГБ DDR5 8800; ESXi 8.0 U3; FC-HBA Emulex 64 Gb. Клиентские и целевые хосты — ThinkSystem SR665/SR655.
Итог. 3.39 @ 3.8 Tiles — лучший на дату публикации результат VMmark 4 для 2-сокетных систем на Intel в matched-pair: на 1,49 % выше ближайшего преследователя на тех же CPU, на 35,6 % выше поколения на Emerald Rapids и на уровне 95,7 % производительности 4-сокетной системы на Sapphire Rapids (15 апреля 2025).
MLPerf 5.1 Inference (центр обработки данных)
Методика. MLPerf — отраслевой стандарт MLCommons для объективного сравнения ИИ-систем. Измеряются пропускная способность и задержки на типовых задачах ИИ, применимых в продуктах: генерация текста, транскрибация речи, рекомендации, компьютерное зрение, графовая аналитика.
Конфигурация/модели. SR650 V4 на Intel Xeon 6 демонстрирует баланс по пяти направлениям: Llama-3.1 8B (генерация), Whisper (ASR), DLRMv2 (рекомендации), RetinaNet (детекция объектов), rGAT (графы).
Итоги:
- DLRMv2-Server — 1-е место. Низкая p99.9-задержка (~114 мс) и >12 тыс. запросов/с: подходит для ранжирования каталога, рекламы и персонализации «в реальном времени».
- Llama-3.1 8B — 2-е место (Server) и 3-е место (Offline). Предсказуемая p99.9-задержка при уровнях нагрузки, достаточных для чат-помощников, RAG и сервисных агентов; десятки одновременных сессий на узел.
- RetinaNet — 3-е место (Server). Подходит для видеонаблюдения и промышленного контроля; в offline-режиме — >40 млн кадров/сутки на сервер, что закрывает массовые бэклоги видео.
- rGAT — 3-е место (Offline). ~13,6 тыс. выборок/с: запас по пропускной способности для антифрода, рекомендаций и работы с графами знаний.
- Whisper (ASR). ~18,6 образцов/с ⇒ сотни параллельных потоков «1× realtime»; масштабная офлайн-транскрибация — десятки тысяч часов/сутки.
Что это значит для ИТ и бизнеса
- ERP-контуры (SAP): SR650 V4 уверенно держит двууровневые ландшафты S/4HANA, масштабируя пользователей и документы без ухудшения SLA.
- Виртуализация/облака: рекорд VMmark подтверждает, что узел хорошо консолидирует смешанные нагрузки и выгодно обновляет кластеры на Intel.
- ИИ-нагрузки: одна и та же платформа закрывает генерацию, речь, рекомендации, зрение и графы без узкого места по задержкам/скорости — удобно для многомодельных витрин и сервисов.
Заключение и выводы
Lenovo ThinkSystem SR650 V4 — зрелая 2U-платформа, которая закрывает сразу несколько классов задач: классическую виртуализацию и базы данных, ERP-контуры на S/4HANA, высокоплотное NVMe-хранилище и прикладной ИИ. Ключ к универсальности — современная вычислительная база на Intel Xeon 6 (до 86 ядер на сокет), шина PCIe Gen5, варианты памяти от RDIMM до MRDIMM и CXL, а также гибкая компоновка слотов/корзин. За счет продуманной архитектуры сервер масштабируется «по месту», без избыточных начальных затрат и с четкой дорожной картой апгрейдов.
Практические эффекты подтверждены тестами. В SAP Q2C узел демонстрирует производительность уровня 121 тыс. aSAPS при 20–40 млн документов — этого хватает для крупных ERP-ландшафтов с умеренной задержкой диалогов. В VMmark 4 платформа возглавляет результаты среди 2-сокетных пар на Intel, что прямо транслируется в лучшую консолидацию и экономику частных облаков. В MLPerf 5.1 SR650 V4 уверенно держит нагрузки рекомендаций, генерации, зрения и графовой аналитики — удобная основа для многомодельных витрин ИИ без «бутылочных горлышек» по задержкам.
Инженерные детали работают на TCO. Модульные райзеры и «открытые» x8-слоты упрощают поэтапные апгрейды; горячая замена вентиляторов/дисков и Light Path Diagnostics сокращают простой; стек XClarity (LXPM, Administrator, Energy Manager) избавляет от агентов и даёт единый контур управления и энергетики. Опции Neptune (охлаждение CPU или всего вычислительного комплекса) заметно снижают потребление и шум, а CRPS Premium с режимом Zero-output оптимизируют энергетику в простое.
С точки зрения рисков и соответствия политикам ИБ, SR650 V4 выглядит зрелым: аппаратный PFR Root of Trust, Secure Boot, TPM 2.0, строгие криптопрофили в XCC и System Guard для контроля «железной» конфигурации. Это снижает операционные риски без усложнения администрирования и помогает проходить аудиты.
Когда выбирать SR650 V4
- Универсальные кластеры виртуализации/базы данных: приоритет — высокая плотность VM/контейнеров и быстрая сеть/NVMe.
- ERP: важны предсказуемые задержки и масштабирование пользователей/документов.
- Прикладной ИИ и аналитика: нужен баланс CPU/GPU, много линий PCIe Gen5 и быстрые NVMe.
- Ограничения по энергии/охлаждению: есть смысл в Neptune и CRPS Premium с Zero-output.
Когда рассмотреть альтернативу
- Максимум двухслотовых GPU в 2U: для 4× DW-GPU и NVLink лучше подойдёт ThinkSystem SR650a V4.
- Только файловые/архивные задачи: возможно, выгоднее 3,5″-ориентированные системы с меньшими требованиями к процессорам и PCIe.
Руководство пользователя:
Lenovopress, ITELON
Вам может быть интересно


Обзор: Сервер Lenovo ThinkSystem SR630 V3 - 1U-сервер с максимальной отдачей

Обзор: Сервер Lenovo ThinkSystem SR650 V3 - масштабируемая производительность с запасом на будущее
Подпишитесь на новости
Обратитесь к экспертам компании Itelon



Оцените статью и добавьте комментарий — будьте первым
Спасибо!
Комментарий успешно отправлен на модерацию! После модерации комментарий будет опубликован в ближайшее время!