Высокопроизводительный вычислительный комплекс от компании ITELON

Российскому НИИ потребовался высокопроизводительный вычислительный комплекс с большим количеством специфических видеокарт. Заказчик нуждался в мощной системе для обучения нейронных сетей и предъявлял поставщикам оборудования два критично важных требования.

Первое – доступная стоимость, соизмеримая с финансовыми возможностями государственного учреждения.

Второе – высокая производительность, которая позволит выполнять текущие задачи НИИ.

По результатам тендера на поставку суперкомпьютера для реализации этого проекта выбрали системного интегратора ITELON.

Специалисты компании ITELON изучили требования НИИ и выяснили, что для решения его задач нужен большой комплекс оборудования с высокопроизводительными серверами, системами охлаждения и сетевым оборудованием, которое свяжет серверы и имеющуюся систему хранения данных в единое целое (суперкомпьютер). В результате должен получиться дата-центр, обеспечивающий работу системы нейронного обучения.

Инженерам необходимо было выполнить два противоречивых условия: поставить в НИИ максимально производительные серверы и при этом сократить их количество до минимума. В ITELON детально рассмотрели предложения нескольких ведущих IT-вендоров и пришли к выводу, что ни у одного из них нет решения с требуемой плотностью видеокарт. Оставался только один рабочий вариант – машины Supermicro, а именно 7 серверов в заказной комплектации, которые специально изготовили на заводе компании-производителя.

Компания ITELON поставила большой комплекс оборудования, в основе которого были двухпроцессорные серверы Supermicro. Для подключения к сети и СХД Fujitsu Eternus DX200 использовали интерфейсы со скоростью передачи данных до 100 Гбит/с. Имеющаяся СХД поддерживала SSD-накопители, что обеспечило максимально возможное на тот момент быстродействие сети и дисковой подсистемы.

Впоследствии ЦОД НИИ расширили за счет дополнительных серверов с высокопроизводительными графическими ускорителями и системой NAS на базе Fujitsu Primergy RX2520. Последняя оснащена высокоплотной дисковой полкой JX60 S2 Enclosure, которая позволяет разместить до 60 накопителей большого форм-фактора (LFF) в стойке высотой 4U.

Коммутация в дата-центре НИИ реализована за счет оборудования Mellanox Spectrum MSN2100 – это современные коммутаторы с интерфейсами 100 Гбит/с, пропускной способностью 3,2 Тбит/с и поддержкой технологии нулевой потери пакетов. Все узлы этого решения продублированы, что исключает появление единой точки отказа. Компоненты вычислительного комплекса смонтированы в высококлассные серверные шкафы APC, а для защиты от сбоев в электросети использовали источники бесперебойного питания Delta.

Три специалиста компании ITELON за три дня смонтировали новое оборудование, настроили его и ввели в эксплуатацию. А до этого провели подготовительные работы: оптимизировали планировку помещения и смонтировали систему охлаждения.

На момент обращения в компанию ITELON у НИИ не было возможности разместить в своем здании новое вычислительное оборудование. Потому параллельно с обсуждением проекта заказчик искал подходящее помещение. В нем сделали ремонт, подвели электричество и выбрали оптимальные варианты для размещения мощной системы охлаждения. Но так как заказчик по-прежнему был ограничен в финансах, он искал недорогое и одновременно эффективное решение. Специалисты ITELON разрешили эту коллизию и предложили фактически промышленный вариант охлаждения дата-центра, но на базе малобюджетных кондиционеров.

Выбранная система дешевле готовых разработок для охлаждения ЦОД и полностью оправдывает себя по производительности. Воздушное охлаждение хладопроизводительностью 112 кВт подходит для круглогодичного использования и работает в дата-центре в режиме 24/7. Для мониторинга температуры, влажности и иных физических параметров среды ЦОД, а также удаленного управления электропитанием используется система NetPing. Аналогичное недорогое, но функциональное решение заказчик планирует повторно использовать на следующем этапе расширения дата-центра.