Завершен очередной этап модернизации МИВК ОИЯИ 17 апреля 2025 г. в Лаборатории информационных технологий им. М. Г. Мещерякова ОИЯИ был завершен очередной этап работ по модернизации Многофункционального информационно-вычислительного комплекса ОИЯИ (МИВК). На этом этапе было обновлено инженерное оборудование, обеспечивающее энергопитание и охлаждение: системы климат контроля, модули распределения питания. Был модернизирован модуль №2 и проведена первичная модернизация модуля №1. В этих модулях располагается серверное оборудование и вычислительный кластер Tier-2, который является наиболее производительным в Российском грид-сегменте (Russian Data Intensive Grid - RDIG). Работы были проведены командой ЛИТ под руководством главного инженера лаборатории Андрея Долбилова и главного инженера МИВК Алексея Воронцова. Модулем принято называть систему изоляции воздушных потоков, которая объединяет два ряда отдельно стоящих стоек с оборудованием посредством потолочной панели и системы раздвижных дверей, за счет чего обеспечивается охлаждение. Таким образом, внутри модуля образуется изолированный холодный коридор; нагретый воздух отводится в общее пространство зала МИВК. Всего в машинном зале 2-го этажа ЛИТ помимо отдельно стоящих суперкомпьютера «Говорун» и роботизированных ленточных библиотек IBM TS3500 и IBM TS4500 находится четыре подобных изолированных модуля. Это модуль, обеспечивающий работу вычислительного кластера уровня Tier-1, 1-й и 2-й модули «ответственные» за Tier-2, а также МИВК модуль № 4, обеспечивающий работу Tier-2, гетерогенной платформы HybriLIT, облачной инфраструктуры, комплекса информационно-вычислительных ресурсов и хранилища данных EOS. Модуль №4 был создан в 2020 году, он оснащен современным инженерным оборудованием и до модернизации достаточно сильно отличался по инженерным решениям от модулей № 1 и 2. Также в машинном зале находятся модуль, в котором размещаются критически важные серверы стандартного типа бизнес-вычислений (административных систем и баз данных и т. д.), и модуль сетевого оборудования, в котором размещаются основные сетевые сервисы для МИВК, локальной и глобальной сетей. В обозримом будущем планируется создание модуля № 5, который объединит в себе сетевую инфраструктуру с дополнительными вычислительными ресурсами и системами хранения данных. Начиная с конца 2024 года была проделана большая работа по совершенствованию инженерной инфраструктуры МИВК. Проводилось необходимое обновление оборудования, обеспечивающего энергопитание и охлаждение вычислительного комплекса. Этот этап модернизации проводился без остановки работы всего активного оборудования и вместе с этим был выполнен оперативно, с малыми потерями времени и работоспособности. Потребовалось проектирование и создание собственных блоков распределения питания (PDM). Эта сложная и объемная работа была с успехом проделана старшим инженером ЛИТ Андреем Евлановым. Сборка, монтаж и подключение PDM для 1-го и 2-го модулей МИВК были проведены в конце 2024 года. Установлены и введены в эксплуатацию шкафы гарантированного питания от источников бесперебойного питания Galaxy 7000, смонтировано по восемь PDM в каждом модуле. Была начата подготовка подключения трехфазного питания к PDM. Позже, в марте-апреле с. г., 1-й и 2-й модули в первую очередь были полностью переведены на трехфазное электропитание. Вместе с этим в ходе модернизации было решено существенно увеличить размеры модуля № 2. Суммарно в модуль было добавлено 10 новых шкафов для оборудования. Для обеспечения эффективного охлаждения обновленной конфигурации модуля было установлено 10 межрядных кондиционеров. В будущем, в ходе следующего этапа модернизации, аналогичные работы запланированы для модуля № 1. Проведение этих работ сопровождалось физическим переносом пяти шкафов с серверами, задействованными в функционировании таких сервисов, как Tier-2 dCache, Tier-2 WN, Main EOS и cvmfs. По этой причине лаборатория должна была заранее объявить даунтайм (от англ. downtime) в глобальной грид-инфраструктуре WLCG (Worldwide LHC Computing Grid) в период с 27 по 31 марта для того, чтобы избежать потери запущенных задач пользователей и обеспечить сохранность данных. «Мощности и электропитания, и охлаждения увеличились приблизительно на 30%, нам удалось значительно повысить их эффективность. Расширение количества стоечных шкафов дало дополнительные возможности в установке нового оборудования и увеличения вычислительной мощности Tier-2 и развития МИВК ОИЯИ в целом», - сообщил Андрей Долбилов. Работы по совершенствованию инженерной инфраструктуры МИВК проводятся согласно Семилетнему плану развития ОИЯИ на 2024-2030 гг., который в частности подразумевает, что емкость хранилища данных и вычислительные мощности для проекта WLCG, направленного на решение задач, связанных с участием ОИЯИ в экспериментах ЦЕРН, должны увеличиваться ежегодно на 10–20 %. Это позволит поддерживать требуемую скорость обработки данных. Проведенная модернизация обеспечивает возможности установки нового оборудования и активного обновления системы, что обеспечит максимально надежную работу всего комплекса МИВК. «Хочу отметить, огромный объем работ по отключению и извлечению устаревшего оборудования, который был проделан персоналом МИВК. Команда наших молодых инженеров и дежурного персонала работает с огромной самоотдачей и преданностью делу. Они круглый год в режиме 24х7 обеспечивают бесперебойную работу МИВК и вносят огромный вклад в его развитие. В том числе благодаря этим людям наш вычислительный центр играет заметную роль в международном научном сообществе», - подчеркнул Алексей Воронцов. Напомним, что в январе 2025 г. многоуровневая система хранения и обработки данных суперкомпьютера «Говорун» была расширена на два новых сервера на базе технологии Ruler общей емкостью 2 петабайта. К настоящему моменту эти сервера введены в эксплуатацию и активно используются для вычислительных задач мегасайенс-проекта NICA. После ввода в эксплуатацию общий объем сверхбыстрой части иерархической системы хранения данных составляет 10,6 петабайта, что существенно сократит общее время выполнения задач СК «Говорун». «Я вижу, как наш вычислительный центр с каждым годом становится все более мощным. По многим внедренным решениям он не только занимает лидирующие позиции среди аналогичных центров, обеспечивающих фундаментальные исследования, но и обладает рядом уникальных особенностей таких, как интеграция в едином вычислительном центре технологических решений для распределенных вычислений, высокопроизводительных вычислений и распределенного озера данных», - прокомментировал директор ЛИТ Сергей Шматов.
