Лаборатория   информационных   технологий 

"Содержание"

Раздел I. Информационно-вычислительный сервис для пользователей локальной сети ОИЯИ

1. Развитие Центрального информационно-вычислительного комплекса ОИЯИ в 2010—2011 гг. и текущее состояние программно-аппаратной среды

В 2010—2011 гг. продолжено наращивание вычислительной мощности и объемов систем хранения данных Центрального информационно-вычислительного комплекса (ЦИВК) ОИЯИ [1], базирующихся на распределенной модели хранения и обработки данных. ЦИВК ОИЯИ организован как единый информационно-вычислительный ресурс, предназначенный для обеспечения всех направлений деятельности Института. Счетные ресурсы и ресурсы для хранения данных управляются базовым программным обеспечением (БПО), позволяющим использовать ресурсы ЦИВК как в международных проектах распределенных вычислений (WLCG, FUSION, BIOMED, HONE, PANDA, CBM), так и пользователями ОИЯИ.

Настройки БПО ЦИВК обеспечивают оптимальное использование счетных ресурсов и поддержку наиболее универсальных и защищенных методов доступа к хранилищам данных.

Распределение и учет счетных ресурсов реализован на основе системы пакетной обработки torque и планировщика ресурсов maui.

Доступ к данным обеспечивается программным обеспечением (ПО) dCache и XROOTD, частично — NFS. Доступ к общему ПО и домашним директориям пользователей обеспечивается по протоколам AFS и NFS.

Для регистрации и распознавания локальных пользователей ОИЯИ применяется система Kerberos5.

Базовое программное обеспечение ЦИВК

Базовой операционной системой практически всех компонент ЦИВК является ОС Linux (дистрибутив Scientific Linux SL5 с 64-битной архитектурой — x86_64) [2]. Этот дистрибутив выбран в качестве базовой ОС в проектах WLCG (Worldwide LHC Computing Grid) и EMI (European Middleware Initiative) и поддерживается крупными научными центрами (FNAL, CERN), распространяется бесплатно и является полным аналогом широко распространенного коммерческого продукта фирмы Redhat — Enterprise Linux.

На ферме установлены компиляторы:

— g77/gcc/g++ — GNU Fortran 77, C and C++ compilers version 3.4.6;
— gfortran/gcc4/g++4 — GNU Fortran 95, C and C++ compilers version 4.1.2;
— ifort/icc/icpc — Intel Fortran, C, C++ compilers version 11.1.

GCC (GNU Compiler Collection) — набор свободно распространяемых компиляторов для различных языков программирования (С/C++/Fortran и др.). GCC используются как стандартные компиляторы для Unix-подобных операционных систем.

Intel С/C++/Fortran Compilers — компиляторы нового поколения, позволяющие обеспечить высокую производительность на процессорах Intel. Компиляторы Intel дополнены эффективными средствами разработки многопоточного кода, поддерживающими стандарт OpenMP.

Библиотека Intel Math Kernel Library (Intel MKL) предоставляет набор оптимизированных математических функций, позволяющих создавать быстродействующие приложения для процессоров Intel. Библиотеки включают линейные алгебраические функции (LAPACK и BLAS), быстрые преобразования Фурье (FFT), пакет векторной математики VML.

Для разработки параллельных программ с использованием стандарта MPI (Message Passing Interface) установлены библиотеки MPI для языков программирования C, C++ и Фортран [3].

Параметры внутренней сети ЦИВК

Центральный маршрутизатор сети ЦИВК соединен с основным граничным маршрутизатором сети ОИЯИ на скорости 10 Гбит Ethernet. Для обеспечения высокой пропускной способности локальной сети ЦИВК и минимального времени доступа к данным и файлам применяется агрегирование нескольких соединений 1 Гбит Ethernet в единый виртуальный канал (TRUNK) с увеличенной пропускной способностью до 4 или 8 Гбит/с. На рис. 1 приведена структурная схема сетевых соединений ЦИВК.

Текущее состояние ресурсов ЦИВК

В настоящее время вычислительная ферма ЦИВК состоит из 2080 64-битных процессоров и системы хранения данных общей емкостью ~1200 Тбайт. Для обеспечения устойчивой работы аппаратной составляющей комплекса в 2010—2011 гг. введена в эксплуатацию новая система климатического контроля ЦИВК.

На рис. 2 приведена схема наиболее значимых компонент ЦИВК и общая схема их взаимодействия. Представлены важнейшие элементы, обеспечивающие работу локальных пользователей и коллабораций, сервисы, обеспечивающие работу в международных проектах и доступ к ресурсам ЦИВК из глобальной сети таких проектов.

Рис. 1. Схема сетевых соединений ЦИВК

Рис. 2. Структурная схема ЦИВК ОИЯИ: вычислительные ресурсы, доступ и поддержка функционирования

Пять машин (Int/UI) обеспечивают интерактивный доступ пользователей ОИЯИ непосредственно к счетным ресурсам и дисковым хранилищам данных, а также с них возможен доступ к глобальным ресурсам проекта WLCG через установленное ПО gLite-UI (User Interface).

Batch сервер и машины WN (Work Node) обеспечивают пакетную обработку счетных задач:

    • запущенных через машины Int/UI локальными пользователями;

    • приходящими из глобальной системы WLCG через машины [CREAM] CE (Computing Element).

Машины WMS (Workload Management System) и LB (Logging & Bookkeeping) используются для распределения задач (локальных пользователей и WLCG) на различные сайты проекта WLCG, на WMS задачи попадают непосредственно по заданиям пользователей, запускаемых с различных UI.

Сервис X509 PX (ProXy) хранит и обновляет сертификаты пользователей (X509 формат) для обеспечения защиты ресурсов и задач пользователей в грид-системах. Это основной метод распознавания зарегистрированных пользователей проекта WLCG. Машина Frontier — кэширующий сервис доступа к удаленным данным с WN, он поддерживает в частности распределенную файловую систему CVMFS (CernVM File System), позволяющую (по протоколу https) обращаться к ПО коллабораций ATLAS, LHCb и BES, которое реально установлено и хранится на серверах в CERN. Два VObox (Virtual Organization box) используются коллаборациями ALICE и CMS для обеспечения своей работы на сайте WLCG. Установки хранения и доступа к данным dCache и XROOTD обеспечивают работу с данными как для локальных пользователей ОИЯИ, так и для пользователей и коллабораций (виртуальных организаций) WLCG.

В настоящее время в составе вычислительной фермы ЦИВК имеются следующие счетные машины (WN):
(актуальная конфигурация всегда доступна на
http://lit.jinr.ru/view.php?var1=comp&var2=ccic&lang=rus&menu=ccic/menu&file=ccic/linux/archit_appar):

60 64-битных машин:

    • 2 процессора Xeon 5150 (2 ядра на процессор);

    • тактовая частота 2,66 GHz;

    • 4096 KB кэш на ядро;

    • 8 GB оперативная память;

    • 250 GB диск;

    • 1 Gb Ethernet.

30 64-битных машин:

    • 2 процессора Xeon E5430 (4 ядра на процессор);

    • тактовая частота 2,66 GHz;

    • 6144 KB кэш на ядро;

    • 16 GB оперативная память;

    • 250 GB диск;

    • 1 Gb Ethernet.

10 64-битных машин:

    • 2 процессора Xeon X5450 (4 ядра на процессор);

    • тактовая частота 3,00 GHz;

    • 6144 KB кэш на ядро;

    • 16 GB оперативная память;

    • 250 GB диск;

    • 1 Gb Ethernet;

    • 2 ´ infiniband.

10 64-битных машин:

    • 2 процессора Xeon E5410 (4 ядра на процессор);

    • тактовая частота 2,33 GHz;

    • 6144 KB кэш на ядро;

    • 16 GB оперативная память;

    • 500 GB диск;

    • 1 Gb Ethernet;

    • 2 ´ infiniband.

56 64-битных машин, по 2 машины в одном корпусе высотой 2 дюйма (U2):

    • 2 процессора Xeon E5420 (4 ядра на процессор);

    • тактовая частота 2,50 GHz;

    • 6144 KB кэш на ядро;

    • 16 GB оперативная память;

    • 250 GB диск;

    • 1 Gb Ethernet.

60 64-битных машин, по 2 машины в одном корпусе высотой 2 дюйма (U2):

    • 2 процессора Xeon E5430 (4 ядра на процессор);

    • тактовая частота 2,66 GHz;

    • 6144 KB кэш на ядро;

    • 16 GB оперативная память;

    • 500 GB диск;

    • 1 Gb Ethernet.

40 64-битных машин, по 4 машины в одном корпусе высотой 4 дюйма(U4):

    • 2 процессора Xeon X5650 (6 ядер на процессор);

    • тактовая частота 2,67 GHz;

    • 12288 KB кэш на ядро;

    • 24 GB оперативная память;

    • 2 ´ 500 GB диски;

    • 1 Gb Ethernet.

4 64-битных машины в одном корпусе высотой 4 дюйма (U4):

    • 2 процессора Xeon E5540 (4 ядра на процессор);

    • тактовая частота 2,536 GHz;

    • 8192 KB кэш на ядро;

    • 24 GB оперативная память;

    • 250 GB диск;

    • 1 Gb Ethernet.

Все вычислительные узлы доступны и пользователям ОИЯИ, и пользователям GRID через единую систему пакетной обработки заданий batch.

Для разработки собственного ПО и других нужд пользователей ОИЯИ установлены 5 машин с интерактивным доступом пользователей:

    • 4 64-битных машины (Xeon X5650, 12 ´  Core, 24 GB RAM, 2 ´  500 GB HDD, 1 Gb Ethernet);

    • 64-битная машина (Xeon E5420, 8 ´  Core, 16 GB RAM, 250 GB HDD, 1 Gb Ethernet).

Имеется несколько серверов поддержки работы пользователей и служб ОИЯИ: batch, WWW, БД mysql и Oracle, e-mail, DNS, мониторинг Nagios и др. Эти серверы работают в основном на 64-битных аппаратных платформах Xeon и Opteron.

Основной системой хранения больших объемов информации в ЦИВК ОИЯИ служит аппаратно-программный комплекс dCache.

Поддерживаются две установки dCache:

    • dCache-1 — для экспериментов CMS и ATLAS на LHC;

    • dCache-2 — для локальных пользователей, групп пользователей и международных проектов NICA/MPD, HONE, FUSION, BIOMED, COMPASS.

В настоящий момент в этих установках задействованы 9 серверов основных интерфейсов системы dCache и 40 систем хранения данных (Pool).

Нагрузка на систему dCache-1, обслуживающую эксперименты LHC, существенно выше, чем на dCache-2. В силу особенностей организации вычислительного процесса существуют файлы, к которым обращаются сразу множество заданий. В связи с этим, часть дисковой памяти выделена для создания реплик таких файлов. Реплики создаются копированием файла с пула на пул. Управление содержимым кэша реплик происходит автоматически, по критерию величины загрузки, который задает администратор.

Несколько объединений пользователей нашего центра используют систему доступа к удаленной информации XROOTD. Для работы этой системы созданы 3 аппаратно-программных комплекса в составе: сервер обработки запросов к системе и 12 систем хранения данных.

Система dCache также поддерживает протокол XROOTD. Эксперимент ATLAS использует этот протокол для чтения данных c сайта уровня Т3, работающего в ЛЯП ОИЯИ [4].

Заполнение пулов сильно зависит от потребностей эксперимента и способов оптимизации набора файлов, который эксперимент использует. Так, для ATLAS, где используется автоматическое удаление файлов, наполнение не превышает в среднем за год 70 %. В то же время CMS, не располагающий таким сервисом, сталкивается с ситуацией заполнения пулов на 95 % и выше, требующей вмешательства администраторов dCache и виртуальной организации CMS. Для контроля заполнения пулов создан web-интерфейс к dCache, сообщающий о суммарном объеме файлов, хранящихся в директории.

Системы dCache и XROOTD построены на серверах с архитектурой x86_64 и процессорах Xeon и Opteron. Все системы хранения используют аппаратный механизм RAID6.

В ЦИВК ОИЯИ установлено 7 серверов AFS — высоко защищенной, распределенной файловой системы, которая является основой поддержки домашних директорий пользователей и системой доступа к общему ПО для всего ОИЯИ. Общее пространство AFS в ОИЯИ составляет ~3,2 TB.

В состав ЦИВК входят несколько специализированных машин для поддержки локальных и международных коллабораций пользователей: проекта NICA/MPD, PANDA-GRID и CBM. Машины предназначены для установки специализированного ПО коллабораций и запуска потока счетных задач через систему пакетной обработки. Эти же машины поддерживают NFS-сервис для доступа к специализированному ПО на счетных машинах вычислительной фермы.

Для обслуживания сайта WLCG (сайт — отдельный кластер в распределенной среде WLCG), используемого в ОИЯИ и других международных коллаборациях, установлены 22 сервера с системой gLite (ПО промежуточного уровня WLCG). Кроме поддержки работы самого сайта JINR-LCG2, часть серверов реализуют важные сервисы и функции поддержки российского сегмента проектов WLCG.

Еще в 2004 г. ЦИВК ОИЯИ был включен в проект LCG как его полноправная составляющая. В настоящее время вклад вычислительных ресурсов ЦИВК по отношению ко всему российскому сообществу WLCG составляет от 40 до 50 % и несколько меньше по ресурсам для хранения данных [5]. Сайт ОИЯИ является одним из наиболее работоспособных сайтов соответствующего размера в WLCG по критериям надежности и доступности.

Библиографический список

  1. Электрон. дан. — Режим доступа: http://lit.jinr.ru/view.php?lang=rus&var1=comp&var2=ccic&file=ccic/linux/menu-kl&menu=ccic/menu
  2. Электрон. дан. — Режим доступа: http://lit.jinr.ru/view.php?var1=comp&var2=ccic&lang=rus&menu=ccic/menu&file=ccic/linux/lin-os
  3. Электрон. дан. — Режим доступа: http://lit.jinr.ru/view.php?var1=comp&var2=ccic&lang=rus&menu=ccic/menu&file=ccic/recom/menu_paral
  4. Бедняков, И. В. Метод клонирования грид-элемента / И. В. Бедняков, А. Г. Долбилов, Ю. П. Иванов // Письма в ЭЧАЯ. — 2010. — Т. 7, № 6 (162). — С. 699—704.

  5. Korenkov, V. Grid activities at the JINR, Distributed Computing and Grid-technologies in Science and Education IV Int. Conference, Proceedings of the Conference, Dubna, 2010. — p. 142—147.
Н. Астахов (Nikolai.Astakhov@jinr.ru)
А. Долбилов (dolbilov@jinr.ru)
В. Иванов (ivanov@jinr.ru)
В. Кореньков (korenkov@cv.jinr.ru)
В. Мицын (vvm@jinr.ru)
В. Трофимов (tvv@jinr.ru)


"Содержание" "Раздел I (2,3)"