Лаборатория   информационных   технологий 

"Содержание"

Раздел III. GRID и участие в реализации
его международных проектов
WLCG и EGEE

С 2003 г. Объединенный институт ядерных исследований (ОИЯИ) принимает активное участие в двух крупномасштабных международных грид-проектах: WLCG (Worldwide LHC Computing Grid) и EGEE (Enabling Grids for E-sciencE) [1; 2]. Основной целью проекта WLCG является создание и поддержка инфраструктуры хранения и обработки данных физики высоких энергий, получаемых в экспериментах на ускорителе LHC (http://lcg.web.cern.ch/LCG/) [3]. ОИЯИ участвует в трех таких экспериментах (ALICE, ATLAS и CMS), и обеспечение надлежащих условий для полноценной работы физиков в этих экспериментах на всех этапах работы ускорителя является чрезвычайно важной задачей. Уже в 2003 г. ответственными представителями ЦЕРН, России и ОИЯИ был подписан Протокол, в котором определены следующие направления работ:

создание и поддержка инфраструктуры LCG в ОИЯИ;

— тестирование различных грид-технологий, предназначенных к использованию в LCG;

— изучение и проверка грид-технологий в контексте их использования в LCG, в частности Globus toolkit (http://www.globus.org/) или промышленные программные компоненты грид (http://gridcafe.web.cern.ch/gridcafe/gridprojects/industry.html);

— создание, развитие и поддержка репозитария и базы данных симулированных физических событий (MCDB);

— поддержка и развитие системы хранения данных CASTOR (CERN Advanced STORage manager; http://castor.web.cern.ch/castor/);

— участие в проекте ARDA (A Realization of Distributed Analysis for LHC; http://lcg.web.cern.ch/LCG/activities/arda/arda.html).

Проект EGEE (Enabling Grids for E-sciencE; http://www.eu-egee.org) был разработан в целях создания глобальной вычислительной инфраструктуры для науки, он поддерживается Европейским Cоюзом. ОИЯИ и российские институты, успешно работавшие в проектах EU DataGrid (http://www.eu-datagrid.org ) и LCG, были приглашены европейскими партнерами присоединиться к проекту EGEE. Целью этого проекта является объединение всех существующих национальных, региональных и отраслевых разработок в области грид-технологий в общую инфраструктуру для научных исследований. Инфраструктура проекта EGEE должна обеспечить круглосуточный доступ к высокопроизводительным вычислительным ресурсам (независимо от их географического положения) ученым всего мира на основе общих правил. В настоящее время проект EGEE объединяет ученых и инженеров из более чем 240 организаций в 45 странах. Грид-инфраструктура EGEE состоит из 41000 ЦПУ, около 5 PT (5 миллионов гигабайт) в дисковых и ленточных системах хранения данных и способна выполнять одновременно около 100 тысяч задач. Так как проект EGEE начался фактически на глобальной инфраструктуре LCG, инфраструктуры LCG и EGEE считаются одной общей инфраструктурой LCG/EGEE.

ОИЯИ и российские институты, участвующие в проекте EGEE, основали консорциум RDIG (Russian Data Intensive Grid) в качестве национальной федерации в рамках проекта EGEE для совместного выполнения работ, развития инфраструктуры EGEE в России и привлечения к этой деятельности российских организаций из других областей науки, образования и промышленности (см. карту консорциума RDIG на рис. 1). Создание консорциума RDIG EGEE было зафиксировано в официальном документе под названием “Меморандум о создании грид-инфраструктуры в России”, подписанном в 2003 г. директорами девяти институтов, включая ОИЯИ. Сейчас RDIG EGEE является частью глобальной инфраструктуры LCG/EGEE и состоит из 15 ресурсных центров, объединяющих 1500 ЦПУ и более чем 650 TB дискового пространства. На протяжении 2006—2007 гг. ОИЯИ участвовал в следующих работах в рамках проекта EGEE: SA1 — поддержка и развитие грид-инфраструктуры, NA2 — распространение знаний по грид-технологиям [4], NA3 — обучение и привлечение новых участников [5], NA4 — привлечение в среду грид и поддержка новых приложений [6].

Рис. 1. Консорциум RDIG (Russian Data Intensive Grid)

Создание инфраструктуры LCG/EGEE в ОИЯИ завершилось в середине 2004 г. Эта инфраструктура теперь является составной частью Центрального информационно-вычислительного комплекса (ЦИВК) ОИЯИ. Чтобы соответствовать требованиям глобальных проектов грид, требуется обеспечить необходимый уровень всех коммуникационных, сетевых и вычислительных составляющих инфраструктуры, включая широкополосные каналы связи, быструю локальную сеть, большую вычислительную мощность узлов грид-сегмента, установку и поддержку программного обеспечения экспериментов для среды грид (в ОИЯИ это ALICE, ATLAS, CMS и H1). Сегмент LCG/EGEE в ОИЯИ состоит из 251 вычислительного узла, которые обеспечивают все требуемые грид-сервисы. В 2006 г. был произведен переход к промежуточному программному обеспечению (ППО) нового поколения (текущая версия — GLITE-3_1_0) [7]. Также была обновлена базовая операционная система от версии Scientific Linux 3 до SL4. Доступ пользователей к ресурсам LCG/EGEE обеспечивается сервисами пользователького интерфейса (UI), установленными на одном из интерактивных узлов (lxpub04.jinr.ru ) ЦИВК. ОИЯИ обеспечивает следующие специализированные грид-сервисы в среде LCG/EGEE:

    • элемент хранения (Storage Element SE) — 42 TB дискового пространства в системе dCache;
    • вычислительный элемент (Computing Element — CE), обеспечивающий поддержку девяти виртуальных организаций (Virtual Organizations — VO), включая ALICE, ATLAS, CMS, LHCb, HONE (эксперимент H1 в DESY);
    • брокер ресурсов (Resource Broker — RB);
    • информационный сервис (BDII — Berkley DB Information Index);
    • прокси-сервис (Proxy service — PX);
    • расширенный сервис доступа к ресурсам LCG/EGEE (MyProxy);
    • систему контроля и управления загрузками (Workload Management System + Logging&Bookkeeping Service — WMS+LB);
    • систему мониторинговой информации на основе RGMA (MON-box);
    • файловую систему (LCG File Catalog — LFC);
    • специализированные сервисы виртуальных организаций ALICE и CMS (VO boxes).

Установлено также специализированное программное обеспечение, необходимое для разных виртуальных организаций: пакеты dCache xrootd door, AliROOT, ROOT, GEANT для ALICE; пакеты для ATLAS; пакеты CMSSW для CMS, пакеты DaVinchi и Gauss для LHCb.

Специализированный сервер выделен для обеспечения мониторинга сайтов RDIG EGEE/LCG на основе системы MonALISA [8]. Система мониторинга, разработанная несколько лет назад, была доработана и включает в себя сейчас также и средства учета использования ресурсов на сайтах RDIG, как по виртуальным организациям, так и по отдельным пользователям. Мониторирование осуществляется по количеству ЦПУ (всего, работает, не работает, свободно, занято), количеству задач (выполняется, в ожидании), объему дискового пространства (использовано, доступно), текущей пропускной способности сети и многим другим параметрам. Система учета обеспечивает информацией о количестве запущенных задач, использованном времени ЦПУ (общем и нормализованном), времени работы задач, времени ожидания, соотношении времен ожидания/работы и другую. На рис. 2 приведен пример информационной страницы системы. Информация системы учета и контроля ресурсов RDIG доступна по ссылке http://rocmon.jinr.ru:8080.

Рис. 2. Пример визуализации данных системы мониторинга и учета RDIG
http://rocmon.jinr.ru:8080

Создана также веб-страница с информацией о статистике передачи данных системы Phedex в RDMS CMS (http://rocmon.jinr.ru/scripts/phedex, см. рис. 1 в [9]), показывающая скорость передачи и объем переданных данных в разные периоды времени (часы, дни).

В рамках участия в проектах WLCG, EGEE и ARDA (A Realisation of Distributed Analysis for LHC) в сотрудничестве с российскими и иностранными коллегами выполнены:

    • поддержка и развитие сегмента LCG в ОИЯИ как части глобальной инфраструктуры LCG;
    • участие в Service и Data Challenges для CMS, ATLAS и ALICE [9—11];
    • поддержка ПО ALICE в 12 российских сайтах LCG;
    • создание и развитие системы мониторинга и учета в российской инфраструктуре LCG/EGEE;
    • испытания и оценка новых грид-технологий (OMII Open Middleware Infrastructure Institute, Globus Toolkit 3 & 4);
    • тестирование ППО gLite — gLite AMGA metadata service [12], Metadata catalog, Fireman catalog, gridFTP и VOMS (Virtual Organization Membership Service);
    • участие в ARDA в координации с экспериментами (разработка CMS Dashboard, condor-G monitoring, ATLAS Commander);

    • мониторирование и тестирование FTS (File Transfer System): мониторирование каналов FTS в ЦЕРН осуществляется специалистами ОИЯИ, начиная с февраля 2007 г. (https://twiki.cern.ch/twiki/bin/view/LCG/TransferOperations). Обеспечиваются: ежедневная информация с отслеживанием текущих проблем и открытых вопросов, еженедельные отчеты для Operation Meeting в ЦЕРН и еженедельный отчет по замеченным проблемам в системе Castor, обеспечивающей работу Tier-0. Ежедневная информация архивируется, сохраняя историю работы каналов;
    • разработка системы MCDB (база данных симулированных физических событий LCG) — создание наборов базовых модулей, разработка веб-интерфейса, обеспечение доступа к MCDB из пакета CMSSW (http://mcdb.cern.ch) [13; 14];
    • использование и развитие dCache;
    • участие в разработке системы CASTOR2;
    • организация учебных курсов для администраторов Grid.

Также была создана тестовая инфраструктура для среды gLite 3.X на базе нескольких узлов в ПИЯФ, ИЯИ, ИФВЭ и ОИЯИ.

Участие в разработке сертификационных тестов для VOMS может служить примером нашей деятельности по тестированию ППО gLite. Были созданы 32 программы для проверки функциональности администрирования виртуальных организаций (voms-admin ), как с использованием веб-интерфейса, так и средствами командной строки (CLI), и 28 программ для проверки работы пользовательской команды voms-proxy-init   (генерация прокси-сертификата). Все разработанные программы включены в автоматизированную систему проверки SAM (Service Availability Monitor) и регулярно используются в EGEE.

Особое внимание уделяется сотрудничеству с коллегами из стран-участниц ОИЯИ и их поддержке в работах по администрированию и развитию грид-систем. В февралемарте 2006 г. в ОИЯИ были проведены недельные курсы для системных грид-администраторов и пользователей ALICE из Украины. В сентябре 2007 г. были проведены рабочее совещание и курсы для системных администраторов из Румынии (общие вопросы администрирования грид-систем, грид-администрирование ALICE и ATLAS). В августе 2007 г., во время визита в ОИЯИ коллег из Вроцлавского университета, обсуждалось специальное соглашение о сотрудничестве в области грид-технологий. Сейчас это соглашение уже подписано.

ОИЯИ осуществляет общую координацию деятельности NA2 (распространение знаний по грид-технологиям) в консорциуме RDIG EGEE [5]. Разработан и поддерживается информационный веб-портал RDIG-EGEE (http://www.egee-rdig.ru). Портал реализован на базе веб-сервера Apache 2 с использованием системы управления базами данных ORACLE и PHP (см. информационную страницу портала RDIG-EGEE на рис. 3). Все информационные бюллетени и выпуски новостей EGEE регулярно переводятся на русский язык и публикуются на страницах портала. Создан видео-клип “Участие ОИЯИ в EGEE”. Была подготовлена специальная презентация для Международного экономического форума в Санкт-Петербурге (июнь 2007 г.). ОИЯИ организовал в Дубне первый в России форум “День грид-индустрии” (Grid Industry day), который привлек большое количество промышленных организаций и компаний, заинтересованных в развертывании и использовании современных грид-технологий.

ОИЯИ организовал и провел Вторую международную конференцию GRID-2006 “Распределенные вычисления и грид-технологии в науке и образовании” (http://grid2006.jinr.ru). Конференция собрала более 200 ученых из России и стран СНГ. Это первая конференция в Российской Федерации, посвященная современным грид-технологиям.

Работа осуществляется в тесном сотрудничестве с нашими партнерами из Белоруссии, Украины, Чехии, Румынии, Германии, Южной Африки, Болгарии.

В результате участия ОИЯИ в проектах WLCG и EGEE грид-сайт ОИЯИ полностью интегрирован в глобальную инфраструктуру LCG/EGEE, обеспечивая все необходимые аппаратурные, организационные и программные ресурсы для участия специалистов института в экспериментах ALICE, ATLAS и CMS на ускорителе LHC, запуск которого ожидается в 2008 г. Планируется продолжение участия в проекте WLCG, чтобы развивать и поддерживать сайт LCG/EGEE в ОИЯИ на необходимом уровне в течение всего времени проведения экспериментов на ускорителе LHC. Дальнейшая деятельность ОИЯИ в проекте WLCG базируется на Меморандуме о взаимопонимании, подписанном в сентябре 2007 г. Россией, ОИЯИ и ЦЕРН. Это соглашение дает юридическую и финансовую основу для участия России и ОИЯИ в проекте WLCG после запуска LHC. Планируется продолжение деятельности и на следующем этапе реализации проекта EGEE, учитывая, что эти два проекта развиваются в тесном сотрудничестве.

Рис. 3. Веб-портал RDIG-EGEE (http://www.egee-rdig.ru)

Результаты деятельности ОИЯИ в проектах WLCG и EGEE доложены на международных коференциях (“Distributed Computing and GRID-technologies in Science and Education”, Dubna, Russia, 2006; ACAT 2007, Amsterdam, 2007; NEC’2007, Varna, Bulgaria, 2007; “Physics at the Future Colliders”, Tbilisi, 2007; ICFA Workshop on Grid Activities within Large Scale International Collaborations (Sinaia, Romania, 2006) и конференциях EGEE (Geneva, 2006; Budapest, 2007) [15].

Библиографический список

1. S.D. Belov, V.V. Galaktionov, V.V. Korenkov, N.A. Kutovsky, V.V. Mitsyn, E.G. Oleynik, G.S. Shabratova, T.A. Strizh, E.A. Tikhonenko, I.M. Tkachev, V.E. Zhiltsov, JINR Participation in the LCG and EGEE Projects (in Russian), LIT JINR Scientific Report 2006—2007, Dubna, JINR, 2008, pp. 47—52.

2. V. Korenkov, JINR Participation in the LCG and EGEE Projects, NEC’2005 Proceedings, Dubna, 2006, pp. 170—173.

3. LHC Computing Grid Technical Design Report, LCG-TDR-00, CERN-LHC-2005-024, CERN, Geneva, 20 June 2005, http://cern.ch/lcg/tdr.

4. A. Kryukov, A. Demichev, V. Kovalenko, V. Mitsyn, Migration of basic RDIG-EGEE grid service to gLite new generation middleware (in Russian), in Proc. of the 2nd Int. Conference “Distributed Computing and Grid-technologies in Science and Education”, Dubna, 2006, pp. 343—345.

5. T.A. Strizh, Grid Awareness Dissemination and Outreach Activities in Russian Federation, NEC’2005 Proceedings, Dubna, 2006, pp. 260—263.

6. V. Korenkov, N. Kutovskiy, I. Tkachev, Experience of Grid Infrastructure Installation, User and Administrator Traing in Grid, in Proc. of the 2nd Int. Conference “Distributed Computing and Grid-technologies in Science and Education”, Dubna, 2006, pp. 96—98.

7. E. Tikhonenko, Application Identification and Support (NA4) Activities in the RDIG-EGEE consortium, in Proc. of the XXth Int. Symposium on Nuclear Electronics and Computing, Dubna, 2006, pp. 264—266.

8. S.D. Belov, I.M. Tkachev, RDIG monitoring and accounting, in Proc. of the 2nd Int. Conference “Distributed Computing and Grid-technologies in Science and Education”, Dubna, 2006, pp. 26—27.

9. V.V. Ivanov, N.I. Gromova, V.V. Korenkov, N.A. Kutovsky, V.V. Mitsyn, E.A. Tikhonenko, P.V. Zrelov, Organization and Support at LHC Computing at the Joint Institute for Nuclear Research, LIT JINR Scientific Report 2006—2007, Dubna, JINR, 2008, pp. 38—42.

10. E. Slabositskaya, L. Stepanova, Y. Lyublev, N. Kutovsky, V. Mitsyn, G. Shabratova, E. Ryabinkin, A. Kiryaniv, N. Kruglov, S. Zotkin, A. Zarochentsev, Distributed Computing Environment of ALICE in 2006 Data and Service Challenges at RDIG Sites, in Proc. of the 2nd Int. Conference “Distributed Computing and Grid-technologies in Science and Education”, Dubna, 2006, pp. 147—154.

11. V. Gavrilov, I. Golutvin, V. Ilyin, O. Kodolova, V. Korenkov, S. Shmatov, E. Tikhonenko, RDMS CMS Computing, in the Proceedings of the 2nd Int. conference “Distributed Computing and GRID-technologies in Science and Education, Dubna, 2006, pp. 61—65.

12. V. Pose, B. Koblitz, Testing of the gLite-AMGA Metadata Service, in Proc.of the 2nd Int. Conference “Distributed Computing and Grid-technologies in Science and Education”, Dubna, 2006, pp. 128—133.

13. P. Bartalini, S. Belov et al., LCG Generator, in the Proceedings of the International Conference on Computing in High-Energy Physics: CHEP'04, Interlaken, Switzerland, 2004, vol. 2, pp. 83—186; L. Dudko et al., hep-ph/0404241.

14. S. Belov et al., LCG MCDB — a Knowledgebase of Monte-Carlo Simulаted Events, to be published in CPC.

15. http://grid2006.jinr.ru;  http://nec2007.jinr.ru/programme.asp;.  
http://niham.nipne.ro/events2006/?Workshop_Program.

От коллектива участников работВ. Кореньков (korenkov@cv.jinr.ru)


"Содержание" "Раздел IV"