Лаборатория   информационных   технологий 

"Содержание"

Раздел III. GRID и участие в реализации его международных проектов

1. Новые проекты ЛИТ ОИЯИ

В 2011 г. сотрудники ЛИТ ОИЯИ включились в работу по многим перспективным проектам.

В течение года обсуждалась идея создания в России крупного центра уровня Tier1 для хранения, обработки и анализа данных с Большого адронного коллайдера (БАК). После долгих дискуссий на совместном заседании комиссии по сотрудничеству Россия—ЦЕРН в октябре 2011 г. было принято решение о создании такого центра в России на базе НИЦ “Курчатовский институт” и ОИЯИ. Центр планируется создать в два этапа. Первый этап — создание прототипа — должен завершиться в 2012 г., а полнофункциональный Tier1 в России должен начать работу в середине 2014 г. после реконструкции БАК.

Для выполнения работ первого этапа указанными организациями был выигран лот в рамках федеральной целевой программы “Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007—2013 годы”. Проект “Создание автоматизированной системы обработки данных экспериментов на Большом адронном коллайдере уровня Tier1 и обеспечения грид-сервисов для распределенного анализа этих данных” рассчитан на 2 года и имеет стратегически важное значение для развития компьютинга в ОИЯИ.

Другой проект, по которому был выигран лот в указанной федеральной целевой программе, имеет следующее направление деятельности: “Разработка моделей интегральных систем off-line обработки, хранения и распределенного анализа данных экспериментов на будущих научных мегаустановках”. В этом проекте должна быть разработана модель распределенной обработки данных для установки NICA.

Под эгидой Министерства связи и массовых коммуникаций РФ началась работа по развитию национальной грид-сети. Сотрудники ЛИТ ОИЯИ принимают участие в этой программе — как в направлении создания национальной грид-инфраструктуры, так и в создании программных интерфейсов к популярным программным пакетам.

В сотрудничестве с ЦЕРН сотрудники лаборатории активно участвуют в таких крупных проектах по развитию грид-технологий, как:

— Tier3 мониторинг;
— создание файлового менеджера для грид-систем;
— развитие системы управления распределенными файловыми ресурсами эксперимента ATLAS (ATLAS DDM);
— xROOTd мониторинг;
— глобальная система мониторинга передачи данных в инфраструктуре проекта WLCG.

В рамках подписанного соглашения ЦЕРН—ОИЯИ проводится совместная работа по адаптации системы EVM, в которой реализованы общие принципы управления проектами и алгоритмы методики освоенного объема, для комплекса NICA.

Разработан план по внедрению системы EVM, состоящий из двух фаз:
— подготовка, настройка и запуск прототипа системы EVM в ЦЕРН;
— развертывание системы EVM в ОИЯИ, запуск в эксплуатацию.

Здесь дается краткая информация по новым проектам, которые начали выполняться в 2011 г. Следует заметить, что наряду с этими выполняются и другие важные проекты, которым также необходимо уделять внимание.

В. Кореньков (korenkov@cv.jinr.ru)

2. Grid Commander: графический интерфейс для работы с задачами и данными в системе GRID

GridCom — пакет программ для обеспечения автоматизации доступа к средствам распределенной системы GRID (задачам и данным). Последняя версия GridCom 2.1 обеспечивает работу с программным обеспечением LCG (LHC Computing Grid) — middleware gLite 3.1.

Программный пакет GridCom состоит из двух компонент:

— графической клиентской части, собственно GridCom, которая выполнена в виде Java-апплетов, реализующих web-интерфейс доступа к GRID через стандартные браузеры с поддержкой Java;
— исполнительной части Lexor (LCG Executor), которая запускается в работу пользователем на UI (User Interface) машине, обеспечивающей выполнение грид-операций.

Синхронизация и взаимодействие этих компонент (генерация запросов и их выполнение) производится через общие таблицы реляционной базы данных, в данной реализации — MySQL.

Функционально пакет состоит из двух частей:

    1. Job Management (управление задачами), в которой выполняются следующие операции:
    2. — подготовка задачи в формате JDL (Job Definition Language),
      — редактирование задачи,
      передача задачи в WMS (Workload Management System),
      — проверка состояния задачи,
      — получение результатов счета,
      — получение дополнительной информации о состоянии
      GRID.

    3. Data Management (управление данными), в которой выполняются операции с файлами в GRID:

download — загрузка файлов из хранилища данных в GRID (SE, Storage Element) в локальную файловую систему,
upload — копирование файлов из локальной файловой системы в SE,
— операции с логическими именами файлов в LFC-каталоге (операции lfc-*),
— основные операции (создание, преобразование, удаление файлов и их репликаций) lcg-utils.

От пользователя требуется:

— минимальное знание операционных систем Linux и Windows,
— иметь общее представление об архитектурной организации WLCG,
— иметь доступ (Unix account) к программному обеспечению GRID (Grid UI),
— иметь пользовательский грид-сертификат,
— быть зарегистрированным в виртуальной организации
GRID.

Запуск:

— клиентской программы GridCom: http://wwwinfo.jinr.ru/~gvv/GridCom;
— исполнительной программы Lexor на UI-машине:
export GC_LOC=/afs/jinr.ru/user/g/gvv/public/GridCom,
glite-voms-proxy-init,
$GC_LOC/Lexor.sh.

Программы написаны на языке Java, что обеспечивает высокую степень их транспортабельности на родственные инфраструктуры (OC Unix, базы данных).

Работа подтверждена патентом (свидетельство об официальной регистрации программы для ЭВМ № 2006614056), зарегистрированным в Реестре программ для ЭВМ Федеральной службы по интеллектуальной собственности, патентам и товарным знакам 27 ноября 2006 г.

Возможны консультации с потенциальными пользователями данного пакета.

В. Галактионов (galakt@jinr.ru)

3. Информационный GRID-портал ОИЯИ

Созданный в 2010 г. информационный портал, содержащий сведения об участии ОИЯИ в использовании, разработке и тестировании современных грид-технологий, поддерживается как на русском, так и на английском языках. Портал доступен по следующей ссылке: http://grid.jinr.ru. Иерархическая структура портала представлена на рис. 8.

Рис. 8. Структура грид-портала ОИЯИ (на русском и английском языках)

Навигация по порталу предусмотрена двумя способами:

1) из верхней панели, где содержатся названия только основных разделов,
2) из размещенного в правой части web-страницы полного иерархического перечня всех разделов портала.

Навигация из верхней панели при подведении курсора к соответствующему разделу дает возможность увидеть все вложенные подразделы (рис. 9).

Рис. 9

Л. Тихоненко (eat@cv.jinr.ru)


"Содержание" "Раздел IV (1,2)"