Лаборатория   информационных   технологий 

Содержание

От редактора

Раздел I. Базовый информационно-вычислительный сервис для пользователей локальной сети ОИЯИ

1. Состояние и ближайшие перспективы развития центрального информационно-вычислительного комплекса (ЦИВК) ОИЯИ
2. О руководстве для пользователей Linux-кластера ЛИТ ОИЯИ
3. Библиотеки программ, доступные пользователям ЭВМ ОИЯИ
4. WEB-сервер HEPWEB в ЛИТ ОИЯИ для моделирования и математической поддержки обработки экспериментальных данных физики высоких энергий


Раздел II. Сетевой сервис общего назначения

5. Состояние и планы развития локальной сети ОИЯИ и ее внешних каналов связи
6. Положение о правилах сетевого доступа к электронным версиям научных журналов
7. О сервисе по поиску и заказу книг в библиотеке ЛИТ

Раздел III. GRID и участие в реализации его проектов

8. Проект “Дубна-Грид”
9. О разработках Web-порталов по тематике Grid-систем
10. О мониторе прохождения задач в рамках проекта LCG

Раздел IV. Обзоры и рекомендации

11. Программное обеспечение Grid: состояние и перспективы
12. Реинжениринговая технология автоматизированного построения распределенных вычислительных систем на основе автономно разработанных фортранных программ

Раздел V. Если Вам нужна помощь…


От редактора

  Предыдущий выпуск Информационного бюллетеня ЛИТ № 2 [43] (см. электронную версию по адресу http://lit.jinr.ru/Inf_Bul_2) был в основном посвящен внедрению и средствам использования четырехуровневого базового PC/Linux-кластера, существенно расширявшего возможности Центрального информационно-вычислительного комплекса (ЦИВК) ОИЯИ.

  В данном выпуске Информационного бюллетеня ЛИТ № 3 [44] (раздел I) указывается современное состояние, область применения и перспективы развития этого комплекса, в том числе в части его системного и прикладного программного обеспечения. В порядке информационной поддержки пользователей Linux-кластера было подготовлено и опубликовано руководство P11-2004-184, охарактеризованное в статье 2 раздела I данного выпуска. В настоящее время доступна электронная версия этого руководства по адресу: http://www.jinr.ru/unixinfo/usersguide/. Поскольку информация о библиотеках программ, доступных для пользователей ЭВМ ОИЯИ, не была включена в указанное руководство, она также помещена в разделе I.

  Раздел II посвящен описанию проведенных и планируемых работ по развитию локальной сети ОИЯИ и ее внешних каналов связи, выполняемых сетевой службой (NOC) ЛИТ совместно со службами других подразделений ОИЯИ и города. Сеть ОИЯИ и ее вычислительные средства применяются не только для решения локальных задач Института, но и для обеспечения участия в целом ряде международных проектов по обработке экспериментальных данных, что в свою очередь требует создания и внедрения новых технологий построения распределенных информационно-вычислительных комплексов (Grid/Грид-систем). Работы, проведенные и продолжающиеся в ОИЯИ по этой тематике, достаточно хорошо представлены в Трудах международной конференции “Распределенные вычисления и Грид-технологии в науке и образовании” (Дубна, 2004 год). Кроме этого, в разделе II представлены правила сетевого доступа к электронным версиям научных журналов, а также информация об использовании специально разработанного Интернет-сервиса по поиску и заказу книг в Библиотеке ЛИТ.

  В разделе III данного выпуска бюллетеня особое внимание уделяется оригинальному проекту “Дубна-Грид”, разработанному с участием специалистов ЛИТ и представителей других организаций Дубны (в первую очередь научно-образовательных). Поскольку для ряда потенциальных читателей бюллетеня тематика Грид-систем (их системного, программного обеспечения и способов использования) может быть сравнительно новой, было решено поместить соответствующий редакторский обзор в разделе IV.

В. Шириков (shirikov@jinr.ru)

"На содержание"


Раздел I. Базовый информационно-вычислительный сервис для пользователей локальной сети ОИЯИ

1. Состояние и ближайшие перспективы развития центрального информационно-вычислительного комплекса (ЦИВК) ОИЯИ

I. Текущее состояние технических средств ЦИВК
1. Параметры сети

  Практически все машины работают на собственной подсети, подключенной к опорной сети ОИЯИ через маршрутизатор cisco со скоростью 100 Мбит/с. Внутренняя подсеть ЦИВК также имеет скорость 100 Мбит/с. Машины подключаются через коммутаторы различных призводителей на скорости 100 Мбит/с. Хотя некоторые машины имеют гигабитный интерфейс и имеется один коммутатор для такого подключения, такая скорость не используется, так как в режиме разных скоростей работы клиентов и серверов NFS неизбежные потери фрагментов пакетов на коммутаторах приведут к множественным повторным передачам и, как следствие, к перегрузке сети и общему уменьшению скорости ее работы.
  7 машин подключены к высокоскоростной сети Myrinet, сконструированной для эффективной работы в среде параллельных вычислений..
  Одна из машин ЦИВК подключена как непосредственно к опорной сети ОИЯИ, так и ко внутренней подсети ЦИВК и работает как редиректор, перенаправляя сетевые соединения к виртуальным сервисам на реальные машины. В частности, это происходит при работе с виртуальным адресом cv.jinr.ru..
  Одна из машин ЦИВК установлена как VRVS рефлектор и обеспечивает работу видео конференций для всего сетевого домена .ru, то есть для всей России.

2. Технические характеристики вычислительной и информационной среды

  В настоящее время в ЦИВК ОИЯИ имеются 44 машины, непосредственно доступные пользователям. Все машины 2-процессорные и имеют следующие характеристики:

   — 8 P-III, 500 МГц, RAM 512 МБ (ферма общего назначения);

   — 18 P-III, 1 ГГц, RAM 512 МБ (ферма для экспериментов на LHC в рамках проектов LCG и EGEE; интерактивный кластер);

   — 10 P-III, 1 ГГц, RAM 1.5 ГБ (ферма для экспериментов на LHC);

   — 8 AMD Athlon, 2 ГГц, RAM 2 ГБ (ферма параллельных вычислений).

  Суммарная производительность — около 40000 SI2K.

  Для хранения программ и данных имеются 7 дисковых серверов с общей емкостью дискового пространства около 10 ТБ, с аппаратными RAID-5 контроллерами. Один из этих серверов полностью задействован в структуре LCG-2 как элемент хранения данных (SE).

  Для поддержки общей информационной инфраструктуры ОИЯИ задействованы несколько вспомогательных серверов различной конфигурации. 3 специализированных сервера установлены с программной поддержкой RAID-5, с общей емкостью дискового пространства около 1 ТБ. Вспомогательные сервера:

       — сервер WWW;

       — сервер баз данных;

       — 2 сервера CASTOR;

       — 3 сервера поддержки инфраструктуры LCG и EGEE;

       — сервер мониторинга аппаратных ресурсов;

       — редиректор виртуальных адресов на физические машины;

       — VRVS рефлектор.

       — LCG CE и MON.

  Эти же сервера поддерживают целый ряд инфраструктурных сервисов для ОИЯИ и ЦИВК, таких как:

       — AFS;

       — NFS;

       — amanda — резервное копирование;

       — e-mail;

       — ntp — синхронизация времени;

       — dhcp, tftp — загрузка ОС по сети.

  Почти все машины ЦИВК установлены без мониторов и клавиатуры, в качестве консольного устройства используется com-порт, подсоединенный к серийному мультиплексору. Некоторые материнские платы позволяют даже управлять BIOS через com-порт.

  В составе ЦИВК ОИЯИ имеются ряд серверов и рабочих станций производства фирм SUN, DEC и Hewlett-Packard, использующихся только в ограниченном режиме, то есть только отдельными пользователями, или для поддержки определенных инфраструктурных сервисов ЦИВК и ОИЯИ. 8-процессорная машина SPP-2000 используется в основном для параллельных вычислений.

  Ленточный робот ATL-2640 емкостью 1,5 ТБ используется для резервного копирования наиболее важных системных файлов и ПО пользователей ЦИВК.

II. Текущее состояние программных средств и организация работы пользователей ЦИВК ОИЯИ

  Основной операционной системой ЦИВК является ОС Linux — CERN RedHat, с соответствующим программным обеспечением: компиляторы, отладчики, редакторы, графические оболочки и так далее. Дополнительное ПО в основном также взято из набора, используемого в CERN. (Более подробное описание работы с ПО смотрите в вышедшем из печати “Руководстве для пользователей Linux-кластера ЛИТ ОИЯИ” Галактионова В.В. и др.)

  Пользователи, работающие с ПО различных научных коллабораций, самостоятельно устанавливают соответствующие пакеты в дисковое пространство на NFS, специально выделенное каждой коллаборации пользователей. В настоящий момент на машинах ЦИВК регулярно работают около 20 крупных международных коллабораций.

  Основным протоколом разделения дискового пространства в данное время является NFS. Для домашних директорий пользователей используется только AFS. Использование системы CASTOR для доступа к большим объемам данных пользователей находится пока на стадии отладки и тестирования.

  Основой работы пользователей в режиме пакетной обработки заданий является широко распространенная система PBS, доработанная для использования с AFS.

  Уже почти год в ЦИВК успешно работает новейшая GRID система — LCG-2. ОИЯИ успешно участвует во всех европейских проектах внедрения GRID-технологий с самого начала разработки этих проектов. В данный момент этой системой пользуются исключительно коллаборации LHC, но мы надеемся внедрить такие технологии в практическую работу большинства пользователей ОИЯИ.

  Логически структура ЦИВК разделена на несколько кластеров и ферм. Большинство серверов выполняют вспомогательные функции и не видны и не доступны обычным пользователям. С точки зрения пользователя структура ЦИВК выглядит следующим образом.

  — Интерактивный кластер из 3-х машин с общим виртуальным именем cv.jinr.ru, реальные машины: lxpub01-lxpub03.

  Это единственное место в структуре ЦИВК для повседневной интерактивной работы пользователей, для редактирования, отладки программ, запуска иx в пакетную обработку (batch), для работы с текстами, в интеpнете и тому подобных работ. На этих же машинах установлено ПО для работы с LCG, интерфейс пользователя (UI) в терминах LCG.

  — Вычислительная ферма общего назначения: lxit01-lxit08.

  Предназначена для счета задач любыми пользователями ЦИВК ОИЯИ.

  — Вычислительная ферма параллельных вычислений: myrc01-myrc08.

  Предназначена для запуска задач параллельных вычислений, которые считаются сразу на нескольких машинах.

  — Вычислительная ферма коллабораций LHC: lhc002-lhc016.

  Предназначена для счета по задачам коллабораций ALICE, ATLAS, CMS и LHCb.

  — Кластер LCG-2: lcg011-lcg20, lgcce01, lcgse01, lcgmon.

  Запуск задач на этом кластере осуществляется только средствами LCG-2 и только зарегистрированными в LCG пользователями. В настоящее время только члены колаабораций LHC в ОИЯИ могут зарегистрироваться как пользователи LCG-2.

  Отметим некоторые правила и ограничения на работу пользователей на различных машинах ЦИВК.

  — Пользователям запрещен вход на любые сервера ЦИВК.

  — Специальная программа следит за тем, чтобы на интерактивных машинах не запускались счетные задачи с интенсивным использованием процессора более 30 минут непрерывно.

   Специальная программа отслеживает подвисшие интерактивные сеансы и обрывает их, если в сеансе более 3-х часов нет ввода и вывода.

  — Пользователям запрещен интерактивный вход на счетные фермы, кроме как средствами PBS.

  — На ферме общего назначения каждый пользователь может считать не более 6 задач одновременно, но в очередь можно ставить до 20 задач.

  — На ферме параллельных вычислений можно запускать только параллельные вычисления. Если эта ферма не используется для параллельных вычислений, то разрешается запускать обычные, но короткие задачи, до 2-х одновременно от каждого пользователя.

III. Ближайшие перспективы развития технических средств ЦИВК

  Возможно некоторые описанные здесь изменения уже произойдут в то время, когда Вы будете читать эту статью. Дата написания статьи — 15.02.2005.

1. Параметры сети

  В этом году планируется подключить подсеть ЦИВК к опорной сети ОИЯИ на скорости 1 ГБ. Это гарантирует хорошие характеристики работы пользователей ЦИВК в режиме интерактива, а также обеспечит возможность работы с серверами CASTOR на всей сети ОИЯИ, подсети Университета “Дубна” и машинах, работающих в проекте “Дубна-Грид”.

  Внутренняя подсеть ЦИВК останется на скорости 100МБ, так как у нас останутся машины и маршрутизаторы, не имеющие интерфейсов со скорость в 1 ГБ.

  Возможно произойдет замена VRVS рефлектора с подключением его непосредственно на магистральную сеть ОИЯИ.

2. Технические характеристики вычислительной и информационной среды

  В ближайшее время планируется заменить машины на ферме общего назначения. Уже заказаны 8 машин Dual AMD Athlon, 2 ГГц, RAM 2 ГБ. Еще 2 таких же машины устанавливаются для работы в качестве тестового стенда для перехода на новое ПО. После окончания отладки нового ПО, они будут также включены в состав фермы общего назначения.

       Заказаны 2 машины для тестирования и отладки нового ПО для LCG и EGEE.

       Устанавливается дисковый сервер данных, емкостью 1 ТБ.

       Заказаны 2 дисковых сервера RAID-5 для CASTOR, общей емкостью 4 ТБ.

       Заказаны 2 сервера томов AFS RAID-1, общей емкостью 1,5 ТБ.

       Будет заказан сервер баз данных с дисковым пространством не менее 500 ГБ с SCSI RAID5 контроллером.

       Будет заказана новая машина для рефлектора VRVS.

  Конечно самые большие надежды на увеличение вычислительной мощности ЦИВК мы связываем с успешным освоением ресурсов проекта “Дубна-Грид” (см. с. 27). Каждая вычислительный узел эквивалентен P-IV 1,8 ГГц, 512 МБ RAM.

   Таким образом, видимо к середине лета ЦИВК будет иметь следующие вычислительные и дисковые ресурсы, в сравнении с нынешним состоянием:

 

15.02.2005

01.07.2005

  Вычислительные узлы ЦИВК

  44 Dual P-III/Athlon

  40000 SI2K

  46 Dual P-III/Athlon

  50000 SI2K

  Дисковое пространство

  10 ТБ RAID-5

  17 ТБ RAID-5/RAID-1

  Вычислительные узлы

  “Дубна-Грид”

  > 300 P-IV

  > 165000 SI2K

   В настоящее время мы не можем планировать приобретение еще каких-то вычислительных ресурсов или дисковых серверов для ЦИВК ОИЯИ, так как нет сведений ни по бюджетным средствам, ни по внебюджетным (различные гранты и другие проекты).

   Мы не планируем массовое внедрение машин 64-битной архитектуры в ЦИВК. Хотя отдельные машины для проверки, отладки и работы некоторых проектов будут приобретаться уже в этом году. Что интересно: цены на такие машины уже почти сравнялись с ценами на машины с 32-битными процессорами, по крайней мере это характерно для машин с процессорами AMD Athlon и Athlon-64.

"На содержание"

IV. Перспективы развития программных средств и изменения в организации работы пользователей ЦИВК ОИЯИ

  В ближайшее время планируется заменить базовую ОС ЦИВК на Scientific Linux CERN (SLC). Этот дистрибутив разработан совместно несколькими научными организациями, включая CERN и FNAL. SLC разработан на основе сборки исходных текстов коммерческого продукта фирмы Red Hat, Inc. — RHEL3 и является его полным аналогом. SLC — вариант массово устанавливаемый в CERN. SLC распространяется с CERNLIB2004. Для SLC имеется большинство пакетов, применяемых в физике высоких энергий, уже собранных для SLC, например — root. Для RHEL3, а значит и для SLC имеются в готовом виде практически любые пакеты программ, свободно распространяющиеся в интернете. Необходимые добавления и изменения по обеспечению безопасности системы появляются весьма оперативно.

  Для постепенного перехода пользователей на новую систему в ЦИВК устанавливаются две 2-процессорные мащины (RAM 2 ГБ), доступные всем пользователям ЦИВК. На этих машинах будет проверено как специфическое для нас системное ПО, так и собственное ПО пользователей. Одна из машин будет работать в режиме поддержки интерактивной работы пользователей, вторая — в качестве счетного узла. В качестве дополнительных счетных узлов мы планируем уже в ближайшее время подключить несколько десятков узлов проекта “Дубна-Грид” (они уже работают под управлением ОС SLC).

  В 2005 году мы, совместно с NOC ОИЯИ, планируем внедрить единую базу данных регистрации, идентификации и авторизации всех пользователей ОИЯИ на основе LDAP, Kerberos v5 и AFS. Надеемся, что это не потребует перерегистрации пользователей ЦИВК.

  В текущем году будет осуществляться переход от использования NFS для доступа к общему ПО и данным к использованию AFS и CASTOR (и/или d-Cache). AFS будет основным и видимо единственным методом доступа к общему ПО, но практически все изменения будут незаметны для обычных пользователей. При доступе к данным, которые сейчас подключены ко всем машинам ЦИВК с помощью NFS, ситуация поменяется значительно. Мы планируем поместить на странице ЛИТ ряд инструкций и разъяснений с примерами о том, как переходить от старого метода доступа к данным к доступу по правилам и протоколам CASTOR. Что касается внедрения d-Cache, как альтернативного CASTOR и NFS метода доступа к данным, то мы пока не нашли надежно работающей версии этого продукта и хорошего описания по его установке и использованию.

  С внедрением ОС SLC и подключением вычислительных мощностей проекта “Дубна-Грид” будет реорганизована система пакетной обработки — PBS. В ближайшее время PBS будет заменена на систему Torque и MAUI. Torque и MAUI являются дальнейшим развитием OpenPBS, поэтому для пользователя мало что изменится, даже набор пользовательских команд остается прежним. Существенно изменится система очередей и планировщик запуска заданий на счет. Это позволит ограничиться одной или двумя очередями и динамически расставлять приоритеты запуска заданий.

  В 2005 году планируется провести ряд мероприятий по внедрению Grid-технологий в повседневную работу пользователей ЦИВК ОИЯИ. Это направление является очень важным, так как в ближайшие годы Grid-технологии станут для пользователей совершенно необходимым инструментом их повседневной деятельности. Так же как WWW стал сейчас синонимом Интернета, так же Grid станет синонимом вычислительной мощности и места хранения данных для очень многих областей науки, образования и промышленности. Все моделирование и обработка данных больших физических установок, таких как LHC, уже в ближайшие год-два будут переведены в область Grid-технологий.

  Существует проект внедрения системы Quattor, который мы попытаемся реализовать в каком-то варианте к концу 2005 года. Quattor позволяет существенно упростить массовую установку базовой ОС и дополнительного ПО на разнообразные как по аппаратной конфигурации, так и по назначению машины. Она позволяет проводить динамическую настройку и поддерживать все ПО в актуальном состоянии на каждой отдельной машине, учитывая всю специфику конкретной установки.

Ссылки:

    1. http://www.jinr.ru/unixinfo/scc/news.html
    2. http://lcg.web.cern.ch/LCG/
    3. http://egee-intranet.web.cern.ch/egee-intranet/gateway.html
    4. https://gus.fzk.de/pages/docu.php
    5. http://www.openafs.org/frameless/main.html
    6. http://castor.web.cern.ch/castor/
    7. http://www.dcache.org/
    8. http://quattor.web.cern.ch/quattor/
В. Иванов (ivanov@jinr.ru)
В. Кореньков (korenkov@cv.jinr.ru)
В. Мицын (vvm@cv.jinr.ru)

"На содержание"

2. О руководстве для пользователей Linux-кластера ЛИТ ОИЯИ

    Коллективом авторов: В.В. Галактионов, Т.М. Голоскокова, Н.И. Громова, А.В. Гусев, В.В.Мицын, Ж.Ж. Мусульманбеков, И.К. Некрасова, В.Д. Позе, А.В. Сергеев, Е.А.Тихоненко — подготовлено и вышло из печати под редакцией В.В. Коренькова “Руководство для пользователей Linux-кластера ЛИТ ОИЯИ” (Р11-2004-184). Данное руководство содержит сведения, необходимые для работы на кластере: информацию о структуре Linux-кластера и базовом программном обеспечении, начальные рекомендации для пользователяй, сведения о файловой системе AFS, рекомендации для пользователей параллельного вычислительного кластера, перечень и краткое описание основных команд при работе в операционной системе Linux, описание работы с Midnight Commander, сведения по рекомендуемым редакторам и некоторым средствам разработки программ (компиляторы, редактор связей, отладчики), инструкции по графическим пакетам на Linux кластере (ImageMagic, Chimera, Grace, IrisExplorer, OpenDX), краткое описание СУБД MySQL, рекомендации по работе с PHP-программами, сведения об информационном сервере linux4u, список рекомендуемой литературы о Linux на русском языке, а также сравнительное сопоставление прикладных пакетов в средах ОС Windows и Linux.

   В электронном виде данное руководство для пользователей, а также версия для печати доступны в разделе “Руководство для пользователей” на странице http://www.jinr.ru/unixinfo/ (ЦИВК).

   По мере появления какой-то информации, расширяющей или корректирующей материал вышедшего из печати руководства, она будет отображаться в его электронной версии или других разделах указанной страницы: в частности, в разделе “Практические рекомендации”, содержащем сейчас статьи “В помощь начинающему Web-мастеру”, “Работа с многомерными массивами” и “MPI под MS Windows”. Материал, относящийся к описаниям состава и средств использования доступных библиотек программ общего и специального назначения, размещен и пополняется или корректируется в разделах страницы http://www.jinr.ru/programs/ ее авторами: А. Сапожниковым (sap@jinr.ru) и Т. Сапожниковой (tsap@cv.jinr.ru).

И. Некрасова (ira@jinr.ru)
Е. Тихоненко (eat@cv.jinr.ru)

 


3. Библиотеки программ, доступные пользователям ЭВМ ОИЯИ

Библиотека программ JINRLIB

  JINRLIB — библиотека программ, предназначенных для решения широкого круга математических и физических проблем, возникающих в ходе научной деятельности сотрудников ОИЯИ. Основу библиотеки составляют программы из MATHLIB и KERNLIB — ядра программного обеспечения ЦЕРН, и LIBDUBNA — популярной в прошлом библиотеки программ. Пополнение библиотеки происходит новыми программами, создаваемыми сотрудниками ОИЯИ и их коллаборантами. Библиотека распространяется в виде объектных модулей и в виде самостоятельных пакетов прикладных программ. Подготовлена WWW-страница, обеспечивающая электронный доступ к текстам программ, описаниям, библиотекам:

http://www.jinr.ru/programs/

  Пакеты прикладных программ JINRLIB, появившиеся в течение последнего года:

  Create-JINRLIB-entry

Генератор стандартной страницы для библиотеки “JINRLIB”.

Автор — А.Г. Соловьев

  MaVi

Программа для визуализации матричных данных.

Автор — А.Г. Соловьев

  SYSINT (SYSINTM)

Комплекс программ для решения задачи на собственные значения для системы интегральных уравнений.

Автор — Е.В. Земляная

  HEA-CRS, HEA-TOTAL

Программы расчета сечений и потенциалов ядро-ядерных взаимодействий в рамках высокоэнергетического приближения.

Автор — Е.В. Земляная

  MINUIT

  (параллельная версия)

Параллельная версия программы MINUIT — минимизации функций многих переменных.

Автор — А.П. Сапожников

  F2F-technology

Реинжениринговая технология автоматизированного построения распределенных вычислительных систем на основе автономно разработанных фортранных программ.

Авторы — А.П. Сапожников, Т.Ф. Сапожникова

  Новые версии программ, появившиеся в течение последнего года:

  OPEM2

  Метод разложения по ортонормированным полиномам от двух переменных и его реализация в виде пакета программ OPEM2.

  Автор — Н.Б. Богданова

  SAS

  Программа для первичной обработки спектров малоуглового рассеяния.

  Авторы — А.Г. Соловьев, Т.М. Соловьева, А.В. Стадник, А.Х. Исламов, А.И. Куклин

  Библиотеки объектных модулей математических программ общего назначения подготовлены для SPP, Linux, а также Windows 9X/NT/2000/XP и всех доступных нам фортранных трансляторов (Compaq Visual Fortran 6.0, Fortran PowerStation 4.0, MicroSoft 5.00, GNU Fortran 77).

  На PC-Linux кластере библиотеку JINRLIB нужно указать при вызове компилятора с языка фортран следующим образом:

g77 myprog.f -L/usr/local/lib/ -ljinr

  Посмотреть содержимое библиотеки можно командой:

ar t /usr/local/lib/libjinr.a

  На SPP-2000 библиотеку JINRLIB нужно указать при вызове компилятора с языка фортран следующим образом:

fort77 myprog.f -L/usr/lib/ -ljinr

  Посмотреть содержимое библиотеки можно командой:

ar t /usr/lib/libjinr.a

  На SPP библиотеку JINRLIB нельзя использовать вместе с CERNLIB, что связано с разными параметрами компиляции.

  Эти параметры можно изменить, если появится желание использовать библиотеки совместно.

  Для использования на компьютерах с ОС Windows 9X/NT/2000/XP библиотеку JINRLIB нужно записать в одну из директорий и при вызове компилятора указывать полный путь к библиотеке.

JINRLIB для Compaq Visual Fortran 6.0

  При работе в оконном режиме в контекстном меню Project/Settings/Link в Object/Library modules нужно добавить jinrlib.lib, указав полный путь.

  Если библиотека записана, например, в директории d:\fortran\lib, то ссылка на библиотеку, включая полный путь, будет выглядеть так:

d:\fortran\lib\jinrlib.lib

  То же самое с использованием переменной: если установить set LIB=d:\fortran\lib, тогда ссылка на библиотеку с использованием переменной окружения будет выглядеть так:

%LIB%\jinrlib.lib

  Вызов компилятора при работе в режиме эмуляции MS-DOS или в командной строке:

fl32 myprog.for %LIB%\jinrlib.lib

JINRLIB для Fortran PowerStation 4.0

  Вызов компилятора при работе в режиме эмуляции MS-DOS или в командной строке:

fl32 /MD myprog.for %LIB%\jinrlib.lib

  Получить список программ библиотеки в файле listlib можно командой:

lib /list %LIB%\jinrlib.lib > listlib

  При работе в оконном режиме в меню Build/Settings.../Link в Object/library modules добавить jinrlib.lib, указав полный путь.

JINRLIB для Microsoft Fortran 5.00

  Вызов компилятора с указанием библиотеки:

fl myprog.for %LIB%\jinrlib.lib

  Получить список программ библиотеки в файле listlib можно командой:

lib %LIB%\jinrlib.lib , listlib

JINRLIB для GNU Fortran 77

  Вызов компилятора при работе в режиме эмуляции MS-DOS или в командной строке:

g77 myprog.for %LIB%\libjinr.a

  Библиотеки объектных модулей для ОС Windows 9X/NT/2000/XP и Linux можно найти на странице:

http://www.jinr.ru/programs/jinrlib/jinrovr.htm

"На содержание"

Библиотека программ CERNLIB

  Библиотека CERNLIB (http://wwwinfo.cern.ch/asd/index.html) — большая коллекция программ, поддерживаемых и распространяемых на исходном языке, в объектном коде и в виде готовых программ. Большинство этих программ разработаны в CERN и ориентированы на решение физических и математических проблем. Программам присвоен уникальный индекс, состоящий из латинской буквы для идентификации тематического раздела и 3-х или 4-х цифр. Пакеты программ кратко описаны в Short_write-up (http://wwwinfo.cern.ch/asdoc/cernlib.html), а при необходимости — более подробно в Long_write-up (http://wwwinfo.cern.ch/asdoc/Welcome.html).

  Последнюю версию библиотеки CERNLIB для компьютерных платформ и компиляторов, поддерживаемых в CERN, можно найти по адресу:

http://wwwinfo.cern.ch/asd/cernlib/version.html

  Библиотека CERNLIB на PC-Linux ферме ЛИТ ОИЯИ размещается:

  lxpub(cv): /cern/2000/...

    /2001/...

    /2002/bin/

      /include/

      /lib/

      /src/...,

где можно найти исходные тексты, библиотеки, исполняемые файлы и т.д., включая файл README с режимами компиляции для каждого Release.

  Указать нужную библиотеку (например, mathlib) при вызове компилятора с языка Фортан можно следующим образом:

g77 myprog.f -L/cern/pro/lib -lmathlib

  Библиотека CERNLIB на SPP-2000 находится:

  SPP-2000: /cern/97a

    /2000/bin

      /include

      /lib

      /src/...

  При использовании библиотек CERNLIB на SPP-2000 при компиляции программы нужно указывать дополнительные параметры (в частности, +ppu):

fort77 +ppu myprog.f -L/cern/pro/lib -lmathlib

  С дополнительной информацией о CERNLIB и других библиотеках ЦИВК ОИЯИ можно познакомиться на страницах:

http://www.jinr.ru/unixinfo/scc/lib.htm,

http://www.jinr.ru/programs/cernovr.htm.

Библиотека программ CPC

  CPCPL — международная библиотека программ журнала Computer Physics Communications (CPC) — в настоящее время является одним из самых представительных и хорошо организованных банков программ, решающих задачи физики, математики, химии и других смежных областей знаний. Подробные описания программ публикуются в журнале CPC.

  Программы библиотеки CPCPL распространяются в текстовом виде. Каждая программа имеет свой четырехсимвольный идентификатор (Catalogue identifier) и краткое описание Program Summary.

  ОИЯИ имеет подписку на журнал СРС и библиотеку программ с 1970 года. Журнал находится в читальном зале научно-технической библиотеки ОИЯИ.

  По лицензионному соглашению с СРС сотрудники ОИЯИ имеют доступ к общей информации и к программам CPCPL по E-mail и через CPC WWW-сервер:

http://www.cpc.cs.qub.ac.uk/cpc/

  При электронном способе заказа требуется указать четырехсимвольный идентификатор программы. Программа будет предоставлена, если IP адрес Вашей ЭВМ начинается с 159.93. Заказывая программу по E-mail, нужно сообщить идентификатор программы и Ваш E-mail адрес, который должен содержать jinr.ru.

  Один раз в год ЛИТ получает CD-ROM с текстами программ, опубликованных в течение предыдущего подписного года. С каталогом CPCPL можно познакомиться в комнате 407 ЛИТ. Более подробную информацию о CPC-библиотеке в ОИЯИ, каталог и описания программ можно найти на страницах:

http://www.jinr.ru/programs/cpcins.htm,

http://www.jinr.ru/programs/cpc_ind.htm

  Для получения текста интересующей Вас программы СРС также можно обратиться к
Ю. Назарову (комната 407-В ЛИТ, тел. 63761).

  Желательно знать четырехсимвольные идентификаторы (Catalogue identifier) программ, которые Вы хотите иметь.

Библиотека программ NAG

  В ОИЯИ имеются 14-я и 15-я версии NAG (Numerical Algorithms Group) библиотек программ на ФОРТРАНе с двойной точностью. Дополнительную информацию можно найти на странице:

http://www.jinr.ru/programs/nagw.htm

  Описания программ и вся необходимая пользователю документация имеются в комнате 370 ЛИТ, тел. 62746.

  Полная информация о NAG библиотеках и других NAG продуктах есть на NAG WWW-сервере:

http://www.nag.co.uk

"На содержание"

Полезные ссылки

  Библиотека численного анализа НИВЦ МГУ:

http://www.srcc.msu.su/num_anal/lib_na/libnal.htm

  Библиотека алгоритмов AlgLib:

http://alglib.manual.ru

  Netlib — collection of mathematical software, papers, and databases:

http://www.netlib.org

  EISPACK — collection of Fortran subroutines for computation the eigenvalues and eigenvectors of some classes of matrices:

http://www.netlib.org/eispack

  LAPACK — Linear Algebra PACKage for solving systems of linear equations and eigenvalue problems:

http://www.netlib.org/lapack

  LAPACK++ — Linear Algebra PACKage in C++ for solving systems of linear equations on high performance computers:

http://math.nist.gov/lapack++

  SLATEC — Common Mathematical Library, containing general purpose mathematical and statistical routines:

http://www.netlib.org/slatec

  FLTK — cross-platform C++ GUI toolkit for UNIX/Linux (X11), Microsoft Windows and MacOS:

http://www.fltk.org

  GAMS — cross-index and virtual repository of mathematical and statistical software components:

http://gams.nist.gov/serve.cgi

  DISLIN — high-level plotting library for displaying data:

http://www.linmpi.mpg.de/dislin

  Scilab — scientific software package for numerical computations providing a powerful open computing environment:

http://scilabsoft.inria.fr

  Octave — high-level language and tools, intended for numerical computations:

http://www.octave.org

  R-project — language and environment for statistical computing and graphics:

http://www.r-project.org

Т. Сапожникова (tsap@jinr.ru)

4. WEB-сервер HEPWEB в ЛИТ ОИЯИ для моделирования и математической поддержки обработки экспериментальных данных физики высоких энергий

  Цель проекта — обеспечить удаленный, интерактивный доступ к информационным ресурсам ЛИТ ОИЯИ для проведения исследований и оценок характеристик адрон-ядерных и ядро-ядерных взаимодействий на основе применения как уже существующих, так и разработанных в ЛИТ, методов математических расчетов характеристик взаимодействий и внедрения новых программно-инструментальных средств моделирования и обработки данных. Проект предполагает реализацию запроса к HEPWEB в типовой форме и ответа системы также в виде формы, заполненной результатами.

  В настоящее время проект предоставляет возможность получить наиболее популярные характеристики распределений вторичных частиц в адрон-адронных, адрон-ядерных и ядро-ядерных взаимодействиях в рамках модели HIJING. Набор гистограмм и их представление (графические файлы, HBOOK-файлы) могут измениться в соответствии с пожеланиями пользователей. Другой генератор — модель FRITIOF — позволяет получить мини-DST требуемых взаимодействий. Предполагается создать набор гистограмм и для этой модели. В ближайшем будущем в состав HEPWEB будет включена каскадно-испарительная модель ядро-ядерных взаимодействий и другие модели.

  Аппаратно-программную реализацию HEPWEB-сервера предполагается выполнить на архитектуре фрагмента вычислительной фермы системы обработки данных, принятой для экспериментов на LHC в CERN. Сетевая архитектура базового элемента данной системы вычислительно-коммуникационного модуля (ВКМ) соответствует стандартной модели построения распределенных (сетевых) информационных инфраструктур, что позволит в будущем интегрировать HEPWEB в многоуровневую иерархическую сетевую структуру, использующую технологии GRID в рамках участия ЛИТ в проекте GENSER (The Generator Services LCG Subproject).

  Адрес страницы HEPWEB в Интернете: http://hepweb.jinr.ru

П. Зрелов (zrelov@jinr.ru)
С. Коробов (korosv@mail.ru)
В. Котов (kotov@jinr.ru)
В. Ужинский (uzhi@cv.jinr.ru)

  

 


"На содержание"


Раздел II. Сетевой сервис общего назначения

5. Состояние и планы развития локальной сети ОИЯИ и ее внешних каналов связи

Назначение сети ОИЯИ:

    1. Обеспечение удаленного доступа к информационным ресурсам научно-исследовательских ядерно-физических центров (CERN, DESY, FNAL, BNL, т.д.).
    2. Предоставление пользователям ОИЯИ, находящимся в командировках, удаленного доступа к информационным ресурсам ОИЯИ.
    3. Обеспечение доступа к ресурсам Интернет для пользователей в ОИЯИ.
    4. Доступ к информационным ресурсам внутри локальной сети ОИЯИ.

Создание оптической транспортной среды

  В конце марта 2005 г. завершится годичный период опытной эксплуатации магистрали локальной сети ОИЯИ, построенной по технологии Gigabit Ethernet. В 2003 г. была создана оптическая транспортная среда для этой гигабитной магистрали: на двух исследовательских площадках ОИЯИ (ЛЯП и ЛВЭ) и между ними по так называемой “кабельной канализации” был проложен 16-жильный оптический одномодовый (то есть специально предназначенный для использования в гигабитных транспортных структурах) кабель. Для стыковки с городской сетью был организован сегмент такого же кабеля между зданием телефонной станции АТС-6 на площадке ЛЯП и корпусом № 2 управления ОИЯИ. Всего было уложено около 11 км кабеля. Кабель прокладывался сегментами определенной длины, и в 13 точках были организованы места коммутации с локальными сетями подразделений института.

  На площадке ЛЯП кабель идет от ЛИТ через ЛТФ, ЛЯП, ЛЯР, корпус № 1 ЛЯП, ЛНФ, корпуса № 42 и № 42а ЛНФ, РХЛ и приходит в ЛИТ. Таким образом, получилось кольцо на площадке ЛЯП.

  Для каждой лаборатории выделено по две пары волокон — одна основная, используемая для подключения лаборатории к центральному узлу, вторая — резервная, которая может использоваться для связи с другими корпусами подразделения.

  Для связи с площадкой ЛВЭ кабель из ЛИТ проходит по институтской части города, через лесной массив до корпуса № 201 ЛВЭ и далее до корпуса № 215 ЛФЧ. Четыре пары кабеля выведены на оптическую коммутационную панель в ЛВЭ, другие 4 пары проходят в ЛФЧ. Кроме того, через 4 пары кабеля ЛВЭ — ЛФЧ эти лаборатории связаны между собой. Таким образом, получается кольцо ЛИТ — ЛВЭ — ЛФЧ — ЛИТ.

  Основной узел коммутации сети Управления, расположенный в корпусе № 2 Управления, через АТС-6 соединен с ЛИТ. К кабелю Управление — АТС-6 — ЛИТ при помощи оптической муфты подключена городская сеть.

Построение маршрутизируемой структуры сети ОИЯИ

  Для построения гигабитной сети было закуплено оборудование фирмы Cisco Systems (США). Для центрального коммутатора Cisco Catalyst 6509 (использовавшегося ранее в сети ОИЯИ на технологии Fast Ethernet) приобретена интерфейсная плата с 8 гигабитными портами, а для восьми основных подразделений (семь лабораторий и управление) закуплены коммутаторы с возможностью маршрутизации Cisco Catalyst 3550, Cisco Catalyst 3750. Эти устройства имеют интерфейсные порты для работы на гигабитной магистрали, а также гигабитные порты UTP — для подключения к внутренним локальным сетям подразделений по технологии витой пары. Вновь приобретенное оборудование позволило организовать магистраль сети института на принципиально иной основе: коммутируемая сеть стала маршрутизируемой. Теперь локальный трафик подразделений замкнут в рамках локальных сетей, а не проходит по всем рабочим станциям сети института. Данное решение улучшает условия передачи данных на магистрали, так как разгружает магистраль, а также повышает уровень защищенности сети.

Сетевые сервисы

  Сетевые сервисы, предоставляемые пользователям института, приведены на Web-страничке сетевой службы ОИЯИ (http://noc.jinr.ru/inform/inform.shtml). Это, в первую очередь, сервис почтовой службы, который подробно описан на страничке http://noc.jinr.ru/inform/inf_mail.shtml.

  Обеспечиваются следующие общеинститутские сетевые сервисы: разрешения имен — DNS, кэширования — proxy, статистики распределения трафика по подразделениям, авторизации подключений модемного пула.

  Функционирует антиспам-база для центральных почтовых серверов домена jinr.ru. Настроена система обнаружения вирусной активности на модемном пуле ОИЯИ. Используемые технологии контроля почтового потока на спам и вирусы позволяют блокировать свыше 300 000 спам-сообщений и около 1000 зараженных сообщений в сутки.

  Введен в эксплуатацию сервис автоматического обновления OS Windows. Сервер обеспечивает своевременное и быстрое обновление критически важных пакетов для следующих операционных систем (в русской и английской версиях):

  Windows 2000 Professional, Server (Service Pack 3+)

  Windows XP, Windows 2003 Server

Планы сетевой службына 2005 год

  На 2005 год планируется ряд мероприятий с целью повышения бесперебойной работы магистрали сети ОИЯИ, повышения функциональности сетевых служб и уровня компьютерной и сетевой защищенности:

  1. Возможная организация доступа в локальную сеть Института с домашних компьютеров сотрудников ОИЯИ через городскую сеть.
  2. Предоставление сетевым администраторам подразделений статистики трафика через институтскую сетевую базу IPDB.
  3. Проведение работ по разбиению единого адресного пространства ОИЯИ на изолированные (отдельные) подсети на базе лабораторий и Управления. Выделение подсети ЛИТ из общеинститутской гигабитной магистрали.
  4. Расширение DSL сервиса в ОИЯИ: модернизация DSL-коммутатора для увеличения количества точек входа, реализация линий связи и подключение новых абонентов.
  5. Создание службы хостинга (hosting) для размещения различных сервисов (WWW, ftp, telnet) за пределами внутренней сети Института.
В. Иванов (ivanov@jinr.ru)
Л. Попов (leonid.popov@jinr.ru)
И. Емелин (eia@jinr.ru)
В. Кореньков (korenkov@cv.jinr.ru)
А. Гущин (gushin@cv.jinr.ru)

 

 

 

"На содержание"

6. Положение о правилах сетевого доступа к электронным версиям научных журналов

    1. ОИЯИ является авторизованным пользователем электронных версий научных журналов многих издательств, в том числе и зарубежных, доступ к которым оговаривается положениями лицензионного соглашения между издательством и подписчиком. Издательство гарантирует авторизованному пользователю право доступа его сотрудников к текстам журналов, на электронные версии которых институт является подписчиком. Авторизованный пользователь в лице института-подписчика со своей стороны обязуется выполнять все условия лицензионного соглашения. При этом

Разрешается

    1. Перекачивать, сохранять на дисках или печатать отдельные тексты, аннотации, статьи и другую информацию для индивидуального использования.
    2. Создавать (исключительно в образовательных целях) ограниченные электронные ресурсы внутри организации-подписчика.
    3. Обмениваться в образовательных целях полученной из on-line журналов информацией в ограниченном объеме (отдельные статьи) с сотрудниками других институтов.


Запрещается

    1. Систематическое или программируемое перекачивание содержания on-line журналов (например, всего содержания номера(ов) журнала(ов)).
    2. Создание печатных или электронных копий on-line журналов с целью создания собственных баз данных.
    3. Создание печатных или электронных копий on-line журналов с целью продажи или распространения в сторонние организации.

  В случае нарушения какого-либо пункта этого соглашения издательство приостанавливает доступ всех пользователей ОИЯИ к своим ресурсам и в течение 3-х дней информирует Институт о факте нарушения. При неоднократном нарушении лицензионного соглашения издательство сохраняет за собой право расторгнуть это соглашение и закрыть доступ из ОИЯИ к своим ресурсам.

  II. В соответствии с приказом по ОИЯИ для обеспечения контроля за выполнением перечисленных выше правил доступ к электронным ресурсам издательств

  http://scitation.aip.org

  http://prola.aps.org

  http://prst-ab.aps.org

  http://www.sciencedirect.com

  http://www.iop.org/ES/

  http://ejournals.ebsco.com

  http://springerlink.metapress.com

организован через proxy-сервер ОИЯИ.

  По дополнительному уведомлению от Network Operation Center ОИЯИ (см. http://noc.jinr.ru) регистрация пользователей из ОИЯИ для доступа к электронным библиотекам (предоставление учетной записи) производится по их индивидуальным заявкам Сетевой службой ОИЯИ (комната 216 ЛИТ, телефон 63488, e-mail: noc@jinr.ru).

  В заявке необходимо указывать ФИО, подразделение, рабочий телефон, желаемое имя для входа (login) и пароль (password) при запросе от proxy-сервера.

  Настройка, например, Вашего браузера Internet Explorer для работы через proxy-сервер производится следующим образом:

  В разделе меню “Сервис (Tools) ® Свойства обозревателя (Internet Options) ® Подключения (Connections)” нажмите на кнопку “Настройка LAN (LAN Setting)”, сделайте отметку “Прокси-сервер (Use of proxy-server)”, в поле “Адрес (Address)” введите proxy.jinr.ru, в поле “Порт (Port)” — 3128; нажмите на кнопку “Дополнительно (Advanced)” и сделайте отметку “Один прокси-сервер для всех протоколов (Use the same proxy-server for all protocols”.

Л. Попов (leonid.popov@jinr.ru)
Ж. Мусульманбеков (genis@jinr.ru)

 

  

7. О сервисе по поиску и заказу книг в библиотеке ЛИТ

  На сайте ЛИТ (http://lit.jinr.ru) имеется ссылка на документ по осуществлению поиска и заказа книг, находящихся в библиотеке ЛИТ: http://lit.jinr.ru/rus/book_start.php (только русскоязычный вариант).

  Этот сервис реализует три этапа (поиск книги, заказ книги, отправка заказа с реквизитами заказчика), что дает возможность найти книгу по слову (фрагменту) названия, автору, издательству или годам издания (рис. 1).

Рис. 1. Стартовая форма для осуществления этапа “Поиск книги”

  Далее — найденную, согласно параметрам поиска, книгу после просмотра результата поиска можно заказать, заполнив форму реквизитами заказчика (фамилия, имя, телефон и адрес электронной почты — поля, обязательные для заполнения).

  Заявка на книгу отправляется в Библиотеку ЛИТ, сотрудники которой сообщат заказчику по телефону (или e-mail) о том, имеется ли заказанная книга в наличии и когда ее можно будет получить в Библиотеке ЛИТ.

  Те, кто не имеет доступа в Интернет, могут обращаться за литературой непосредственно в Библиотеку (контактный телефон 62726).

Н. Воробьева (nnv@jinr.ru)

Л. Калмыкова (lidak@cv.jinr.ru)

 


"На содержание"


Раздел III. GRID и участие в реализации его проектов

8. Проект “Дубна-Грид”

  В Лаборатории информационных технологий (ЛИТ) ОИЯИ совместно с Университетом “Дубна”, при участии Лундского университета (Швеция), Чикагского университета (США) и дирекции Программы наукограда Дубна разработан и реализуется проект “Дубна-Грид”, нацеленный на создание системы (Грид-среды) распределенной обработки задач и хранения данных на основе объединения сетевыми и программными средствами компьютерных ресурсов ОИЯИ, Университета “Дубна” и других организаций города (в первую очередь — общеобразовательных). Каждая из сотрудничающих сторон в этом проекте имеет свои специфические задачи. Так, ОИЯИ нуждается в привлечении дополнительных вычислительных средств для выполнения научно-исследовательских работ, проводимых в рамках как уже действующих экспериментов, так и экспериментов, готовящихся на ускорителе LHC (Large Hadron Collider) в CERN. Университет “Дубна” имеет обширную программу развития образовательного процесса и подготовки специалистов для работы с новейшими информационными технологиями. Кроме того, университет заинтересован в организации научно-исследовательской программы с участием аспирантов, студентов университета и Учебно-научного центра (УНЦ) ОИЯИ по вопросам, связанным с применением информационных технологий. Университеты Лунда и Чикаго заинтересованы в совместном тестировании и использовании различных Грид-систем для решения задач обработки данных с экспериментов на LHC. Город Дубна, как наукоград России, заинтересован в создании вычислительной инфраструктуры для наукоемких производств и научных исследований в городе.

  Основными элементами создаваемой по проекту сетевой и компьютерной инфраструктуры города (Грид-инфраструктуры) являются: 1) городская высокоскоростная магистраль передачи данных; 2) сетевая и компьютерная инфраструктура ОИЯИ; 3) компьютерная сеть Университета “Дубна”; 4) компьютерные сети 14 общеобразовательных школ города.

  Магистральный городской канал передачи данных построен на основе одномодового оптоволоконного кабеля общей протяженности около 50 км. Структура магистрали имеет множественные резервные связи, обеспечивающие надежность системы и распараллеливание информационных потоков на основе виртуальных локальных сетей (VLAN). Особенностью проекта магистрального канала такого масштаба стало использование в качестве основных сетеобразующих устройств оборудования коммутации. По сравнению с общепринятой схемой построения глобальных сетей на основе маршрутизации общие задержки и вариации задержек продвижения пакетов через сетевые устройства значительно снижены, что при скорости магистральных участков сети в 1000 Мбит/с резко минимизирует накопление очередей пакетов в памяти коммутаторов, а значит и возможные их потери. Концепция создания общегородского магистрального канала передачи данных предусматривает установку сетевого оборудования в зданиях городских школ. В свое время строительство школ велось по территориальному принципу, и сегодня это позволяет проводить дальнейшее развитие сетевых коммуникаций канала путем создания недорогих соединений с локальными сетями предприятий и организаций города.

  Магистральный канал ОИЯИ объединяет локальные сети лабораторий и подразделений института с общим количеством компьютеров более 4500 единиц. В 2003 г. канал был реконструирован на основе прокладки одномодового оптоволоконного кабеля для организации работы опорной сети со скоростью 1000 Мбит/с [1]. Сопряжение сети ОИЯИ с российской сетью для науки и образования (RBNet) планируется реализовать в 2005 г. на основе гигабитного канала передачи данных.

  ЦИВК ОИЯИ в ЛИТ (ядро будущей городской Грид-инфраструктуры) объединяет несколько вычислительных кластеров с общим количеством узлов около 120. В ЛИТ создан комплекс для включения его в инфраструктуру проекта LCG (LHC Computing Grid). На нем проводятся сеансы массового моделирования событий для всех экспериментов, готовящихся на LHC.

  Компьютерная сеть Университета “Дубна” объединяет опорной оптоволоконной гигабитной магистралью компьютерные сети зданий университетского комплекса. Работают три серверных центра поддержки приложений и сервисов учебных компьютерных классов, кафедр и подразделений университета, а также компьютерных классов общеобразовательных школ. Общее количество персональных компьютеров превышает 500 единиц.

  В Дубне реализован проект по созданию образовательной среды, интегрирующей в единую образовательную сеть учреждения средней и высшей школы города. Основной технической задачей проекта являлось оснащение каждой из 14 общеобразовательных школ города двумя компьютерными классами по 12 рабочих мест, оснащенных качественной инфраструктурой компьютерной сети и электропитанием. В каждой школе создана собственная компьютерная сеть, объединяющая компьютерные классы и рабочие места преподавателей. Компьютеры образовательных учреждений укомплектованы скоростными процессорами и сетевыми адаптерами, обеспечивающими возможность удаленного управления как системными блоками, так и всей сетевой инфраструктурой в целом, что значительно сокращает общие затраты на обслуживание. Поддержка личных каталогов школьников и преподавателей на серверах компьютерного центра позволяет производить необходимые обновления операционной системы и приложений без опасения повреждения локальных данных. Это дает возможность использовать весь доступный объем локального жесткого диска в Грид-среде. Поскольку применение компьютеров в образовательных целях характеризуется довольно низким процентом востребованности вычислительной мощности (в основном используются текстовые и простые графические редакторы для ввода и редактирования текстов программ, а также доступа в Интернет), то вычислительная мощность локальных систем может быть использована для решения распределенных задач. Общая мощность объединяемых проектом “Дубна-Грид” компьютеров потенциально не ограничена, и идея использовать простаивающую вычислительную мощность, дешевую и неограниченную в объеме, представляется весьма привлекательной.

  Для более эффективного использования компьютерных ресурсов в проекте “Дубна-Грид” предполагается создать несколько виртуальных сред. В каждой среде могут функционировать различные ОС и их окружение, а также различные Грид-системы. При этом будет использована технология, позволяющая разделить один физический сервер на несколько виртуальных. С помощью монитора виртуальных машин VMWare на одном компьютере будет поддерживаться несколько независимо работающих виртуальных машин, каждая из которых представляет операционную систему (Windows, LINUX) и собственное программное окружение. Так, используя VMWare, можно обеспечить одновременное функционирование на одном компьютере ОС Windows для поддержки учебного процесса и ОС LINUX для решения научных задач. Исследование параметров функционирования нескольких виртуальных сред (надежность, производительность, масштабируемость) является актуальной задачей данного проекта.

  При решении задачи интеграции вычислительных ресурсов офисных компьютеров наиболее серьезными являются три проблемы: 1) администрирование компьютеров, принадлежащих разным учреждениям, организациям, фирмам; 2) оптимизация операционных систем для работы в качестве вычислителя; 3) использование так называемой “низкокачественной” вычислительной мощности.

  Применение технологии виртуальных машин само по себе уже способствует снижению сложности администрирования за счет радикального разделения администрирования физических рабочих станций и виртуальных машин, выполняющихся на них. Более того, администратор виртуальной машины вообще не обязан быть зарегистрирован на физической машине как пользователь, не говоря уже о том, чтобы иметь полномочия администратора. Проблемы в работе виртуальной машины не влияют на качество работы тех или иных услуг, предоставляемых пользователям физической машиной и ее операционной системой. Появляется возможность организовать из виртуальных машин кластер выделенных рабочих станций, управляемый из единого центра. Управляющая машина и узлы доступа могут быть как физическими, так и виртуальными машинами, а вычислительные узлы — виртуальными. Испытания, проведенные в течение нескольких месяцев 2003—2004 гг. на мощностях нескольких компьютерных классов Университета “Дубна”, показали вполне удовлетворительные результаты. Опыт испытаний показал, что в практике реальной эксплуатации университетских компьютерных классов какие-либо специальные действия, необходимые для запуска и остановки виртуальных вычислительных узлов метакластера неприемлемы из-за сильного возрастания объема работы системного администратора. Идеальное состояние виртуальных вычислительных узлов такое, при котором они не должны нуждаться в каком-либо обслуживании. Требуется, чтобы виртуальный вычислительный узел метакластера автоматически стартовал в фоновом режиме при запуске ОС физической машины и никак не проявлял себя при штатной работе (кроме отбора ее вычислительной мощности), а также не нуждался в “аккуратном выключении”, необходимом машинам под управлением Linux. Более того, восстановление аварийно разрушенной ОС физической машины не должно усложняться из-за наличия в составе ОС программного обеспечения виртуального узла. Описанный выше уровень необслуживаемости в процессе испытаний был реально достигнут путем конфигурации параметров программного обеспечения виртуальной машины и операционной системы Linux.

  Следует отметить, что предоставляемая метакластером вычислительная мощность имеет широкий спектр применимости в различных областях науки и техники. Задачи эти относятся к массовому вариантному счету, то есть хорошо приспособлены для использования вычислительной мощности невысокого качества. В то же время, метакластер на виртуальных узлах является идеальным средством для проведения профильных учебных занятий и в этом качестве уже сейчас успешно используется в Университете “Дубна”. Общий объем компьютерного пула доступных по проекту узлов составит порядка 1000 единиц.

  Тем самым, реализация проекта “Дубна-Грид” позволит:

  1. Создать единую вычислительную среду города Дубна на базе ресурсов научно-исследовательских и образовательных учреждений, лабораторий ОИЯИ, Университета “Дубна” и других организаций.

  2. Создать сегмент международной Грид-инфраструктуры, оперирующий в рамках различных Грид-систем, таких, как LCG, NorduGrid и GRID3.

  3. Провести исследование проблем управления, эффективности и безопасности в среде Грид.

  4. Обеспечить выполнение крупномасштабных вычислительных задач ОИЯИ и других предприятий научно-промышленного комплекса города Дубна, а также заинтересованных сторонних организаций.

  Решение подобных задач в рамках городской структуры возможно планируется впервые в мировой практике.

  Данная статья основана на материале публикации [2], текст проекта “Дубна-Грид” доступен также на сайте ЛИТ: http://lit.jinr.ru/rus/pr_gr.shtml.

"На содержание"

  Библиографический список

  1. Безруков Б.А. и др. Опорная сеть ОИЯИ на технологии Gigabit Ethernet. Годовой отчет (2003) Лаборатории информационных технологий. Дубна: ОИЯИ, 2004–53. с. 11—14.

  2. Зрелов П.В., Иванов В.В., Иванов Вал.В., Кореньков В.В., Крюков Ю.А., Рац А.А., Рябов Е.Б., Смирнов Ю.С., Смирнова О.Г., Стриж Т.А., Черемисина Е.Н. Проект “Дубна-Грид” // Труды Междунар. конф. “Распределенные вычисления и Грид-технологии в науке и образовании”, Дубна, 29 июня — 2 июля 2004 г. Дубна: ОИЯИ, Д11–2004–2005. С. 48—54.

В. Иванов (ivanov@jinr.ru)
П. Зрелов (izrelov@jinr.ru)
В. Кореньков (korenkov@jinr.ru)

  

 

9. О разработках Web-порталов по тематике Grid-систем
     (www.egee-rdig.ru, grid.jinr.ru и lcg.jinr.ru)

  Web-портал www.egee-rdig.ru является по существу точкой сетевого входа в единое информационное пространство участников объединения RDIG, консорциума Russian Data Intensive Grid: ИФВЭ, ИМПБ, ИТЭФ, ОИЯИ, ИПМ, ПИЯФ, ИАЭ, НИИЯФ МГУ как основных организаций для выполнения работ по проекту создания и развития на территории России инфраструктуры, являющейся частью реализации более общего проекта EGEE (Enabling Grids for E-sciencE). Порталом объединяется комплекс Web-сайтов и баз данных с разграничением информации по уровням доступа, в его информационной части — данные, в частности, по таким разделам: информация о проекте и круге потенциальных пользователей, описание задач организаций-исполнителей проекта EGEE, данные о конференциях и семинарах по тематике проекта, обучение специалистов и пользователей. На титульной странице портала отмечается, что в рамках общего проекта EGEE будет работать “Служба распространения информации” (Dissemination and Outreach Activity) по всем главным данным о проекте с использованием ссылок на региональные Web-сайты, а группы потенциальных пользователей будут получать сообщения из специализированных списков рассылки по электронной почте (в число ответственных за эту службу входят представители TERENA, CERN и ЛИТ ОИЯИ). Службой обучения и включения в число пользователей (Training and Induction Activity) предполагается выпуск комплекта учебных материалов и курсов. Наконец, сформирована служба идентификации и поддержки прикладных задач для их решения в рамках инфраструктуры проекта EGEE (Application Identification & Support): среди ответственных за эту службу также есть представители от ОИЯИ. Развитие портала и объединяемой им среды предполагает создание интерфейсов к специализированным сервисам и данным, предоставляемых организациями из консорциума RDIG.

  Кроме того, для предоставления более общей систематизированной информации о разработках и исследованиях в области построения систем типа Grid создан и развивается в ЛИТ ОИЯИ портал grid.jinr.ru. В рамках этого портала реализуется интерактивный механизм навигации и поиска для доступа к различным информационным ресурсам, включающим учебно-справочные материалы, труды конференции и т.д. Имеется сервис рассылки по электронной почте новостей и статей с этого портала заитересованным пользователям.

  Основной приведенный выше материал доложен на международной конференции “Распределенные вычисления и Грид-технологии в науке и образовании” (Дубна, 29 июня — 2 июля 2004 г.) и опубликован в сборнике тезисов ее докладов (Д 11–2004–82, с. 47).

  В стадии создания находится (в основном для членов коллабораций экспериментальных установок Alice, CMS, Atlas, LHCb на ускорителе LHC) сайт lcg.jinr.ru, ориентированный на предоставление информации по тематике проекта LCG (LHC Computing Grid).

В. Кореньков (korenkov@cv.jinr.ru),
Э. Никонов (nikonov@jinr.ru)

 


10. О мониторе прохождения задач в рамках проекта LCG
(demo-версия, доступная для пользователей PC)

  Участниками британского проекта GridPP (как части проекта LCG) реализован программный монитор прохождения задач в LCG: LCG2 Real Time Grid Monitor (см. журнал “CERN Courier”, т. 44, № 9, ноябрь 2004, с. 17). Монитор работает как Java-апплет, представляющий на экране PC карту мира с размещением распределенного оборудования участников проекта LCG (LHC Computing Grid) и динамическим отображением всех этапов прохождения реально введенных в разных его организациях (в том числе в ОИЯИ и других центрах на территории России) задач в течение последних 6 часов. Загрузка апплета делается со страницы http://www.hep.ph.ic.ac.uk/e-science/projects/demo/index.html, подробное описание его возможностей по отображению разного типа информации и понимаемых команд также доступно с этой страницы. Этот апплет запускается только на тех пользовательских компьютерах, где в системе (Linux, Windows) по крайней мере есть программный набор Java 2 Runtime Environment (J2RE) v.1.4.2. В принципе такой набор можно скачать или через раздел указанного сайта (http://www.hep.ph.ic.ac.uk/e-science/projects/demo/help.htm), или непосредственно с java-сайтов: http://java.sun.com/j2se/1.4.2/download.html для разных операционных систем, или http://www.java.com/en/download/windows_automatic.jsp для Windows.

  Апплет был протестирован для пользовательских машин с браузерами Internet Explorer 5+ и Mozilla 1.4.3, он продолжает развиваться. Как отмечается в указанном выше выпуске журнала, монитор на основе этого апплета — хорошая возможность визуально показать практически любому пользователю Интернет функционирование Grid и продемонстрировать масштабность LCG; он также полезен для экспертов, которые с его помощью могут видеть, насколько хорошо реально работает Grid.

В. Шириков (shirikov@jinr.ru)

"На содержание"


Раздел IV. Обзоры и рекомендации

11. Программное обеспечение Grid: состояние и перспективы

  Создание Тимом Бернерс-Ли в ЦЕРН 15 лет назад базового варианта программного обеспечения “Всемирной информационной паутины” Web для Интернет дало толчок и к развитию широкомасштабных систем распределенного решения вычислительных задач и обработки данных. Еще до появления термина “Grid”, которым именуются сейчас самые разные варианты таких систем, мы в ОИЯИ были знакомы с идеями проектов CONDOR/Flock CONDOR и даже опробовали их на общем наборе рабочих станций фирмы SUN у себя и коллаборантов в Амстердаме и Варшаве.

  Эти проекты не нашли в свое время серьезной реализации и применений из-за низкого качества и пропускной способности линий связи вычислительных ресурсов, недоработанности программного обеспечения безопасности обмена информацией и т.д.: одно дело, когда в корпоративных рамках, или тем более в рамках локальных сетей, организуется пул компьютеров для совместного решения потока задач при пропускной способности связей внутри пула не менее 10 Мбит/c, и другое — когда в общий пул объединяются компьютеры из разных сетей.

  Понятием “вычислительной решетки” (Computing Grid) мы обязаны американским авторам К. Кессельману и Я. Фостеру (Аргонская Национальная Лаборатория, Университет в Чикаго), ставших ключевыми фигурами для объединений Globus Alliance и Global Grid Forum, занявшихся организацией проработки и реализации систем типа Grid: их технической и особенно программной основы, т.е. тех наборов (пакетов) инструментальных средств (Globus Toolkits, GT), с помощью которых можно создавать пробные и эксплуатационные варианты систем. В деятельности этих объединений приняли участие и специалисты DOE, DARPA, NSF, многих физических центров и фирм (IBM, Microsoft, SUN, HP). Разрабатываемые версии пакетов GT (начиная с первого: GT1.0 выпуска 1997 года) с самого начала объявлены открытыми для применения любой научной организацией. По этой причине целый ряд институтов, в том числе в России, применил готовые версии GT2.0-GT2.4 выпуска 2002/2003 года для оптимального использования оборудования своих локальных сетей. Учитывая, что одновременно появились и модификации под “grid” средств распараллеливания больших прикладных программ (пакет MPICH-G2), можно считать, что по крайней мере проблема оборудования локальных сетей системой эффективных распределенных вычислений внутри этих сетей сменила статус “научно-исследовательской” на “эксплуатационный” (см., например, [1]).

  Если говорить о более глобальных распределенных системах для решения научных задач и обработки данных, отнесенных к разряду Grid-систем, то и в Америке, и в Европе можно отметить, в частности, TeraGrid (объединение вычислительных ресурсов академических организаций), проекты GriPhiN, PPDG. Что касается европейских междисциплинарных проектов, то в апреле 2004 года по 6-й Рамочной программе Европейской Комиссии была начата реализация проекта EGEE (Enabling Grids for E-science in Europe) c участием ОИЯИ и ряда других физических институтов на территории России (см.: http://www.eu-egee.org, http://www.egee-rdig.ru).

  На самом деле этот проект стартовал не на пустом месте, а на основе предыдущих проектов: EDG (European DataGrid) и LCG (LHC Computing Grid). Основной целью проекта EDG (http://www.eu-datagrid.org) являлось создание базовой сетевой инфраструктуры для реализации проектов LCG и Biomedical Grids. Проект LCG (http://www.cern.ch/lcg) предназначен для обработки данных с Большого Адронного Коллайдера (Large Hadron Collider), который ожидается к запуску в 2007 году. эксперименты на этом ускорителе будут порождать потоки данных с экстремальными характеристиками (100 Мбит/с и общим объемом несколько петабайт в год для каждого эксперимента: ALICE, ATLAS, CMS, LHCb), и постановка приложений LCG на инфраструктуру EDG позволит подготовиться к массовой распределенной обработке этих данных с использованием гигабитных линий связи сети GEANT (см.: http://www.dante.net/geant/), Linux-кластеров двухпроцессорных узлов с 32-битной и 64-битной архитектурой, а также внешней памяти с терабитными объемами на базе RAID-массивов и DLT-лент в центрах обработки. Основными задачами участников проекта LCG как базового для реализации общеевропейского междисциплинарного GRID и его объединения с “Гридами” других регионов мира (например американским по проекту DataTag) стали:

  — обеспечение работоспособности программного обеспечения для мобилизуемых компьютерных ресурсов с применением современных IT-технологий “промежуточного слоя” (middleware) в пакетах GT;

  — совершенствование средств распараллеливания задач и разработка Grid-сервисов широкого использования (типа популярной у физиков системы ROOT для анализа данных, преобразованной сейчас в PROOF: Parallel Root Facility для 64-битного оборудования GRID-кластеров PC);

  — техническое совершенствование опорных кластеров (увеличение числа узлов, переход на использование 2-процессорных узлов с 64-битной архитектурой).

  Об успешной реализации первой фазы проекта LCG (LCG-1) см., например, в CERN Courier (октябрь 2003, с. 9). Об участии ОИЯИ и российских институтов в проектах LCG и EEGE см., например, [2; 3].

  Для понимания самой идеи решения задач пользователей в рамках Grid-подобной системы типа LCG могут быть полезны следующие детали (см. информацию

  http://atlas-canada-computing.web.cern.ch/atlas-canada-computing/documents/LCG-2-Userguide.pdf, а также фразеологические словари через http://opensciencegrid.org/home/terminology.html).

"На содержание"

  Комплектация инструментального пакета системного программного обеспечения уровня 2004 года (LCG-2) на основе использования компонентов от разных проектов выглядит следующим образом:

Базовые компоненты:

 . EDG 2.1:

    --WMS (Workload Management System)

    --DMS (Data Management System)

       .RM (Replica Manager)

       .RLS: Replica Location Service & LRC (Local Replica Catalog)

       .RMS (Replica Metadata Catalog)

    --Fabric Management

    --VO (Virtual Organization) Management

    --BDII (Berkeley DB Information Index)

 .VDT (Virtual Data Toolkit ) 1.1.8:

     --Globus Toolkit 2.2.4

     --Condor 6.4.7

       .Condor-G

       .Class Ads

 . Информационный сервис:

    --Globus MDS (Monitoring and Discovery System)

       .GRIS (Grid Resource Information System)

       .GIIS (Grid Index Information Service)

 . EDG 1.1: Grid-ICE, GLUE Schema...

  Данный инструментальный пакет устанавливается на технике “виртуальных организаций” (VO’s): коллабораций индивидуалов и институтов, объединяющих свои вычислительные ресурсы (CE-computer elements, SE-storage elements) для совместного использования при распределенной обработке потока задач (на этапе использования LCG-1 было 5 таких VO: одна для LCG Deployment Group и 4 для коллабораций упомянутых выше экспериментов. На этапе LCG-2 уже бульшая свобода для подключения новых VO). “Мостом” доступа к LCG-2 для конкретного пользователя (юзера) является в этом случае UI (User Interface): машина, где юзер получает персональный пароль (account) и сертификат для следующих операций: ввода задач для их выполнения на каких-то CE, просмотра ресурсов (подходящих для выполнения задачи), просмотра и копирования файлов, контроля состояния (статуса) введенных задач, отмены прохождения одной или нескольких задач, получения вывода закончившихся задач. В целом весь процесс ввода и управления прохождением задач в LCG-2 описывается следующей схемой (см. также ее графическое представление на с. 21 руководства LCG-2-Userguide по URL-ссылке, приведенной выше):

  a) После получения цифрового сертификата от одного из LCG-2 ответственных лиц (Certification Authorities), регистрации в VO и получения account’а на LCG-2 User Interface (UI)-машине юзер имеет право работать с LCG-2 Grid. Он делает login в UI-машину и получает proxy-сертификат (талон на временное использование внешних ресурсов).

  b) Юзер поставляет свою задачу из UI в одну из машин (узлов), именуемых Resource Brokers и ответственных за дальнейшее ее прохождение. На такой машине (узле) выполняются основные программные сервисы, входящие в состав WMS (Workload Management System), в том числе:

  . Network Server (NS), воспринимающий запросы входящих с UI задач. Среди таких запросов, изложенных в “паспорте задачи” (Job Description-файле), юзер может указать один или более файлов для копирования из UI на RB-узел: этот набор составляет Input Sandbox;

  . Workload Manager, основная компонента системы;

  . Match-Maker (часто именно его называют Resource Broker’ом), чья обязанность — найти наилучший ресурс (Computing Element,CE), отвечающий требованиям задачи;

  . Job Adapter, готовящий “описание” задачи до передачи его сервису Job Control Service (JCS);

  . JCS с возможностями подсистемы Condor, переправляющий задачу в CE.

  . LB (Loggin and Bookkeeping)-сервис, регистрирующий все события в части процесса управления прохождением задачи, о которых юзер или системный администратор может узнать.

  RB-узлу доступен сервис, предоставляемый BDII (Berkeley DB Information Index): эта служба опрашивает региональные серверы GIIS (Grid Index Information Servers) о наличии и состоянии вычислительных (CE) ресурсов и ресурсов памяти на дисках, MSS и т.п. (SE, Storage Element’ов), отображая это состояние в своей БД.

  Итак, на первом этапе сервис NS в RB принимает от UI информацию о задаче и требуемых ею ресурсах, данное событие отмечается в LB-журнале, задаче присваивается статус SUBMITTED.

  c) WMS через свою компоненту Match-Maker подыскивает наилучший доступный CE для данной задачи: для этого опрашивается сервис BDII о статусе вычислительных и “памятийных” ресурсов, а также для обнаружения места данных сервис RLS (Replica Location Service), которому доступны каталоги RMC (Replica Metadata Catalog) и LRC (Local Replica Catalog), где отображаются файлы, доступные разным юзерам и размещенные в разных SE. Событие записывается в журнал LB и задаче присваивается статус WAIT.

  d) WMS Job Adapter готовит задачу (ее “паспорт”) для JCS/Condor и ее передачи выбранному CE: задаче присваивается статус READY.

  e) CE — это в общем случае однородная ферма вычислительных узлов (WN, Worker Nodes) и узел, выступающий в роли Grid Gate (GG), т.е. front-end к остальному Grid. На нем выполняется Globus gatekeeper, Globus GRAM (Globus Resource Allocation Manager), сервер Local Resource Management System (LRMS,планировщик) вместе с LB-сервисами. В LCG-2 в качестве LRMS поддерживаются PBS (Portable Batch System), LSF и Condor. В то время как WN-узлы спрятаны за firewalls, узел GG должен быть доступен извне CE. На узлах WN доступны все команды и API’s для выполнения действий с Grid-ресурсами и данными. CE может использовать средства памяти (SE) через Grid FTP-сервис (в последней версии LCG управление динамической работой с ресурсами памяти возлагается на SRM: Storage Resource Manager).

  Итак, на шаге e Globus Gatekeeper на CE получает запрос от RB и отдает задачу планировщику (системе обслуживания очереди) LRMS: PBS, LSF или Condor. Статус задачи — SCHEDULED.

  f) LRMS реализует выполнение задачи на доступной локальной ферме рабочих узлов WN, куда копируются из RB и файлы, нужные задаче.

  Статус задачи — RUNNING.

  g) Во время выполнения задачи ей могут быть доступны файлы с SE (через rfio-протокол) или из локальной памяти WN. Информация по SE и результатам рассмотрения задачи сервисом Match-Maker включаются в файл .Brokerinfo, передаваемый рабочим узлам CE службой WMS, и может извлекаться из этого файла средствами библиотеки API или WMS CLI.

  h) Задача может порождать новые выходные данные, которые могут быть “выгружены” в Grid и сделаны доступными для использования другими юзерами. Это делается инструментами Data Management-сервисов. Выгрузка в Grid означает его копирование на Storage Element (SE) и регистрацию его местоположения, метаданных и т.д. в RMS. В то же время при выполнении задачи или через UI файлы могут “реплицироваться” двумя разными SE.

  i) Если задача завершается без ошибок, ее output-файлы, указанные пользователем в Output Sandbox, передаются обратно в RB-узел: статус задачи — DONE.

  j) На данном этапе юзер может забрать Output из UI, используя WMS CLI или API. Статус задачи — CLEARED.

  k) Запросы о статусе задачи адресуются базе данных LB из UI-машины (узла). Также из UI возможны запросы к BDII о статусе ресурсов.

  l) Если что-то случается плохого на CE, где проходит задача, то она автоматически перебрасывается другому CE в соответствии с начальными требованиями юзера. Когда это не получается, задача метится как ABORTED. Если задача не успевает быть завершенной к моменту истечения времени, определенного выданным пользователю proxy-сертификатом, WMS-служба позволяет заблаговременно обновить proxy (этим ведает Proxy Server, PS), однако на время этого автоматического продления все другие запросы пользователя не будут обслуживаться.

  Теперь посмотрим, в какой степени все сделанные до 2005 года и упомянутые выше реализации отвечают представлениям о Grid у его идеологов. В июльском выпуске сборника “Grid Today” Ян Фостер решил внести ясность по этому поводу, опубликовав статью “What is the Grid? A Three Point Checklist”, где сформулировал 3 критерия, которым должна отвечать полномерная распределенная Grid-система (см. текст по http://www.gridtoday.com/02/0722/100136.html):

"На содержание"

  1. Система объединяет и координирует использование вычислительных ресурсов, которые не являются объектами исключительно централизованного локального управления (применения) и которые могут быть предоставлены по определенным правилам и соглашениям для внешнего доступа и использования.

  2. Система реализована с применением стандартных, открытых протоколов общего назначения и интерфейсов.

  3. Система гарантирует своим пользователям нетривиальное качество обслуживания (QoS, Quality of Service) по времени реакции, пропускной способности задач, доступности, разнообразию предоставляемых ресурсов, обеспечению сохранности информации и прав доступа к ней, так что в целом производительность, выгодность использования, полезность, отдача всей системы больше, чем от простой суммы ее составных частей.

  Упоминавшиеся выше проекты, особенно реализованные с использованием инструментальных средств GT второго поколения, Фостер считает в значительной степени отвечающими перечисленным критериям, хотя путь по выполнению критерия 2 (в части применения стандартных протоколов) и учету той технологии, которая развивается для описания и использования сервисов в “параллельной” системе Web, не пройден до конца. В разделе “The Grid: The Need for InterGrid Protocols” в качестве перспективы развития протоколов и спецификаций средств GT указываются предусматриваемые новые средства оформления, связывания и использования системных и прикладных сервисов, объединяемые понятием OGSA (Open Grid Service Architecture).

  Теперь коснемся темы, относящейся к технологии “middleware”, о которой говорилось на конференциях “Научный сервис в сети Интернет” в 2002, 2003, 2004 годах (см. [4; 5; 7] и которая касается и Web, и GRID в равной степени.

  Предсказывается, что вся информационная и вычислительная программная поддержка науки в рамках Интернет будет реализовываться комплексом программных агентов (брокеров) и сервисов, доступных этим агентам непосредственно или через репозитории (регистрационные службы): см. хотя бы формализованный пример цикла полной автоматизации и обработки экспериментальных данных в сетевой компьютерной среде, от начала поступления данных на анализ до подведения итогов и результатов обработки научным сообществом, в работе David De Rouge et al. “The Semantic Grid: a Future e-Science Infrastructure” (http://www.semanticgrid.org/documents/semgrid-journal/semgrid-journal.pdf). Перспективность агентно-ориентированного подхода к разработке распределенных интеллектуальных систем отмечается, например, и в работе [9].

   Средства взаимодействия агентов (клиентов) с сервисами как службами-исполнителями нужных агентам работ — одни из главнейших составляющих “middleware”, имеющих давнюю историю применений и к данному моменту достаточно много крупных приложений, реализованных, например, в рамках применения архитектуры CORBA (Common Object Request Broker Architecture). По разным причинам, о которых говорилось на конференции [см. 4], это применение не вышло за рамки корпоративного, поэтому на смену (или скорее развитие) пришла архитектура OGSA (Open Grid Services Architecture) с такими ключевыми понятиями, как Web/Grid-сервисы (службы), WSDL (Web Services Description Language для описания их возможностей и способов доступа в формате XML Schema, их интерфейсов), UDDI (Universal Description, Discovery and Integration: средства регистрации, каталогизации описаний сервисов в формализованном XML-формате), WS-Inspection (вариант коллекции описаний и ссылок, близкий по назначению к аппарату UDDI) и протокол SOAP (Simple Object Access Protocol) поверх HTTP (для обмена данными и сообщениями в XML-формате между агентами, сервисами и регистрационными службами, а также для удаленного вызова процедур). В рамках OGSA схема взаимодействия агентов-клиентов (потребителей сервисов) с агентами-поставщиками сервисных услуг и регистрационными службами (если они используются) может быть представлена примерно так, как это сделано в работе [6]. В принципе, такие идеологи, как Фостер и Кессельман, определяя для Grid необходимую архитектуру системного и прикладного программного обеспечения, и раньше предполагали использование стандартизованных средств именно из архитектуры OGSA (см. статью: Ian Foster, Carl Kesselman, Jeffrey M. Nick, Steven Tuecke “The Physiology of the Grid: An Open Grid Services Architecture for Distributed Systems Integration”, http://www.globus.org/research/papers/ogsa.pdf). “Middleware”, используемое для проектов типа EDG и LCG, данной архитектуре пока не соответствует, хотя какие-то шаги навстречу ей у физиков были заявлены в проектах типа ARDA для реализации систем распределенного анализа данных: см., например,

  http://www.uscms.org/s&c/lcg/ARDA/ARDA-report-v1.pdf.

  Одним из основных шагов по реализации OGSA-архитектуры стала разработка OGSI (Open Grid Services Infrastructure), определившая механизмы для создания, управления и обмена информацией между Grid-сервисами, т.е. Web-сервисами, предоставляющими корректно определенные интерфейсы и отвечающие специфическим соглашениям: например, в связи с введением понятия “временных” (transient) служб. В соответствии с документом по проекту OGSI появились первые реализации программных пакетов Globus Toolkit 3 (GT3) как набора средств (tools) для создания описаний и развертывания сервисов, управления ресурсами, обеспечения коммуникаций и безопасности обмена информацией. В секциях документа OGSI был дан материал о том, как спецификации Grid-сервисов отображаются средствами типа WSDL: здесь вводилось и определялось gwsdl-расширение к существовавшей на момент начала разработки OGSI версии WSDL 1.1 как временная мера до появления более развитых версий WSDL (1.2 и выше), см.

  http://www-unix.globus.org/toolkit/draft-ggf-ogsi-gridservice-33-2003-06-27.pdf,

http://www.gridforum.org/namespaces/2003/03/gridWSDLExtensions.

  Рабочая группа, созданная для реализации проекта ARDA (Architectural Roadmap for Distributed Analysis) и включившая в свой состав представителей всех основных коллабораций по использованию экспериментальных установок на LHC, изначально предполагала сделать пробный вариант своей системы обработки данных с применением версий пакета GT3; целый ряд организаций (в том числе ОИЯИ и российские институты) также опробовал применение указанных версий. Результат: если при работе с Web-сервисами (их создании, определении их WSDL-интерфейсов, генерации модулей для стабов и скелетонов при обращении к рабочим вариантам методов сервисов) было не обязательно знать WSDL-тонкости представления описаний сервиса, а можно было воспользоваться готовыми инструментальными средствами, заложенными компаниями SUN и Apache в пакеты типа JWSDP и Axis, то реализация описаний интерфейсов сервисов на gwsdl даже в версиях Globus Toolkit 3.2 оказалась с программной точки зрения неудобной, “ручной” и плохо диагностируемой (сделанная, например, ошибка в одном символе проявлялась только в том, что сервис не запускался). В целом выявилось по крайней мере три причины недовольства пользователей продукцией рабочей группы по реализации OGSI (см. http://www.globus.org/wsrf/faq.asp#wsrf):

"На содержание"

  1. Слишком много лишнего и недостаточно четко включено в спецификации OGSI v.1.0, определяющей стандарты описаний интерфейсов сервисов, системы обмена сообщениями и.д.

  2. Потеряно взаимодействие с существующими средствами развертывания Web-сервисов. OGSI v.1.0 слишком жестко и негибко использует XML Schema.

  3. В спецификации смешиваются (объединяются) понятия “сервис” и “ресурсы”, с которыми работает сервис. Разработчики не учли появление ряда промышленных стандартов de-facto, в том числе на способы адресования сервисов в системе обмена сообщениями по протоколу SOAP, см., например,

  http://www6.software.ibm.com/software/developer/library/ws-add200403.pdf,

  http://www-106.ibm.com/developerworks/webservices/library/ws-add/.

  В результате в ЦЕРН (головной организации по проекту LCG), например, были фактически приостановлены работы по использованию спецификаций OGSI. В январе 2004 года стартовал совместный проект WS-Resource Framework (WSRF) участников альянса Globus Allians и IBM (при взаимодействии с HP и рядом других фирм) с целью упорядочения и модификации подходов OGSI в спецификации OGSI V1.0. Cоотношение между WSRF и OGSI изложены в документе “From OGSI to WSRF: Refactoring and Extensions”, см. http://www.ibm.com/developerworks/library/ws-resource/gr-ogsitowsrf.html, и на Первой EGEE-конференции в апреле 2004 г. Кессельман объявил об ожидаемом появлении в 3-м квартале 2004 г. версии GT 4. Согласно февральской информации 2005 г. (см. http://www-unix.globus.org/toolkit/docs/development/4.0-drafts/GT4Facts/index.html: Status and Plans for the Globus Toolkit 4.0 (GT4)), окончательная полная рабочая версия GT4 должна быть готова к 29 апреля 2005 г.

 Труд, вложенный программистами-прикладниками в освоение версий пакета GT3, который фактически не оправдал эксплуатационных надежд, не пропадает, а в каком-то смысле и облегчит переход на использование новой ожидаемой версии: по утверждению инициаторов проекта WSRF, основные концепции OGSI сохраняются, а основные изменения касаются системы обмена сообщениями по протоколу SOAP и связанной с ними семантики, поэтому модификации OGSI-ориентированных систем будут небольшими.

  Проблема использования OGSA не сводится только к освоению ее инструментария для создания новых распределенных приложений, остается вопрос о том, что делать с теми, которые уже были реализованы с применением “middleware”-технологий CORBA, RMI и др. Частично говорилось об этом на базе примеров реализации самими прикладниками преобразований таких приложений за счет создания программных “мостов” CORBA-OGSA в обзорном докладе [4] или RMI-OGSA (см. [8]. Сейчас аппарат приспособления к новой архитектуре развит уже на промышленном уровне. Так, в PC WEEK/RE (№ 10, март 2004) Питер Коффи пишет по поводу инструментария Web-сервисов: “В принципе они полезны, вот только текущему моменту никак не соответствуют. Но положение начинает меняться. Изнуренным работой корпоративным программистам на Java и C++ должен понравиться выпущенный фирмой Iona Technologies пакет Artix Encompass: в его варианте Standard Edition есть инструментарий разработки Web-сервисов, а в Advanced Edition — средства превращения в Web-сервисы приложений, созданных на базе Java, CORBA, IBM WebSphereMQ и др.”. Здесь же отмечается, что в том, что касается протоколов связи между агентами и сервисами, то кроме SOAP (Simple Object Access Protocol, стандарт OGSA) предоставляется свой транспортный механизм JMS (Java Messaging System) и другие методы доставки информации, включая туннелирование по протоколу IIOP (Internet Inter-ORB Protocol из архитектуры CORBA). Обеспечивается и трансляция между различными форматами (SOAP, IIOP...), есть встроенный визуальный графический дизайнер, позволяющий разрабатывать и интегрировать Web-сервисы.

  Итак, выбор пути использования спецификаций SOAP/WSDL/UDDI с API для доступа к UDDI-реестрам из любого языка программирования в любой операционной среде можно считать сделанным и для GRID, и для Web; их применение реализовано в целом ряде приложений и фирменных программных продуктов, и как отмечается, например, в статье “Где хранить сведения об информационных ресурсах?” (см. PC WEEK/RE, № 36, октябрь 2004), “только децентрализация и сквозное взаимодействие на основе общепринятых мировых стандартов (XML, SOAP, Web Services, WSDL, UDDI) способны привести к успеху при создании удобных и повсеместно доступных систем хранения каталогизированной информации”. Нужно ли физикам полностью и немедленно преобразовывать набор системных служб LCG-2 или приложения типа развиваемых проектом ARDA в соответствии со спецификациями OGSA — сейчас как-то не очевидно. При решении типовых конкретных задач обработки больших потоков информации и необходимости добиться максимальной производительности этой обработки в жесткие сроки они могут временно обойтись и без той полной универсальной автоматизации процесса работы коллаборации исследователей, которая представлена схемой David De Rouge’a et al., тем более что для такой эффективной автоматизации аппарата содержательного (семантического) описания сервисов средствами XML Schema недостаточно, здесь в идеале нужна реализация представления знаний более развитым онтологическим подходом (см. [5]), а отсутствие хороших автоматизированных средств генерации онтологий (аннотаций к содержимому коллекций информации) на языках “on top of XML” (типа OWL: Ontology Web Language) сдерживает этот процесс. Впрочем, работы по созданию подобных средств ведутся, в том числе и в России (см., например, [10]).

  Во всяком случае, перспективность возможного предстоящего перехода на использование инструментальных средств, реализуемых в версиях пакета GT 4 или совместимых с ним пакетах, пока под сомнение не ставится. Из тех наборов “middleware” (претендующих на замену средств пакетов GT2/GT3), в опробовании которых сейчас участвуют сотрудники ЛИТ, можно назвать по крайней мере два: gLite (взятый на вооружение рабочей группой JRA1 проекта EGEE и группой проекта ARDA) и пакет от британского института OOMI (см. http://www.omii.ac.uk), авторы которого обещают совместимость в 2005 году со средствами GT4 и рядом коммерческих фирменных средств развертывания Grid-систем. Заниматься освоением GT4 (по крайней мере системным программистам) также придется в силу ряда взятых обязательств.

Библиографический список

        

    1. Степанова М.М., Стесик О.А., Сурков А.Г., Чернышева Л.В. Разработка параллельной версии программного комплекса “Атом” и ее испытание на экспериментальном GRID-кластере // Труды Всерос. науч. конф. “Научный сервис в сети ИНТЕРНЕТ”. Новороссийск, 2003. с. 172—173.
    2. Ильин В.А., Кореньков В.В. Участие Российских центров и ОИЯИ в проектах LCG и EGEE // Тез. докл. междунар. конф. “Распределенные вычисления и ГРИД-технологии в науке и образовании”. Дубна, 2004. с. 48.
    3. Ильин В.А. и др. Web-портал www.egee-rdig.ru: единое информационное пространство участников RDIG // Там же. С. 47.
    4. Шириков В.П., Галактионов В.В. На пути к внедрению новых информационных технологий // Труды Всерос. науч. конф. “Научный сервис в сети ИНТЕРНЕТ”. Новороссийск, 2002. С. 8—11.
    5. Шириков В.П. Как у нас с интеллектом в Web и GRID для создания полноценного научного сервиса? // Труды Всерос. науч. конф. “Научный сервис в сети ИНТЕРНЕТ”. Новороссийск, 2003. С. 33—38.
    6. Галактионов В.В. Web Services — сервис-ориентированная технология для распределенных объектных вычислительных систем. Основные концепции, протоколы и спецификации // Сообщение ОИЯИ. Р10-2003-140. Дубна, 2003.
    7. Шириков В.П. Программное обеспечение GRID: переоценка ценностей // Труды Всерос. науч. конф. “Научный сервис в сети ИНТЕРНЕТ”. Новороссийск, 2004. С. 142—144.
    8. Галактионов В.В. Bridge RMI-GT3: сопряжение технологий распределенных систем с архитектурами RMI и GRID-OGSA // Тез. докл. междунар. конф. “Распределенные вычисления и ГРИД-технологии в науке и образовании”. Дубна, 2004. с. 31.
    9. Зайцев Е.И. Об агентно-ориентированном подходе к разработке распределенных интеллектуальных систем // Там же. С. 41.
    10. Жучков А.В. и др. Использование онтологий при работе с гетерогенными федеративными массивами данных в распределенных информационных системах // Там же. С. 40.

   В. Шириков (shirikov@jinr.ru)

"На содержание"

12. Реинжениринговая технология автоматизированного построения распределенных вычислительных систем на основе автономно разработанных фортранных программ

  Одним из путей повышения эффективности решения больших научных и технических задач является распределение вычислений между несколькими, в общем случае различными компьютерами вычислительной сети. Существующие стандартные технологии распараллеливания программ, такие как MPI и Open MP, ориентированы на разбиение вычислительной задачи на более мелкие процессы. Как правило, это разбиение осуществляется вручную при разработке или модернизации программного обеспечения.

  В то же время технологии интеграции готовых вычислительных блоков в более крупные распределенные системы практически отсутствуют. Ключевым моментом нашей работы является идея автоматического построения вычислительного сервера из готовых программ, разработанных автономно. Этим достигается возможность интеграции старых, проверенных временем программ, созданных предыдущими поколениями разработчиков, в состав более крупных современных систем обработки информации, включающих развитые средства визуализации, базы данных, экспертные системы и прочие механизмы человеко-машинного общения. Таким образом, основное отличие нашего подхода к организации распределенных вычислений от традиционного заключается в том, что речь идет не о технологии разбиения, а о технологии объединения.

  Общая архитектура предлагаемой распределенной системы для решения больших вычислительных задач представляется достаточно нетрадиционной. Рабочая станция пользователя содержит программу-клиент, распределяющую работы между независимыми вычислительными серверами. Каждый такой сервер — это процесс, исполняющий конкретную вычислительную программу. Заявки на ввод и вывод информации, возникающие в ходе работы серверов, интерпретируются клиентом. Количество серверов и их местонахождение в локальной сети определяются потребностями клиента. В частности, возможно использование сервера, выполняющегося на той же самой рабочей станции. Кроме запуска вычислительных серверов и исполнения их запросов на ввод/вывод клиентская программа (и только она) осуществляет интерактивное общение с пользователем. Эта технология по существу является реинжениринговой, поскольку основным инструментальным средством создания вычислительных серверов становится конвертор F2F для автоматического преобразования автономно разработанных программ с целью интеграции их в более крупные распределенные системы.

  Таким образом, характерными чертами реинжениринговой технологии автоматизированного построения распределенных вычислительных систем на основе готовых, автономно разработанных фортранных программ являются:

  1) использование конвертора F2F для автоматической генерации программы вычислительного сервера;

  2) построение клиентского приложения на базе программного обеспечения типового клиента.

  Подробнее об F2F-технологии можно посмотреть на сайте:

http://www.jinr.ru/programs/jinrlib/f2f-technology/index.html

  Работа выполнена в Лаборатории информационных технологий ОИЯИ в рамках проекта, поддержанного грантом РФФИ 03-07-90347.

А. Сапожников (sap@jinr.ru)
Т. Сапожникова   (tsap@jinr.ru)

 

"Содержание"



Раздел V. Если Вам нужна помощь…

  К кому следует обращаться по вопросам работы на ЦИВК ОИЯИ:

п/п

Вид деятельности

Фамилия, имя

Телефон

E-mail

1

Системное администрирование серверов ЦИВК

Мицын Валерий
Громова Наталья
Тихоненко Елена
Жильцов Виктор

64317 64317 67553 67553

vvm@cv.jinr.ru grom@cv.jinr.ru eat@cv.jinr.ru viktor.jiltsov@cern.ch

2

Инженерное обслуживание

Астахов Николай

64105

Nikolai.Astakhov@jinr.ru

3

Поддержка математических библиотек:
JINRLIB, DUBNA, ...
CERN-библиотеки



Сапожникова Татьяна
Громова Наталья

 

62752
64317

 

tsap@jinr.ru
grom@cv.jinr.ru

4

GNU; REDUCE

Рапортиренко Анатолий

63646

ram@cv.jinr.ru

5

Программное обеспечение PС:
FAXE (www/ftp-сервер);
Linux4u (www/ftp-сервер)


Жиронкин Сергей
Гусев Анатолий
Мицын Валерий


64695
64482
64317


jironkin@cv.jinr.ru

gusev@cv.jinr.ru

vvm@cv.jinr.ru

6

Поддержка программного обеспечения
рабочих мест ЛИТ.
Защита от вирусов.

Заикин Николай
Радов Алексей
Первушов Валерий
Степаненко Виктор

65936
62001
64890
64740

nszaikin@jinr.ru
radov@cv.jinr.ru
pervush@jinr.ru
vstep@jinr.ru

7

Работа с AFS

Позе Виктор

64944

vpose@cv.jinr.ru

8

WWW-сервера:
www.jinr.ru, lit.jinr.ru,
dbserv.jinr.ru

Калмыкова Лидия
Давыдова Наталья
Жиронкин Сергей

63961
62683
64695

lidak@cv.jinr.ru
luna@jinr.ru
jironkin@cv.jinr.ru

9

Регистрация пользователей MySQL на PC/Linux-кластере

Голоскокова Татьяна

63144

golosk@jinr.ru

10

Вопросы распараллеливания

Сапожников Александр

63429

sap@jinr.ru

11

Data Management System
CASTOR, AMANDA

Трофимов Владимир
Попова Марианна
Жильцов Виктор

63722
63722
67553

backup@dtmain.jinr.ru
mlp@cv.jinr.ru
viktor.jiltsov@cern.ch

12

Контакт-персоны для работы
с коллаборациями:
ATLAS
CMS
ALICE
LCG

 

Громова Наталья
Тихоненко Елена
Мицын Валерий
Мицын Валерий
Ткачев Игорь
Белов Сергей

 

64317
67553
64317
64317
64653
64653

 

grom@cv.jinr.ru
eat@cv.jinr.ru
vvm@cv.jinr.ru
vvm@cv.jinr.ru
xaphan@jinr.ru
belov_sd@mail.ru

 

Техническое обслуживание персональных компьютеров ЛИТ

   1. Подключение компьютеров к сети, модернизация и т.д.:
Емелин Игорь, е-mail: eia@jinr.ru, телефон: 62412;
Попов Леонид, е-mail: leonid.popov@jinr.ru, телефон: 63722.

   2. Мелкий ремонт (чистка вентиляторов, “мышек” и т.д.):
Первушов Виктор, телефон: 62622.

Ответственные за подсистемы
(http://noc.jinr.ru/inform/inf_help.shtml)

   1. Дежурный диспетчер сетевой службы:
E-mail: noc@jinr.ru. Телефон: 63488.

   2. Внешние каналы, опорный сегмент (routing.noc@jinr.ru),
mail-relay (postmaster@jinr.ru), DNS (dns.noc@jinr.ru):
Долбилов Андрей, телефон: 63488, 64697.

   3. Модемный пул, регистрация пользователей и поддержка:
Чурин Антон, е-mail: pool@jinr.ru, телефон: 63488.

   4. Сервер mail.jinr.ru postmaster@jinr.ru),
   сервер телеконференций news.jinr.ru (news@jinr.ru),
   proxy сервер proxy.jinr.ru (proxy@jinr.ru):
Ангелов Кирилл, е-mail: kirill@jinr.ru, телефон: 63488;
Гущин Алексей, е-mail: gushin@cv.jinr.ru, телефон: 64471.

   5. Опорный сегмент сети ЛИТ:
Попов Леонид, е-mail: leonid.popov@jinr.ru, телефон: 63722;
Гущин Алексей, е-mail: gushin@cv.jinr.ru, телефон: 64471.


На содержание