Лаборатория   информационных   технологий 


«Содержание»

Раздел I. Базовый вычислительный и сетевой сервис для пользователей локальной сети ОИЯИ

1. Развитие центрального информационно-вычислительного комплекса (ЦИВК) ОИЯИ

   На рубеже веков развитие информационных технологий привело к новым тенденциям при построении информационно-вычислительных комплексов крупных научных центров.
 1. Большой прогресс достигнут в развитии GRID-технологий и построения компьютерной инфраструктуры нового типа, обеспечивающей глобальную интеграцию информационных и вычислительных ресурсов.
 2. Для организации надежного хранения и оперативного доступа к разнообразной информации используются технологии корпоративных хранилищ данных.
 3. На смену кластерам рабочих станций на RISC-процессорах и многопроцессорным серверам приходят серверы, вычислительные кластеры и фермы на базе процессоров Pentium, что более эффективно по соотношению цена / производительность.
 4. Осуществляется переход от использования универсальных многофункциональных серверов к совокупности серверов и кластеров для поддержки каждого сервиса.
 5. Осуществляется переход от излишней гетерогенности и использования большого количества операционных систем (Solaris, AIX, HP-UX, ConvexOS, Digital UNIX, VMS) к унифицированным серверным платформам. Особую роль в этом процессе играет операционная система LINUX.
 6. Большой интерес к системам параллельных вычислений вызван широкой распространенностью и доступностью масштабированных вычислительных кластеров, которые можно использовать для суперкомпьютерных приложений.
 7. Для моделирования, обработки и анализа данных экспериментов на LHC создается уникальная мировая компьютерная система - проект LCG (LHC Computing GRID), что стимулирует внедрение самых современных технологий во всех организациях-участницах этого проекта.

   Исходя из этих тенденций в ЛИТ ОИЯИ выполняются работы по модернизации и развитию центрального информационно-вычислительного комплекса. Большое внимание уделяется развитию системы сетевых и специализированных серверов, каждый из которых выполняет определенную функцию.

   Приведем список сетевых и специализированных серверов, входящих в состав ЦИВК ОИЯИ, а также их функциональное назначение:

 - DNS (Domain Name Server) - база данных об именах и адресах всех хостов в сети.
 - PROXY - посредник для работы с внешними информационными ресурсами (буфер), позволяющий уменьшить нагрузку на основной внешний канал связи с Интернет.
 - PROXY для модемного пула и DSL-соединений.
 - NEWS или USENET - для подписки и чтения групп новостей.
 - FTP - архивы файлов для просмотра и копирования (программы, документы, архивы и т.д.).
 - Сервер и станция для мониторинга сети, узлов и сервисов.
 - Сервер баз данных для хранения и обработки статистики трафика в сети.
 - Рефлектор для передачи прямых видеоконференций.
 - Серверы лицензий и приложений.
 - Центральный сервер баз данных.
 - Система специализированных баз данных "электронной библиотеки" ОИЯИ (НТБ, Издательского отдела).
 - Система специализированных баз данных для научно-организационной и административно-хозяйственной деятельности ОИЯИ.
 - WWW (World Wide Web) - множество информационных серверов, содержащих информацию о деятельности ОИЯИ, Лабораторий, базовых установок, экспериментальных групп, проектов и т.д.
 - Е-Mail, или почтовый сервис, который состоит из нескольких серверов для проверки, пересылки и хранения почты пользователей (Mail - relay, Mail - spool). Все входящие и исходящие почтовые сообщения проходят проверку на наличие вирусов лицензионным антивирусным программным пакетом лаборатории Касперского.

   Большие изменения произошли в организации работы центрального информационно-вычислительного комплекса. Еще недавно вычислительный и файловый сервис обеспечивался универсальными многопроцессорными системами на базе CONVEX-220, SPP-2000, а также файловым сервером HP D-класса с роботом на DLT-лентах, что не могло удовлетворить возросшие требования пользователей к производительности систем и емкости дисковых массивов.

   В 2002 году был создан новый распределенный комплекс, который в большей степени отвечает основным требованиям пользователей и соответствует тенденциям развития современных информационных и вычислительных технологий.

   Пользователям центрального информационно-вычислительного комплекса предоставлены принципиально новые возможности:

  • возможность единой регистрации и аутентификации пользователей с сохранением регистрации на лабораторных серверах (эта возможность реализовалась с внедрением программного пакета Kerberos);
  • высокозащищенный режим доступа к сетевым, вычислительным и информационным ресурсам ОИЯИ, включая доступ к личным данным пользователей). Реализация с применением средств пакета Kerberos:
  • единое дисковое пространство для всех пользователей ОИЯИ (в перспективе для всех вычислительных машин в институте), включая домашние директории пользователей. Данное качество получено при внедрении пакета OpenAFS;
  • прямой доступ к удаленным программам и архивам (доступ в CERN, DESY, BNL, FNAL, др.) как к локальным ресурсам, то есть "прозрачно" для пользователей; аналогичным образом реализован доступ к ресурсам ОИЯИ извне (из CERN, DESY, BNL, FNAL, др.). Реализация на основе пакета OpenAFS;
  • внедрение в ОИЯИ как современных средств и методов разработки программного обеспечения, так и современной среды работы с вычислительными ресурсами и информацией (операционная система Linux и сопутствующее программное обеспечение);
  • спектр технологий для параллельных вычислений (пакеты MPI, GAMESS и др.);
  • внедрение технологий распределенной обработки информации и доступа к распределенной информации (GRID и сопутствующее программное обеспечение).

   Новый комплекс состоит из 4-х взаимосвязанных компонент, каждая из которых отличается программно-аппаратной средой и функциональным назначением.

   1) Первая компонента - интерактивный кластер общего доступа, который заменил устаревшую ЭВМ Convex-220. Он состоит из четырех двухпроцессорных узлов с адресами lxpub01, lxpub02, lxpub03, lxpub04. Для преемственности этот кластер имеет имя cv.jinr.ru.
   Специальный сервер следит за балансом загрузки всех узлов интерактивного кластера, поэтому очередной пользователь при входе в сеанс попадает на самый незагруженный узел.
   Этот кластер предназначен для интерактивной работы пользователей (подготовка и редактирование файлов, программ, заданий, документов, работа с сетевыми сервисами, приложениями).
   Пользователю доступны все его программные продукты, домашние директории, сервисы, в том числе GRID-сервисы и протоколы.
   На кластере можно проводить отладку программ, визуализацию данных, анализ результатов счета, но запрещается выполнять большие счетные задачи в интерактивном режиме. Счетные задачи запускаются с помощью подсистемы пакетной обработки заданий PBS на других компонентах комплекса.

   2) Вторая компонента - вычислительная ферма общего назначения - предназначена для выполнения пакетных заданий (batch) пользователей.

   3) Третья компонента - вычислительная ферма для экспериментов на LHC - предназначена для выполнения пакетных заданий (batch) пользователей коллабораций на LHC. Эта компонента является не только частью комплекса ОИЯИ, но также входит в российский сегмент глобальной инфраструктуры LCG (LHC Computing GRID) наряду с аналогичными комплексами в НИИЯФ МГУ, ИТЭФ, ИФВЭ. Российский сегмент LCG создается по проекту РИВК-БАК (Российский Информационно-Вычислительный Комплекс для обработки и анализа информации Большого Адронного Коллайдера).
   Эта компонента используется также для работ в области GRID-технологий. При отсутствии основной загрузки вычислительная ферма может использоваться всеми остальными пользователями.

   4) Четвертая компонента - вычислительный кластер для параллельных вычислений - предназначен для выполнения пакетных заданий (batch), подготовленных с помощью систем параллельных вычислений (MPI, OpenMP). Кластер создан на основе современной коммуникационной технологии MYRINET.
   Вычислительный кластер параллельных вычислений при отсутствии основной загрузки может также использоваться всеми остальными пользователями.
   В состав центрального информационно-вычислительного комплекса входят файловые серверы с дисковыми RAID-массивами, а также специализированные серверы AFS, NFS, WWW, FTP, SMTP, IMAP, POP, осуществляющие поддержку работы остальных частей комплекса. В настоящий момент комплекс состоит из 80 процессоров с суммарной производительностью около 80 Gflops. Суммарная емкость дисковых массивов составляет около 6 ТБ.
   Кроме этого несколько узлов и один файловый сервер используются для тестирования и отладки новых программных пакетов и технологий.

 

В.В. Кореньков (korenkov@cv.jinr.ru)


«Содержание»