Kарта сайта eng
О насНовости
ДеятельностьВычислительные & информационные ресурсы
     Вычислительные & информационные ресурсы > ЦИВК     
Новости
ЦИВК
Регистрация
Статистика
Файловая система AFS (ps)
Руководство пользователя dCache
Безопасность в сети
Библиотеки
Вопросы распараллеливания
Руководство для пользователей
Практические рекомендации
Контакт
Фотогалерея
Старая версия сайта ЦИВК
Архитектура и аппаратура ЦИВК

В настоящее время в составе вычислительной фермы ЦИВК имеются следующие счетные машины:

- 60 64-х битных машин:
2 процессора Xeon 5150 (2 ядра на процессор);
тактовая частота 2.66GHz;
4096KB кэш на ядро;
8GB оперативная память;
160GB диск на 20 машинах и 250 GB на 40;
1Gb Ethernet.

- 30 64-х битных машин:
2 процессора Xeon E5430 (4 ядра на процессор);
тактовая частота 2.66GHz;
6144KB кэш на ядро;
16GB оперативная память;
250GB диск;
1Gb Ethernet.

- 10 64-х битных машин:
2 процессора Xeon X5450 (4 ядра на процессор);
тактовая частота 3.00GHz;
6144KB кэш на ядро;
16GB оперативная память;
250GB диск;
1Gb Ethernet;
2x infiniband.

- 10 64-х битных машин:
2 процессора Xeon E5410 (4 ядра на процессор);
тактовая частота 2.33GHz;
6144KB кэш на ядро;
16GB оперативная память;
2 * 160GB диск;
1Gb Ethernet;
2x infiniband.

- 54 64-х битных машины, по 2 машины в одном корпусе высотой 2 дюйма (U2):
2 процессора Xeon E5420 (4 ядра на процессор);
тактовая частота 2.50GHz;
6144KB кэш на ядро;
16GB оперативная память;
250GB диск;
1Gb Ethernet.

- 60 64-х битных машины, по 2 машины в одном корпусе высотой 2 дюйма (U2):
2 процессора Xeon E5430 (4 ядра на процессор);
тактовая частота 2.66GHz;
6144KB кэш на ядро;
16GB оперативная память;
500GB диск;
1Gb Ethernet.

- 4 64-х битных машины в одном корпусе высотой 4 дюйма (U4):
2 процессора Xeon E5540 (4 ядра на процессор);
тактовая частота 2.536GHz;
8192KB кэш на ядро;
24GB оперативная память;
250GB диск;
1Gb Ethernet.

Так как 2-х и 4-х ядерные процессоры являются в действительности двумя и четырьмя независимыми процессорами на одном кристалле, то мы располагаем 1584 64-х битными ЦПУ. Все эти ЦПУ доступны и пользователям ОИЯИ, и пользователям грид через единую систему пакетной обработки заданий - batch.

Для разработки собственного ПО и других нужд пользователей ОИЯИ установлены 5 машин с интерактивным доступом пользователей:
- 4 x 64-х битных машины
Xeon X5650, 12 x Core, 36GB RAM, 2 x 500GB HDD, 1Gb Ethernet;
- 1 x 64-х битная машина
Xeon E5420, 8 x Core, 16GB RAM, 250GB HDD, 1Gb Ethernet.

В состав ЦИВК входит несколько серверов поддержки работы пользователей и служб ОИЯИ: batch, WWW, БД mysql и Oracle; e-mail; DNS и другие. Эти серверы продолжают работать на различных аппаратных платформах от 32-х битных Pentium-3, до 64-х битных Xeon и Opteron.

Основной системой хранения больших объемов информации в ЦИВК ОИЯИ служит аппаратно-программный комплекс dCache. В настоящий момент в него включены:
- 12 серверов основных интерфейсов системы dCache;
- 32 системы хранения данных (Pool).

Несколько объединений пользователей нашего центра используют систему доступа к удаленной информации - XROOTD. Для работы этой системы создан аппаратно-программный комплекс в составе:
- 1 сервер обработки запросов к системе;
- 9 систем хранения данных.

Аппаратные платформы систем хранения данных: Intel Xeon и AMD Opteron. Все системы хранения построены с использованием аппаратного механизма RAID6. Общая доступная емкость системы составляет ~800TB.

В ЦИВК ОИЯИ установлено 6 серверов AFS - высоко защищенной распределенной файловой системы, которая является основой поддержки домашних директорий пользователей и системой доступа к общему ПО для всего ОИЯИ. Общее пространство AFS в ОИЯИ составляет ~3.56TB

Для обслуживания сайта wLCG в ОИЯИ (сайт - отдельный кластер в распределенной системе wLCG и EGEE), установлено 24 сервера с системой gLite (ПО EGEE/wLCG). Кроме функций поддержки работы самого сайта JINR- LCG2, часть серверов реализуют важные сервисы и функции поддержки Российского сегмента проектов LCG и EGEE.

Для улучшения работы локальной сети ЦИВК и достижения требуемых параметров доступа к данным и файлам применяются агрегирование (TRUNK) нескольких соединений 1Гигабит Ethernet в единый виртуальный канал увеличенной пропускной способности.

На рис.1 приведена логическая структура сетевого соединения корзины Superblade с 10-ю вычислительными лезвиями к локальной сети ЦИВК.
Рисунок 2 отображает подключение 20-и счетных машин установленных в стойке к локальной сети ЦИВК.
Рисунок 3 отражает логику подключения стойки с 8-ю дисковыми серверами к основному маршрутизатору локальной сети ЦИВК.



Рис.1


Рис.2


Рис.3
Используя схему агрегирования сетевых линков, мы смогли выполнить требования по скорости доступа к данным из счетных задач основных пользователей наших ресурсов, как локальных пользователей ОИЯИ, так и пользователей wLCG/EGEE. Данная схема позволила не переводить всю локальную сеть на более мощные каналы (10GbE, или Infiniband), что потребовало бы весьма значительных денежных затрат.
Архив: 2007, 2008
   Copyright © ЛИТ, ОИЯИ , 2006
    Webmaster : @jinr.ru

|    О нас    |    Новости    |    Деятельность    |    Вычислительные & информационные ресурсы    |