Kарта сайта eng
О насНовости
ДеятельностьВычислительные & информационные ресурсы
     Вычислительные & информационные ресурсы > ЦИВК     
Новости
ЦИВК
Регистрация
Статистика
Файловая система AFS (ps)
Руководство пользователя dCache
Безопасность в сети
Библиотеки
Вопросы распараллеливания
Руководство для пользователей
Практические рекомендации
Контакт
Фотогалерея
Старая версия сайта ЦИВК
Работа с файловой системой dCache в ОИЯИ

Руководство пользователя dCache

Взято с dcache.org. Авторы представляют систему так. Лучше не скажешь.
Целью данного проекта является создание системы для хранения и извлечения больших объемов данных, распределенных среди большого числа разнородных серверных узлов, упорядоченных в виртуальную систему с деревом имён файлов доступных различными стандартными методами. В зависимости от конфигурации, dCache предоставляет методы для обмена данными с серверами организованными в один или два уровня. Она обеспечивает хранение, управление пространством, манипуляции с пулами, репликацию, определение критичных мест нагрузки и восстановления файла в случае потери. Подключение к системе хранения файлов имитирует неограниченное пространство для хранения с прямым доступом. Обмен данными с лентами автоматический и прозрачный для пользователя. Кроме конкретных протоколов HEP (SRM, gFTP)данные в dCache могут быть доступны через NFSv4.1 (pNFS), а также через WebDAV.

Конкретика ЛИТ ОИЯИ
В ЛИТ доступны 4 инсталляции dCache, из которых 3 работают по правилам и обычиям, принятым в WLCG, причём две из них предназначены только для VO CMS. Обсуждение работы с данными системами не входит в настоящее руководство.
Одна система выделена для пользователей, зарегистрированных на фермах ЛИТ и VOs не входящих в WLCG. К ним, например, относятся MPD, BES, Biomed и др.
В настоящее время эта система одноуровневая, т.е. объём хранимых в ней данных ограничен разумными пределами. Эти пределы - несколько десятков ТБ, устанавливает руководство ЛИТ при выделении места под новую VO.

Дерево имён
Независимо от того, выделено ли место пользователю в рамках VO, или он работает самостоятельно, пользователь должен пройти регистрацию на ферме ЛИТ
(Регистрационная форма пользователя центрального вычислительного комплекса ОИЯИ). Там он получает идентификатор, который ниже именуется как <логин>. Например, trofimov - логин Трофимова.
Зарегистрированные пользователи получают доступ к файлам или в поддиректории

/pnfs/jinr.ru/data/user/<первая буква логина>/<логин>

следовательно, файлы пользователя trofimov хранятся в

/pnfs/jinr.ru/data/user/t/trofimov

Если бы trofimov работал в VO TVV, то файлы находились бы в директории /pnfs/jinr.ru/data/tvv... , а дальше, как VO их там расположит.


Особенности доступа к файлам
Файлы в dCache пишутся один раз, а читаются много раз. Модификация не допускается. Процесс изменения содержимого файла выглядит так:

  1. переносим файл из пространства dCache в локальное;
  2. изменяем файл;
  3. стираем файл из dCache;
  4. записываем файл из локального пространства в пространство dCache под старым именем.

Доступ производится исключительно с компьютеров фермы (lxpub...). Для этого используется протокол dcap или утилита копирования dccp. Доступ производится через процессы запущенные на сервере dCache

lxse-dc01.jinr.ru:22126

Для того, чтобы избежать курса работы в linux приведём пример того, как выполняются все возможные действия с файлами dCache.


Содержание работы
У пользователя trofimov залогиненного на lxpub03 в локальной директории есть файл testfile. Его надо записать в директорию dCache, потом прочитать потом стереть и проверить, стёрся ли.

Последовательность действий с комментариями
Смотрим, что есть в диретории у trofimov.

lxpub03:~ > LD_PRELOAD=libpdcap.so ls gssdcap://lxse-dc01.jinr.ru:22126//pnfs/jinr.ru/data/user/t/trofimov
external iiii totest totest1 xxx xxx0022 xxx0044 xxx0045 xxx33 xxx3366 xxx3378 xxx3379 xxx345 xxx9988

Смотрим, что за файл testfile

lxpub03:~ > ls -l testfile
-rw-r--r-- 1 trofimov lhep 26317 Jan 29 20:20 testfile

Копируем файл

lxpub03:~ > LD_PRELOAD=libpdcap.so dccp testfile gssdcap://lxse-dc01.jinr.ru:22126//pnfs/jinr.ru/data/user/t/trofimov
26317 bytes (25.7 kiB) in 0 seconds

Проверяем, на месте ли

lxpub03:~ > LD_PRELOAD=libpdcap.so ls gssdcap://lxse-dc01.jinr.ru:22126//pnfs/jinr.ru/data/user/t/trofimov/testfile -l
-rw-r--r-- 0 trofimov lhep 26317 Feb 15 13:22 dcap://lxse-dc01.jinr.ru:22126//pnfs/jinr.ru/data/user/t/trofimov/testfile

Читаем файл обратно

lxpub03:~ > LD_PRELOAD=libpdcap.so dccp gssdcap://lxse-dc01.jinr.ru:22126//pnfs/jinr.ru/data/user/t/trofimov/testfile newfile
26317 bytes (25.7 kiB) in 0 seconds

Проверяем, тот ли

lxpub03:~ > diff newfile testfile
lxpub03:~ >

Оказался тот. Стираем из dCache. Для этого надо иметь экспортированную библиотеку, потому что будет использоваться операция записи.

lxpub03:~ > LD_PRELOAD= libpdcap.so unlink gssdcap://lxse-dc01.jinr.ru:22126//pnfs/jinr.ru/data/user/t/trofimov/testfile

Проверяем где файл, это можно сделать и с помощью записывающего сервиса.

lxpub03:~ > LD_PRELOAD= libpdcap.so ls gssdcap://lxse-dc01.jinr.ru:22126//pnfs/jinr.ru/data/user/t/trofimov/testfile
/bin/ls: cannot access gssdcap://lxse-dc01.jinr.ru:22126//pnfs/jinr.ru/data/user/t/trofimov/testfile: No such file or directory

Значит всё работает.

Архив
Руководство по работе с файловой системой dCache в ОИЯИ подготовлено В.В. Трофимовым
   Copyright © ЛИТ, ОИЯИ , 2006
    Webmaster : @jinr.ru

|    О нас    |    Новости    |    Деятельность    |    Вычислительные & информационные ресурсы    |