Лаборатория   информационных   технологий 

"Содержание"

Раздел IV. О новом проекте общеевропейской Grid –инфраструктуры
и "Облачном компьютинге "Cloud computing")

Редакторский обзор в разделе IV данного выпуска бюллетеня (см. также http://lit.jinr.ru/Inf_Bul_5) посвящен той же теме, что и в аналогичных обзорах в бюллетенях №3 [44] и №4 [45] (см. http://lit.jinr.ru/Inf_Bul_3/bullet.htm#_Toc98590864 и http://lit.jinr.ru/Inf_Bul_4/bullet_6.htm#_Toc190687952 ): текущему состоянию и перспективам развития грид-систем, что может быть полезным для интересующихся этой тематикой, поскольку участие ОИЯИ и других научно-исследовательских организаций в применении и развитии таких систем давно стало одной из первоочередных задач международного научного сотрудничества.

I. О новом проекте общеевропейской GRID-инфраструктуры

Как отмечалось в предыдущих обзорах, до 2009 г. сформировалось и полномерно использовалось в мире несколько наиболее известных грид-структур: EGEE (Enabling Grids for E-sciencE, в рамках которой приняли участие организации по проекту RDIG — Russian Data Intensive Grid), Nordic Data Grid Facility, NAREGI, Open Science Grid, Teragrid, DEISA и др. Одной из главных проблем стало использование в этих структурах разнотипных несовместимых средств middleware, то есть тех системных программных сервисов и аппарата их взаимодействия, которые обеспечивают прием и обработку прикладных задач пользователей: gLite в EGEE, ARC в NorduGrid, UNICORE... В результате многие географически распределенные группы пользователей, подключенные к разным грид-структурам (например, в Америке и Европе), ощутили трудности при решении задач из общей предметной области (скажем, в области физики высоких энергий, обслуживающейся в Европе в основном средствами EGEE). Поэтому одним из самых главных и первоочередных событий 2009 г. следует считать принятие европейским научным сообществом решения о реализации с апреля 2010 г. нового общеевропейского проекта EGI (European Grid Initiative) как наследника завершающегося проекта EGEE. Сразу отмечу, что этим не предполагается выбросить в корзину те типы общесистемного программного обеспечения, которое указывалось выше (gLite, ARC, UNICORE): им будут обеспечены средства поддержки, развития и взаимодействия (интероперабельности), и статья в Бюллетене ЦЕРН (CERN Computer NewsLetter), которая была опубликована с титулом “Europe`s Grid infrastructure shifts from EGEE to EGI (см. http://cnl.web.cern.ch/cnl/2009/CNLAprJun.pdf, с. 4), вовсе не означает отмены gLite, как и ARC и UNICORE. Что касается средств интероперабельности разных подструктур будущего общеевропейского грид, то в предыдущем к указанному бюллетене (см. http://cnl.web.cern.ch/cnl/2009/CNLJanMar.pdf, с. 14) есть статья Archiving grid interoperation through standartization: OGF endorses now proposed standard, в которой дана ссылка на документ международной организации Open Grid Forum (OGF): имеется ввиду документ GLUE 2.0 (см. http://www.ogf.org/documents/GFD.147.pdf), определяющий способы создания (формализованного описания) информационных моделей состава и функционирования разных грид-инфраструктур. Этот документ был выработан совместно рабочей группой провайдеров middleware от EGEE, Open Science Grid, Teragrid, NorduGrid и Naregi. В указанной статье Бюллетеня ЦЕРН отмечается, что оформление спецификации GLUE 2.0 как OGF-стандарта на формализованное представление состава и функционирования системного наполнения грид-структур в значительной степени будет содействовать практическому решению проблемы их интероперабельности, и на практике использование указанной спецификации было уже применено авторами из структуры NorduGrid для создания формализованного описания (модели) своего ARC-middleware. Как они отмечают: “это позволит нам обеспечить основанную на использовании принятого стандарта интероперабельность для наших пользователей с разными грид-инфраструктурами, включая EGEE, самый крупный в мире международный грид” (ну, в полной мере это уже задача для EGI с его будущими версиями middleware, этим займется его подразделение EGI.org.Middleware Unit, см., например, http://web.eu-egi.eu/documents/unified-middleware-distributio).

На самом деле, как это отмечалось в предыдущем обзоре (в Информационном бюллетене ЛИТ №4 [45]), практические шаги в направлении объединения разных грид-структур и их интероперабельности начали совершаться еще в 2006 г.; в апреле 2007 г. было сформировано сообщество PACE (Partnership for Advanced Computing in Europe, к сожалению без участия России) с целью создания высокопроизводительной вычислительной инфраструктуры в Европе, предусматривавшего включение в эту инфраструктуру суперкомпьютерных центров из 15 европейских стран; с сентября 2007 г. стартовал проект EGI Design Study (EGI_DS), финансово поддержанный в рамках 7-й Рамочной программы Европейского сообщества: его целью было отработать механизм формирования новой базовой инфраструктуры панЕвропейского грид (EGI), его органов управления и способов финансирования (36 европейских стран выразили тогда поддержку этому проекту). Наконец, в декабре 2008 г. во все страны — потенциальные участники EGI — был представлен документ EGI blueprint, созданный на основе реализации проекта EGI Design Study и предусматривающий формирование централизованно поддерживаемой грид-инфраструктуры в Европе в связи с завершением проекта EGEE весной 2010 г.: см. http://www.eu-egi.eu/blueprint.pdf.

В соответствие с указанным документом создается объединение EGI (см. http://web.eu-egi.eu) с представительством от всех национальных грид-структур (NGIs — National Grid Initiatives) стран-участниц проекта: NGIs — это национальные юридические лица (legal bodies — конкретные люди или организации, поддерживаемые своими правительствами), практическая деятельность которых и ее координация реализуется в структуре EGI.org. В обязанности каждого такого представителя входит предоставление на национальном уровне сервисов для общего и разделяемого универсального доступа к вычислительным ресурсам (мобилизация национальных финансовых средств и вычислительных ресурсов, финансовая поддержка взносами для обеспечения деятельности EGI.org, гарантированное обеспечение функционирования национальной грид-инфраструктуры на должном уровне и ее интеграции в EGI, поддержка пользовательских сообществ обеспечением основных сервисов для приложений). Высшим уровнем управления в EGI является Совет EGI Council: NGIs входят в его состав с правом решающего голоса при принятии решений (это EGI Council Members от 36 стран и ЦЕРН. Кроме того, в Совет входят наблюдатели (EGI Council Observers) от семи стран (в том числе от России) без права решающего голоса при принятии решений: списки можно видеть по адресам http://web.eu-egi.eu/partners/egi-members/ и http://web.eu-egi.eu/partners/egi-observers/

На самом деле участие России в проекте EGI с августа 2009 г. представлено через национальную ассоциацию исследовательской и образовательной инфраструктуры “e-ARENA”, получившей статус, эквивалентный статусу NGI (юридического лица, признанного в этом качестве Министерством связи РФ). Она включает 5 организаций, активно принимавших участие во всех этапах проекта EGEE через грид-инфраструктуру RDIG (Russian Data Intensive Grid): RRC KI (Курчатовский институт), SINP MSU (НИИЯФ МГУ), PNPI  RAS (Гатчина), ITEP (Москва) и JINR (Дубна).

В EGI Council в ранге наблюдателей есть и представители от Белоруссии как делегаты федерации суперкомпьютерных центров “Скиф-полигон”, создаваемой на территории России и Белоруссии как союзного государства в соответствии с программой СКИФ-ГРИД. В эту федерацию вошли, в частности, суперкомпьютерные центры ряда университетов и институтов России (Московского, Томского, Владимирского, Нижегородского и Северо-Кавказского университетов, ИПХФ в Черноголовке и др.), а также Белоруссии; создается опытный участок грид-сети с центрами управления в ИПС  РАН и ОИПИ  НАН Белоруссии, ответственными за выдачу сертификатов для доступа к этой грид-сети. Для базового системного middleware выбран стандарт UNICORE, и это может означать, что подобная грид-структура может стать со временем полноправным элементом структуры EGI...

II. О совместном использовании грид-технологии и технологии “облачной обработки данных” (Cloud computing)

Эта область деятельности стала наиболее популярной и пропагандируемой в научном мире в 2009 г. Google и электронная энциклопедия типа Википедии дает примерно следующее определение для Cloud computing: “Это технология обработки данных, в которой компьютерные ресурсы и мощности предоставляются пользователю как интернет-сервисы. Пользователь имеет доступ к собственным данным, но не может управлять и не должен заботиться об инфраструктуре, операционной системе и собственно программном обеспечении, с которым он работает. Термин “облако” используется как метафора, основанная на изображении Интернета на диаграмме компьютерной сети”. Можно трактовать это понятие и проще: если пользователю сети Интернет потребуется место для размещения и обработки данных, он может арендовать у какой-то фирмы нужное оборудование и получить право на использование необходимых программных средств такой обработки. Лучше всего для понимания того, в чем разница между средствами обработки в грид-структурах и в указанной выше, изложено в заметке Grids and Clouds go head to head, опубликованной в Бюллетене ЦЕРН (Computer News Letter) в начале 2009 г. (см. http://cnl.web.cern.ch/cnl/2009/CNLJanMar.pdf, с. 8):

— гриды (например EGEE) предоставляют доступ с ваших компьютеров (desktops) к разделяемым вычислительным мощностям и емкостям памяти, предоставляемым исследовательскими институтами и университетами, объединяющими свои сервисы на федеративных началах, а “Облака” — к арендуемым у частных компаний;

— этот сервис в гридах используется исследовательскими коллаборациями и “виртуальными организациями”, объединяющими исследователей, распределенных по миру, а в “Облаках” — малым и средним бизнесом, а также исследователями, нуждающимися в специфических IT-средствах;

— за сервисы в гридах платят правительства и фондируемые исследовательские организации, а в “Облаках” — пользователь сам оплачивает аренду у фирм-провайдеров;

— компьютерные ресурсы в гридах сосредоточены в центрах, распределенных в разных организациях и странах, а в “Облаках” — в частных фирменных центрах;

— в гридах нет нужды организовывать свой центр обработки данных, если можно получить ресурсы у других членов научной коллаборации, а при использовании “Облаков” — в принципе тоже можно обойтись без организации своего центра, но нужно арендовать нужные ресурсы у фирм-провайдеров;

— гриды создавались для обработки больших потоков ограниченных в размерах задач, порождающих или обрабатывающих большие объемы данных, а “Облака” лучше обеспечивают долговременные сервисы и решение длинных по времени задач;

— гриды основаны на использовании открытых (open source) стандартных технологий и пользователи в принципе могут вносить свой вклад в их совершенствование, а в “Облаках” — частные технологии, и только провайдер ресурсов точно знает, как управляется его “Облако” с данными, очередями задач и соблюдением мер обеспечения безопасности (security) его ресурсов…

И там и там есть свои преимущества и недостатки, но в принципе сочетание преимуществ может быть полезным, поэтому в указанной статье и название, эквивалентное утверждению, что технологии гридов и облачного компьютинга могут “скакать в одной упряжке”. Именно поэтому в конце апреля 2009 г. упомянутая ранее в этом обзоре организация OGF (Open Grid Forum, см. http://www.ogf.org) начала формировать рабочую группу OCCI-WG (Open Cloud Computing Interface-Workig Group): ее задача — быстрое создание стандартного открытого API (Application Programming Interface) для облачной инфраструктуры, предоставляемой по требованию. Инфраструктура как сервис (IaaS) — один из трех основных сегментов новой облачной индустрии, в которой компьютерные ресурсы, ресурсы памяти и сетевой ресурс предоставляются как сервис. Следовательно, речь идет о выработке стандартов на API как способе для прикладной программы запросить сервисы (первоначально это относилось к сервисам из библиотек программ или операционных систем, сейчас как видно — из облачных инфраструктур). То, что этим занимается Open Grid Forum, свидетельствует о том, что это шаг к сращиванию средств использования ресурсов в распределенных системах решения задач, предоставляемых грид-структурами, со средствами Cloud Computing. Если понимать это попросту, то из задачи, запущенной в грид, можно запросить нестандартный ресурс из облачной инфраструктуры.

Обе темы разделов I и II данного обзора достаточно активно обсуждались на конференции EGEE’09 в Барселоне 2125 сентября 2009 г. (см. http://egee09.eu-egee.org), в которой приняли участие и представители от сообщества RDIG (в том числе от ОИЯИ). Обсуждение возможностей использования технологий Cloud Computing предполагалось и в рамках программы 13-го международного рабочего совещания по компьютингу и технологии анализа данных в физических исследованиях (2227 февраля 2010 г., см. http://acat2010.cern.ch/).

В.Шириков (shirikov@jinr.ru)


"Раздел III(3)" "Раздел V"