Концепция grid; cоздание российского сегмента...

Концепция GRID; cоздание российского сегмента глобальной

системы распределенных вычислений

Кореньков В.В.

Концепция GRID

В настоящее время в мире интенсивно развивается концепция GRID - компьютерной инфраструктуры нового типа, обеспечивающей глобальную интеграцию информационных и вычислительных ресурсов на основе создания и развития промежуточного программного обеспечения (middleware) нового поколения.

Основная задача GRID - создание протоколов и сервисов для обеспечения надежного и безопасного доступа к географически распределенным информационным и вычислительным ресурсам - отдельным компьютерам, кластерам, суперкомпьютерным центрам, хранилищам информации, сетям, научному инструментарию и т.д.

Благодаря Интернет была создана глобальная система обмена информацией, всемирная паутина WWW стандартизовала поиск и доставку документов, GRID является следующим революционным этапом в развитии высоких технологий – стандартизации и глобализации использования всех видов компьютерных ресурсов.

Five Emerging Models of Networked Computing From The Grid

• Distributed Computing– || synchronous processing

• High-Throughput Computing– || asynchronous processing

• On-Demand Computing– || dynamic resources

• Data-Intensive Computing– || databases

• Collaborative Computing– || scientists

Ian Foster and Carl Kesselman, editors, “The Grid: Blueprint for a New Computing Infrastructure,” Morgan Kaufmann, 1999, http://www.mkp.com/grids

Компьютерные сети

• Сети vs. Производительность компьютеров– Вычислительные скорости удваиваются каждые

18 месяцев– Скорости сетей удваиваются каждые 9 месяцев– Разница на целый порядок за 5 лет

• 1986 to 2000– компьютеры: x 500– сети: x 340,000

• 2001 to 2010– компьютеры: x 60– сети: x 4000

Moore’s Law vs. storage improvements vs. optical improvements. Graph from Scientific American (Jan-2001) by Cleo Vilett, source Vined Khoslan, Kleiner, Caufield and Perkins.

Этапы развития GRID

Приложения GRID

Grid служит универсальной эффективной инфраструктурой для высокопроизводительных распределенных вычислений и обработки данных.

Grid — практически неограниченно масштабируемый инструмент обработки информации.

К приложениям Grid относятся:• сложное моделирование на удаленных

суперкомпьютерах; • совместная визуализация очень больших наборов

научных данных; • распределенная обработка и анализ данных; • связывание научного инструментария с

удаленными компьютерами и архивами данных; • совместное проектирование сложных объектов.

CollaboratingComputer Centres

Building a GridThe virtual LHC Computing Centre

Grid

Alice VO

CMS VO

Некоторые Grid Проекты

Name URL/Sponsor FocusGlobus™ globus.org

DARPA, DOE, NSF, NASA,

Исследование в области Grid технологий; Globus Toolkit™

EU DataGrid www.eu-datagrid.org

European Union

Создание Grid для приложений в области Физики Высоких Энергий, Биоинформатики и ООС.

EU DataTAG www.datatag.org Interoperability between European and US Grids

CrossGrid www.cyfronet.krakow.pl/crossgrid European Union

Создание и тестирование GRID-приложений

EGEE (Enabling Grids for E-science in Europe)

www.cern.ch/egee

European UnionСоздание европейского GRID для науки и высоких технологий

LCG (LHC Computing GRID)

www.cern.ch/lcg Создание глобальной системы для экспериментов на LHC

http://www.cern.ch/lcg

Некоторые Grid Проекты

Name URL/Sponsor Focus

Grid Physics Network

griphyn.org

NSF

Cоздание технологий для анализа данных в физике: ATLAS, CMS, LIGO, SDSS

International Virtual Data Grid Laboratory

ivdgl.org

NSF

Создание международной Grid для экспериментов над технологиями и приложениями

TeraGrid teragrid.org

NSF

Научная инфраструктура в США, связывающая 4 организации 40 Gb/s

Particle Physics Data Grid

ppdg.net

DOE Science

Создание Grid для анализа данных в Физике Высоких Энергий и Ядерной физике

The 13.6 TF TeraGrid:Computing at 40 Gb/s

26

24

8

4 HPSS

5

HPSS

HPSS UniTree

External Networks

External Networks

External Networks

External Networks

Site Resources Site Resources

Site ResourcesSite ResourcesNCSA/PACI8 TF240 TB

SDSC4.1 TF225 TB

Caltech Argonne

TeraGrid/DTF: NCSA, SDSC, Caltech, Argonne www.teragrid.org

Grid Architecture

GRID

VPN

WorkstationsWorkstations

MammoGrid Data

MammoGrid Data

MammoGrid Data

Udine

Oxford

CERN

MammoGrid Data

Cambridge

GridBox

GridBox

GridBox

High Security Level

MG W/s(‘‘MAS’’)

MG W/s(‘‘MAS’’)

Genomic

Information Individualisedhealthcare

Genotyping

Haplotyping

Functionalgenomics

proteomics

Individualgenomics (SNPs and mutations)

Gene Expression DNA arraysMS, 2D eph

Disease reclassificationPharmaco-genomics

Diagnosis

Pharmaco-genetics

Molecular medicine

HumanGenetic

Variation

Molecular causes of diseases

Technologies Data Applications

BIOINFORMATICS & MEDICAL INFORMATICSBIOINFORMATICS & MEDICAL INFORMATICS

Clinical

Genomicmedicine

Preventive medicine

Taken from Fernando Martín-Sánchez

NLNLSURFnet

Geneva

UKUKSuperJANET4

AbileneAbilene

ESNETESNET

MRENMREN

ItItGARR-B

GEANT

NewYork

STAR-TAP

STAR-LIGHT

DataTAG project

LHC in the LEP Tunnel Counter circulating beams of protons in the same beampipe.

Centre of mass collision energy of 14 TeV. 1000 superconducting bending magnets, each 13 metres long, field 8.4 Tesla.

Super-fluid Helium cooled to 1.90 K

World’s largest superconducting structure

The LHC detectors

CMS

ATLAS

LHCb

3.5 Petabytes/year 109 events/year

Событие в LHCСобытие в LHC – это столкно-вение двух протонов или ядер встречных пучков коллайдера и происходящие при этом физи-ческие явления (напр., образо-вание и распад частиц). События регистрируются детекторами и отбираются по вероятности содержания в них интересных физических явлений. (напр., образование не зарегистрированных ранее час-тиц Хиггса). Отбор производится в реаль-ном времени (online) с помо-щью так называемых триггеров (Trigger) и при обработке записанных ранее данных (offline). Триггеры для отбора интерес-ных событий в реальном време-ни реализуют алгоритмы отбора как на аппаратном (электрони-ка), так и на программном (компьютеры) уровне.

Online systemOnline system

• Multi-level trigger• Filter out background• Reduce data volume• Online reduction 107

• Trigger menus • Select interesting events • Filter out less interesting

level 1 - special hardware

40 MHz (40 TB/sec)level 2 - embedded processors

level 3 - PCs

75 KHz (75 GB/sec)5 KHz (5 GB/sec)100 Hz(100 MB/sec)Data recording &offline analysis

В эксперименте CMS поток данных с детек-тора уменьшается с 40TB/sec (1TB=1012

Bytes) на входе триггера первого уровня до 100MB/sec на выходе триггера третьего уров-ня. С такой скоростью данные будут записы-ваться на магнитную ленту или, возможно, на диски в течении нескольких лет для последующего анализа.

MONARC project

regional group

LHC Computing Model2001 - evolving

CERNTier3physics

department

Desktop

Germany

UK

France

Italy

CERN Tier1

USA

Tier1

The opportunity ofGrid technology

Tier2

Uni a

Lab c

Uni n

Lab m

Lab b

Uni bUni y

Uni x

Russia

The LHC Computing Hierarchical Model • Tier-0 at CERN

– Record RAW data (1.25 GB/s ALICE)– Distribute second copy to Tier-1s– Calibrate and do first-pass reconstruction

• Tier-1 centres (11 defined)– Manage permanent storage – RAW, simulated, processed– Capacity for reprocessing, bulk analysis

• Tier-2 centres (>~ 100 identified)– Monte Carlo event simulation– End-user analysis

• Tier-3 - Facilities at universities and laboratories

– Access to data and processing in Tier-2s, Tier-1s

– Outside the scope of the project

Российский региональный центр: the DataGrid cloud

PNPI

IHEP

RRC KI

ITEP

JINR

SINP MSU

Возможности ГРИД технологии

RRC-LHC

LCG Tier1/Tier2cloud

CERN

…

Gbits/s

FZK

Regional connectivity:

cloud backbone – Gbit’s/s

to labs – 100–1000 Mbit/s

Collaborative centers

Tier2cluster

GRID access

Renovation of thecomputer rooms

CPU servers

Disk servers

Tape silos and servers

2.5 MW Power

Preparing the Tier 0+1computer centre

GEANT Backbone Topology April 2004

RBNet (Russian Backbone Network)• опоpная сеть для нужд науки и высшей школы RBNet • http://www.ripn.net

• Схема каналов сети RBNet (02.02.2005)Схема каналов сети RBNet (02.02.2005)

RBNet links.(European part and Ural).

© Copyright RIPN 2000 -2002

GLORIAD (GLOBAL RING NETWORK FOR ADVANCED APPLICATIONS DEVELOPMENT)

Russia-China-USA Science & Education Network

MYRINETclusterCOMMON

PC-farm

INTERACTIVE PC-farm

CCIC JINR

116 CPU

14TB RAID-5

ATL~ 5 (15) TB

6 – Interactive

18 – Common PC-farm

30 – LHC

14 – MYRINET (Parallel)

20 – LCG

20 – File servers

8 – LCG-user interface

EDG overview : structure , work packages

The EDG collaboration is structured in 12 Work Packages WP1: Work Load Management System WP2: Data Management WP3: Grid Monitoring / Grid Information Systems WP4: Fabric Management WP5: Storage Element WP6: Testbed and demonstrators WP7: Network Monitoring WP8: High Energy Physics Applications WP9: Earth Observation WP10: Biology WP11: Dissemination WP12: Management

}} ApplicationsApplications

DataGrid Architecture

Collective ServicesCollective Services

Information & MonitoringInformation

& MonitoringReplica

ManagerReplica

ManagerGrid

SchedulerGrid

Scheduler

Local ApplicationLocal Application Local DatabaseLocal Database

Underlying Grid ServicesUnderlying Grid Services

Computing Element Services

Computing Element Services

Authorization Authentication & Accounting

Authorization Authentication & Accounting

Replica CatalogReplica Catalog

Storage Element Services

Storage Element Services

Database Services

Database Services

Fabric servicesFabric services

ConfigurationManagement

ConfigurationManagement

Node Installation &Management

Node Installation &Management

Monitoringand Fault Tolerance

Monitoringand Fault Tolerance

Resource Management

Resource Management

Fabric StorageManagement

Fabric StorageManagement

Grid

Fabric

Local Computing

Grid Grid Application LayerGrid Application Layer

Data Management

Data Management

Job Management

Job Management

Metadata Management

Metadata Management

Object to File

Mapping

Object to File

Mapping

Logging & Book-

keeping

Logging & Book-

keeping

Участие российских центров в проекте EU DataGRID

Участники:

НИИЯФ МГУ, НИВЦ МГУ, ИТЭФ, ИПМ им. Келдыша, ИФВЭ (Протвино), ОИЯИ (Дубна), ПИЯФ (Гатчина), ТЦ «Наука и общество»

Пакеты WP6, WP8, WP10Основные результаты:

• Создана информационная служба GRIS-GIIS • Создан сертификационный центр (Certification authority, СА) • Опыт создания распределенных баз данных (пакет GDMP),

совместное использование системы массовой памяти в Дубне • Развитие средств Monitoring and Fault Tolerance• Создан программный продукт Metadispetcher • Участие в сеансах массовой генерации событий для экспериментов

CMS, ATLAS; создание пакета DOLLY

Главный результат - получение опыта работы с новейшим программным обеспечением GRID, включение российского сегмента в европейскую инфраструктуру EU DataGRID

LCG project• LCG project approved by CERN Council in September 2001• LHC Experiments

– Grid projects: Europe, US– Regional & national centers

Goal– Prepare and deploy the computing environment to help

the experiments analyze the data from the LHC detectorsPhase 1 – 2002-05– development of common software prototype– operation of a pilot computing servicePhase 2 – 2006-08– acquire, build and operate the LHC computing service

Applications AreaCommon projects

Libraries and tools,data management

Middleware AreaProvision of grid

middleware – acquisition,development, integration,

testing, support

CERN Fabric AreaCluster management

Data handlingCluster technology

Networking (WAN+local)Computing service at CERN

Grid Deployment AreaEstablishing and managing the

Grid Service - Middleware certification, security, operations.

Service Challenges

LCG activities

Distributed AnalysisJoint project on distributed

analysis with the LHC experiments

Cooperation with other projects• Network Services

– LCG will be one of the most demanding applications of national research networks such as the pan-European backbone network, GÉANT

• Grid Software– Globus, Condor and VDT have provided key components of the

middleware used. Key members participate in OSG and EGEE– Enabling Grids for E-sciencE (EGEE) includes a substantial middleware

activity. • Grid Operations

– The majority of the resources used are made available as part of the EGEE Grid (~140 sites, 12,000 processors). EGEE also supports Core Infrastructure Centres and Regional Operations Centres.

– The US LHC programmes contribute to and depend on the Open Science Grid (OSG). Formal relationship with LCG through US-Atlas and US-CMS computing projects.

– The Nordic Data Grid Facility (NDGF) will begin operation in 2006. Prototype work is based on the NorduGrid middleware ARC.

Country providing resourcesCountry anticipating joining EGEE/LCG

In EGEE-0 (LCG-2): 150 sites ~14,000 CPUs ~100 PB storage

Operations: Computing Resources

This greatly exceeds the project expectations for numbers of sites

New middlewareNumber of sitesHeterogeneity

Complexity

Grid Operations

CIC

CICCIC

CICCIC

CICCIC

CICCIC

CICCIC

RCRC

RCRC RCRC

RCRC

RCRC

ROCROC

RCRC

RCRC

RCRCRCRC

RCRCRCRC

ROCROC

RCRC

RCRC RCRC

RCRC

RCRC

ROCROC

RCRC

RCRC

RCRC

RCRC

ROCROC

OMCOMC

RC - Resource Centre

• The grid is flat, but there is a Hierarchy of responsibility

– Essential to scale the operation • Operations Management Centre (OMC):

– At CERN – coordination etc…• Core Infrastructure Centres (CIC)

– Acts as single operations centres (one centre in shift)

– Daily grid operations – oversight, troubleshooting

– Run essential infrastructure services– Provide 2nd level support to ROCs– UK/I, Fr, It, CERN, + Russia + Taipei

• Regional Operations Centres (ROC)– Front-line support for user and operations– Provide local knowledge and adaptations– One in each region – many distributed

• User Support Centre (GGUS)– In FZK (Karlsruhe) (service desk)

Experiments’ Requirements• Single Virtual Organization (VO) across the Grid• Standard interfaces for Grid access to Storage Elements (SEs) and

Computing Elements (CEs)• Need of a reliable Workload Management System (WMS) to efficiently

exploit distributed resources.• Non-event data such as calibration and alignment data but also detector

construction descriptions will be held in data bases – read/write access to central (Oracle) databases at Tier-0 and read

access at Tier-1s with a local database cache at Tier-2s• Analysis scenarios and specific requirements are still evolving

– Prototype work is in progress (ARDA)• Online requirements are outside of the scope of LCG, but there are

connections:– Raw data transfer and buffering– Database management and data export– Some potential use of Event Filter Farms for offline processing

Architecture – Grid services• Storage Element

– Mass Storage System (MSS) (CASTOR, Enstore, HPSS, dCache, etc.)– Storage Resource Manager (SRM) provides a common way to access

MSS, independent of implementation– File Transfer Services (FTS) provided e.g. by GridFTP or srmCopy

• Computing Element– Interface to local batch system e.g. Globus gatekeeper.– Accounting, status query, job monitoring

• Virtual Organization Management– Virtual Organization Management Services (VOMS)– Authentication and authorization based on VOMS model.

• Grid Catalogue Services– Mapping of Globally Unique Identifiers (GUID) to local file name– Hierarchical namespace, access control

• Interoperability– EGEE and OSG both use the Virtual Data Toolkit (VDT)– Different implementations are hidden by common interfaces

Technology - Middleware• Currently, the LCG-2 middleware is deployed in more than

100 sites• It originated from Condor, EDG, Globus, VDT, and other

projects.• Will evolve now to include functionalities of the gLite

middleware provided by the EGEE project which has just been made available.

• Site services include security, the Computing Element (CE), the Storage Element (SE), Monitoring and Accounting Services – currently available both form LCG-2 and gLite.

• VO services such as Workload Management System (WMS), File Catalogues, Information Services, File Transfer Services exist in both flavours (LCG-2 and gLite) maintaining close relations with VDT, Condor and Globus.

gLite middleware– The 1st release of gLite (v1.0) made end March’05

• http://glite.web.cern.ch/glite/packages/R1.0/R20050331 • http://glite.web.cern.ch/glite/documentation

– Lightweight services– Interoperability & Co-existence with deployed infrastructure– Performance & Fault Tolerance– Portable– Service oriented approach– Site autonomy– Open source license

LHC Computing Grid Project http://lcg.web.cern.ch/LCG/

Data Challenges• ALICE

– PDC04 using AliEn services native or interfaced to LCG-Grid. 400,000 jobs run producing 40 TB of data for the Physics Performance Report.

– PDC05: Event simulation, first-pass reconstruction, transmission to Tier-1 sites, second pass reconstruction (calibration and storage), analysis with PROOF – using Grid services from LCG SC3 and AliEn

• ATLAS– Using tools and resources from LCG, NorduGrid, and Grid3 at

133 sites in 30 countries using over 10,000 processors where 235,000 jobs produced more than 30 TB of data using an automatic production system.

• CMS– 100 TB simulated data reconstructed at a rate of 25 Hz,

distributed to the Tier-1 sites and reprocessed there.• LHCb

– LCG provided more than 50% of the capacity for the first data challenge 2004-2005. The production used the DIRAC system.

Service Challenges• A series of Service Challenges (SC) set out to successively

approach the production needs of LHC• While SC1 did not meet the goal to transfer for 2 weeks

continuously at a rate of 500 MB/s, SC2 did exceed the goal (500 MB/s) by sustaining throughput of 600 MB/s to 7 sites.

• SC3 starts soon, using gLite middleware components, with disk-to-disk throughput tests, 10 Gb networking of Tier-1s to CERN providing SRM (1.1) interface to managed storage at Tier-1s. The goal is to achieve 150 MB/s disk-to disk and 60 MB/s to managed tape. There will be also Tier-1 to Tier-2 transfer tests.

• SC4 aims to demonstrate that all requirements from raw data taking to analysis can be met at least 6 months prior to data taking. The aggregate rate out of CERN is required to be 1.6 GB/s to tape at Tier-1s.

• The Service Challenges will turn into production services for the experiments.

gLite http://www.glite.org

Участие российских институтов в проектах LCG/EGEE

LHC Computing Grid Project (LCG)LHC Computing Grid Project (LCG)

В 2003 году подписан протокол между правительством России, CERN и ОИЯИ об участии в проекте LCG.

По этому соглашению Россия и ОИЯИ берет на себя в ответственность за следующие задачи:

- тестирование всех (внешних или разработанных внутри LCG) программных средств GRID, принятых для внедрения в инфраструктуру LCG;

- программы запуска, сопровождения, мониторинга, инсталляции генераторов событий (Events Database, Repository of generators);

- участие в оценке новых технологий GRID, появляющихся в мире, для использования в LCG (Globus toolkit 3, industrial GRID software)


Основные результаты:

– Создание инструментальных средств, тестовых пакетов и инфраструктуры для испытания программного обеспечения LCG.

– Создан тестовый полигон (названный “Beryllium”) для функциональных испытаний базовых компонент EU DataGRID в архитектурной среде OGSA (Globus Toolkit 3), основанной на технологиях Java и XML с использованием транспортного протокола высшего уровня SOAP. Выполнена работа по созданию инструментов для измерения производительности пакета Globus Toolkit 3 в условиях высокой загрузки и параллелизма.

– Разработана концепция и создано программное обеспечение для библиотеки Монте-Карло генераторов, названного GENSER, общего для всех четырех экспериментов LHC (lcgapp.cern.ch/project/simu/generator/).

http://lcgapp.cern.ch/project/simu/generator/









Задачи на 2004 год:• LCG Deployment and Operation• LCG Testsuit• Castor• LCG AA- Genser&MCDB• ARDA

JINR in LCG (2004 and 2005 years)

• LCG2 infrastructure was created at JINR• The server for monitoring Russian LCG sites was installed; • LCG web-portal was created in Russia and now its development is in

progress:• Tests on data transferring by the GridFTP protocol (GlobusToookit 3) were

made.• the toolkit GoToGrid on the automatic installation and tuning of the LCG-2

package was developed;• development of the MCDB system;• software for installation and control of MonaLisa clients on the base of

RMS (Remote Maintenance Shell) was designed. • Works to develop CASTOR2 system was in progress: development of the

control process of the garbage collection module, communication to Oracle DB;

• participation in the work to create the TESTBED of the new gLite middleware;

• Testing of next components gLite: Metadata catalog, Fireman catalog• Monitoring of WMS (Workload Management System) gLite testbed in INFN

site gundam.cnaf.infn.it


Цель проекта EGEE - создание Грид инфраструктуры по всей Европе, доступной 24 часа в сутки.

Ключевые направления проекта:- формирование согласованной, устойчивой и защищённой

вычислительной сети;

- совершенствование программных средств middleware с целью обеспечения надежного обслуживания пользователей;

- привлечение новых пользователей из других сфер деятельности и обеспечение им высокого стандарта обучения и поддержки.

EGEE и другие GRID - проекты

Какое отношение имеет EGEE к существующим гридам и исследовательским сетям?

Инфраструктура EGEE строится на базе исследовательской сети Европейского союза (ЕС) GEANT и в ней используется опыт, накопленный в таких проектах, как DataGrid, Datatag, Crossgrid, поддержанных ЕС, в национальных проектах, например, e-Science (Британия), INFN Grid, Nordugrid и американском Trillium. Она обеспечит возможность совместной работы с другими системами во всём мире, включая США и Азию, что будет способствовать установлению всемирной GRID-инфраструктуры.

Функциональность проекта EGEE• Упрощённый доступ.

EGEE уменьшит издержки, связанные с разнообразием не связанных между собой систем учёта пользователей. Пользователи смогут объединяться в виртуальные организации с доступом к grid – инфраструктуре, содержащей нужные каждому пользователю рабочие ресурсы.

• Выполнение вычислений по требованию. Эффективно распределяя ресурсы, grid-технологии значительно

сокращает время ожидания доступа к ним.• Географически распределённый доступ. Инфраструктура будет доступна отовсюду, где обеспечена хороший

доступ к сети. Ресурсы становятся широко доступными.• Исключительно большой объём ресурсов. Благодаря согласованности ресурсов и пользовательских групп, в

прикладной работе в рамках EGEE будут доступны ресурсы таких объёмов, какие не может предоставить ни один компьютерный центр.

• Совместное использование программного обеспечения и данных. Благодаря единой структуре вычислительных средств, в EGEE пользователям будет легко совместно использовать программное обеспечение и базы данных и разрабатывать программное обеспечение.

• Высокий уровень поддержки приложений. Компетентность всех участников EGEE обеспечит тщательную,

всестороннюю поддержку всех основных приложений.


The aim of the project is to create a global Pan-European computing infrastructure of a Grid type.

• Integrate regional Grid efforts• Represent leading grid activities in Europe

EGEE Timeline

May 2003: proposal submitted

EU budget of 32M€ over 2 yearsJuly 2003: proposal accepted

• September 2003: start negotiation

1st meeting 8th Sept

2nd meeting 26th Sept

Final meeting 17th Oct• April 2004: start project

Existing EU DataGrid and DataTAG projects extended to this date

NA15%

NA24%

NA35%

NA413%

NA53%

SA147%

SA21%

JRA115%

JRA22%

JRA33%

JRA42%

EGEE activities’ relative sizesNetworking (NA1-5): 30%EDG (WP8-12): 25%

Emphasis in EGEE is on operating a productiongrid and supporting the end-users

Mware/security/QA

(JRA1-4): 22%EDG (WP1-5): 57%

EGEE ~8MEuros

EDG ~6MEuros

Grid operations (SA1,2): 48%EDG (WP6,7): 18%

Federating Worldwide Resources for the LHC

МЕМОРАНДУМо создании в России компьютерной

инфраструктуры GRID

В целях обеспечения полномасштабного участия России в проекте создания глобальной (паневропейской) компьютерной инфраструктуры типа ГРИД – EGEE (Enabling Grids for E-science in Europe), принятом к финансированию летом 2003 года Европейской Комиссией (6-я Рамочная программа, проект 508833), и реализации отечественных приоритетов в этом международном проекте, нижеподписавшиеся Институты, участвующие в данном проекте, образовали консорциум РДИГ (Российский ГРИД для интенсивных операций с данными – Russian Data Intensive GRID, RDIG) для эффективного выполнения работ по проекту и развитию в России инфраструктуры EGEE, с вовлечением на следующих этапах проекта других организаций из различных областей науки, образования и промышленности…

Russian Data Intensive GRID (RDIG) Consortium EGEE Federation

• ИФВЭ (Институт физики высоких энергий, Протвино) – Петухов В.А.

• ИМПБ (Институт математических проблем биологии, Пущино) – Лахно В.Д.

• ИТЭФ (Институт теоретической и экспериментальной физики) – Гаврилов В.Б.

• ОИЯИ (Объединенный институт ядерных исследований, Дубна) – Кореньков В.В.

• ИПМ (Институт прикладной математики) – Корягин Д.А.• ПИЯФ (Петербургский институт ядерной физики, Гатчина)

– Рябов Ю.Ф.• ИАЭ (Институт атомной энергии) – Солдатов А.А.• НИИЯФ МГУ (Научно-исследовательский институт ядерной

физики МГУ) – Ильин В.А.

Russian Contribution to EGEE

RDIG as an operational and functional part of EGEE infrastructure (CIC, ROC, RC).

Activities:

SA1 - European Grid Operations, Support and Management (A.Kryukov, Y.Lazin)

SA2 – Network Resource Provision (V.Dobrecov)

NA2 – Dissemination and Outreach (T.Strizh)

NA3 – User Training and Induction (E.Slabospitskaya)

NA4 - Application Identification and Support (E.Tikhonenko)

JINR role and work in EGEE

• SA1 - European Grid Operations, Support and Management EGEE-RDIG monitoring and accounting. Middleware deployment and

resource induction. Participation in the OMII and GT4 evaluation and in the gLite testing.

LCG SC activity coordination in Russia.

• NA2 - Dissemination and Outreach Coordination of this activity in Russia, organization of EGEE RDIG

Conference, Creation and run the RDIG Web site (http://www.egee-rdig.ru), dissemination in JINR Member states.

• NA3 - User Training and Induction Organization of grid tutorials, induction courses and training courses for

administrators.

• NA4 - Application Identification and Support Coordination of this activity in Russia, organization of HEP applications

in Russia through the EGEE infrastructure.

http://lhc.sinp.msu.ru/CA/

Russian DataGrid Certification Authority

http://ussup.itep.ru/

RDIG мониторинг в ОИЯИ http://rocmon.jinr.ru:8080

http://rocmon.jinr.ru:8080/

Grid middleware evaluations

• The goal of the evaluations is to get a better understanding of the functionality, performance, solidity, interoperability, deployability, management and usability of components in different grid MW distributions

• Aid decision about possible usage of components for the EGEE MW and about provision of interoperability between these distributions and the EGEE MW

• Evaluation of OMII distribution by JINR and KIAM in February - April 2005

• Evaluation of Globus Toolkit 4 by JINR, KIAM and SINP MSU in May - October 2005

Tier1/2 Network Topology

RDIG WEBMain web-pages: http://www.egee-rdig.ru (English/Russian) Dubna, JINR http://egee.sinp.msu.ru (English/Russian) Moscow,SINP MSU http://www.gridclub.ru (Russian) Moscow,KIAM RAS http://www.ihep.su/egee (Russian) Protvino IHEP http://www.jcbi.ru/prez/egee.shtml Russian www.impb.ru/egee Russian/English (not all) Pushchino, IMPB RAS http://egee.pnpi.nw.ru Russian, Gatchina, PNPI RAShttp://egee.itep.ru Russian/English, Moscow, ITEPhttp://rdig-registrar.sinp.msu.ru Technical site, Russian, Moscow, SINP MSU

http://www.grid.kiae.ru Russian, Moscow, RRC KI

Conferences• The first major Grid conference in

Russia, hosted by Joint Institute for Nuclear Research, has been hailed a success. The conference, distributed Computing and Grid-technologies in Science and Education, took place in Dubna, Russia, between 29 June and 2 July 2004, and attracted more than 200 participants from Russia, Bulgaria, Ukraine, Slovakia, Armenia, Germany, Czech Republic and Belarus. Russians from 29 Universities and Research institutes, also attended. http://lit.jinr.ru/grid2004/

• 13 reports have been presented on this conference by Russian EGEE group members

• First RDIG-EGEE workshop was held

Tier2 in Russia

Institute Link CPUs Disk OS/Middleware

IHEP 100 Mb/s half-duplex

5+ 1.6 TB …?

…?

ITEP 60 Mb/s 20 ? 2 TB ? SL-3.0.4 (kernel 2.4.21)

…?

JINR 45Mb/s

(1Gbit/s)10 ? 5 TB SLC3.0.X

LCG-2_4_0, Castor, gridftp, gLite?

SINP 1Gbit/s 30 ? 2 TB ? SL-3.0.4 (kernel 2.4.21)

gridftp, Castor

Universal Grid infrastructure in University Center of JINR

• Grid infrastructure is set of virtual machines (VMs) running on physical ones (hosts)• Virtualisation was made using User Mode Linux• current number of VMs is 36 (6 VMs on each of 6 hosts)• all virtual resourses are grouped into independent testbeds which in turn can be used for different aims: system administrators and users training in grid field, debugging and testing custom grid services in desirable grid environment

● Course for system administrators using Nordugrid ARC middleware was successfully conducted on that infrastructure

● LCG2 or gLite installation and configuration course is in future plans

Useful References:• GLOBAL GRID FORUM: //www.gridforum.org• European GRID FORUM: //www.egrid.org • GLOBUS: //www.globus.org • PPDG: //www.ppdg.org • IVDGL: //www.ivdgl.org• OSG: //www.ivdgl.org/osg-int/• GriPhyn: //www.griphyn.org• Condor: //www.cs.wisc.edu/condor • TERAGRID: //www.teragrid.org • EU DATAGRID: //www.eu-datagrid.org• DATATAG: //www.datatag.org• CrossGRID: //www.crossgrid.org• LCG: //lcg.web.cern.ch/LCG/• EGEE: //www.eu-egee.org• EGEE-RDIG: //www.egee-rdig.ru• GRIDCLUB: //www.gridclub.ru

Концепция grid; cоздание российского сегмента...

Documents