grid computing

GRID ComputingGRID Computing

2/44

УводУвод

Време

Ква

ли

тет

пруж

ени

х ус

луг

а

3/44

Развој е-наукеРазвој е-науке

• Пре појаве Интернета– Теоријски приступ и/или експерименти

који се изводе самостално или у малим групама; објављивање радова

• Након појаве Интернета– Креирање и истраживање великих база

података добијених посматрањем или симулацијама

– Развој симулација и њихова анализа

– Удаљен приступ специјализованим инструментима

– Размена информација међу удаљеним мултидисциплинарним тимовима

4/44

Постојећи системиПостојећи системи

5/44

Заједнички концептиЗаједнички концепти

• Дељење ресурса и координирано решавање проблема у динамичким, мулти-институционалним виртуелним организацијама

6/44

ПримерПример

• Грид на суперрачунарима– UK e-Science Project, CERN

• IBM’s Globus (www.globus.org)

• Грид на личним рачунарима– SETI

– Climateprediction

– Screensaver Lifesaver

7/44

CERNCERN

• Computing net promises vast power (BBC) Sept 2003

• Грид технологија искоришћена за повезивање суперрачунара у свету преко Интернета да би се створила нова генерација изузетно моћних рачунара

8/44

SETI@homeSETI@home

• Search for Extraterrestrial Intelligence (Потрага за ванземаљском интелигенцијом)

• Програм који анализира податке примљене са радио телескопа

9/44

Шта је то Шта је то Grid Computing Grid Computing

• Координирана употребе и доступност дистрибуираних рачунарских ресурса

• Постизање велике рачунарске снаге се постиже сакривањем рачунара, места за смештање података и мрежних ресурса тако да се Грид понаша као један велики рачунар

• Протоколи и оквири отворених стандарда. • Пружање одговарајућег квалитета услуга кроз

аутоматско прилагођавање капацитете тако да одговарају потражњи

10/44

Шта су користи од Шта су користи од Grid Grid Computing Computing

• Побољшање обраде по захтеву• Повећање скалабилности (могућност

проширења)• Флексибилност и агилност• Управљање комплексним информационим

технологијама

11/44

Основе ГридаОснове Грида

12/44

Сервиси ГридаСервиси Грида

• Покретање посла/надгледање• Трансфер датотека (појединачно, баферисано)• Приступ базама података• Управљање подацима (репликација,

метамодели)• Надгледање/претраживање системских

информација

13/44

Међуповезаност институцијаМеђуповезаност институција

Intra-Grids

Extra-Grids

Inter-Grids

GridGrid

NAS/SANNAS/SAN

Grid

NAS/SAN

VPN

Cactus

NTG(SF)

Express Project

MFGFin.

Services

14/44

Виртуална организацијаВиртуална организација

Виртуална Виртуална организацијаорганизација



Физичка Физичка организацијаорганизацијаФизичка Физичка

организацијаорганизација

Физичка Физичка организацијаорганизација

Физичка Физичка организацијаорганизација

15/44


• Скупови организација које користе Грид да би наменски делиле ресурсе за специјалне потребе

• Подржавање јединствене заједнице

• Развој компатибилних технологија и договарање о полисама– Сигурносне полисе

• Развој различитих мрежних сервиса:– Grid Information

– Grid Resource Brokering

– Grid Monitoring

– Grid Accounting

16/44


Problem A

Problem B

User

User

Dynamic Virtual Organization A

formed to provide weather prediction

Dynamic Virtual Organization B

formed to solve a financial modeling

Virtual organizations are

• Logical entities

• Dynamically created to solve a specific problem

• On-demand resource allocation and provisioning for solving the problem

Software Application Provider

Hardware Service Provider

Financial Expert Service Provider

WeatherPrediction

Math ModelingApplication

ComputerCluster

Blades

FinancialModeling

DatabaseSystem

NetworkBandwith

…

Weather prediction

Financial Modeling

reso

urce

s

17/44

ЗаштитаЗаштита

• Сви ресурси су рањиви• Осетљивост проблема који се решавају• Ресурси се налазе на различитим доменима

– Сваки ресурс има своја права приступа, процедуре, механизме заштите, ...

• Имплементација решења мора да буде широко доступна и применљива– Стандардно решење, исцрпно тестирано, интегрисано у

мноштво већ развијених алата

18/44

ЗаштитаЗаштита

• Формирање јединственог комуникационог медија за све сервисе

• Сигурна аутентификација и ауторизација• Јединствено логовање

– Потребно је обезбедити да се сам корисник аутентификује само једном

• Јединствена акредитација• Пример: GSI (Grid Security Infrastructure)

19/44

Имплементација GSI Имплементација GSI

ComputeCenter

SSL/WS-Securitywith ProxyCertificates

VO

RightsVO

Users

Services (runningon user’s behalf)

Rights’’

Rights’

Access

Local Policyon VO identityor attributeauthority

CAS or VOMSissuing SAMLor X.509 ACs

Authz Callout

KCA

MyProxy

20/44

Коришћење ГридаКоришћење Грида

• Покретање програма у Гриду користећи делегата:

voms-proxy-init –voms VONAME

Enter PEM pass phrase: ***************

• Креирање привременог, локалног, делегата (proxy)

• Делегати = креирање проксија (другог нивоа), који омогућује удаљеном процесу аутентификацију у име корисника

21/44

Од чега се Грид састојиОд чега се Грид састоји

• Сигурност приликом приступа и сигурна комуникација• Информације о постојању Грид саитова и сервиса• Јединствен интерфеијс до саитова• Могућност одржавања и распоређивања послова• Брза и једноставна манипулација подацима• Информације о томе где се налазе подаци

Grid Protocols

Grid Resources dedicatedby UC, IU, Boston

GridStorage

GridMiddleware

Co

mp

utin

gC

luster

Grid resource time purchasedfrom commercial provider

GridMiddleware

Co

mp

utin

gC

luster

Grid resources sharedby OSG, LCG, NorduGRID

GridMiddleware

Co

mp

utin

gC

luster

Grid Client

ApplicationUser

Interface

GridMiddleware

Resource,WorkflowAnd DataCatalogs

GridStorage

GridStorage

22/44

MiddlewareMiddleware

• Сакривање дистрибуције апликације• Сакривање хетерогености система• Обезбеђивање униформног, стандардног

интерфејса високог нивоа развојним тимовима апликацијама

• Обезбеђивање скуп сервиса различите функционалности

23/44

MiddlewareMiddleware

• LCG: Large Hadron Collider Computing Grid • LCG infrastructure running LCG-2 is “EGEE-0”• In parallel producing new web-service-oriented

middleware (“gLite”), which will replace LCG-2 as production facility this year

Globus 2 based Web services based

EGEE-2EGEE-1LCG-2LCG-1

24/44

Основе архитектуреОснове архитектуре

25/44

Дијаграм тока извршавања Дијаграм тока извршавања пословапослова

26/44

Захтеви/пословиЗахтеви/послови

• Job: једноставна апликација, која може бити batch, интерактивна,заснована на прослеђивању порука, са контролним тачкама, састављена од скупа независних порука, параметарска

• DAG: директни ациклични граф зависних послова• Collection: колекција или скуп независних послова

27/44

Workload Management System Workload Management System (WMS)(WMS)

• Дистрибуирано распоређивање– Постојање више UI којима се може проследити посао– Постојање више RB са који се посао може проследити на

CE– Постојање више CE код којих се посао може убацити у ред

за опслуживање

• Дистрибуирано управљање ресурсима– Постојање више информационих система који надгледају

стање у коме се Грид налази– Сакупљање информација са SE, CE, група рачунара (саит)

28/44

Аутентификација и ауторизацијаАутентификација и ауторизација

• Аутентификација– Креирање сертификата за кориснике– Коришћење ssh приликом повезивања на UI– Довлачење сертификата– Коришћење делегата (proxy)– Повезивање на UI чвор и успостављање сигурне везе

(Secure Socket Layer) коришћењем делегата на све остале чворове

• Ауторизација– Придруживања Виртуелној организацији– Приступ ресурсима Грида се обавља преко изабране

Виртуелне организацији– Проверу права приступа обављају CE и SE користећи

gridmapfile да би пресликали кориснике на локалне налоге

29/44

User Interface (UI)User Interface (UI)

• Листање ресурса који одговарају потребама посла који треба да се изврши

• Подношење посла на извршење• Отказивање посла• Преузимање резултата извршеног посла• Прегледање информација о статусу посла који се

извршава,• Манипулисање (смјештање, копирање и брисање)

датотекама на Гриду• Прегледање информација о статусу различитих

ресурса у оквиру Грид мреже.• Покретање посла коришћењем посебног језика JDL

(Job Description Language)

30/44

Computing Element (CE)Computing Element (CE)

• Скуп рачунарских ресурса у облику кластера или рачунарске фарме

• Чине га:– Grid Gate (GG), генерички интерфејс ка кластеру– Local Resource Manaдement System (LRMS), који се назива

и batch систем, као и сам кластер– Колекција радних чворова (Worker Nodes - WNs) на којима

се извршавају послови

31/44

Storage Element (SE)Storage Element (SE)

• Обезбеђивање униформног приступ ресурсима за складиштење података

• Протоколи и интерфејси за приступ подацима– GSIFTP протокол за пренос комплетних датотека користи – RFIO – дsidcap, GSI сигурна верзија dcap протокола

32/44

Resource Broker Resource Broker (RB)(RB)

• Извршавање делова који се доносе на WMS– Прихватање послатих послова

– Прослеђивање послова одговарајућим Compute Element (CE)

– Дозвољава корисницима• Прибављање информација о статусу• Прибављање резултата операција

• Коришћењем одговарајућих конфигурационих датотека на сваком UI чвору се постиже одређивање RB

• Приликом покретања посла, JDL опције су: – Спецификација CE

– Коришћење произвољног CE (који задовољава услове посла)

– Спецификација SE (RB онда проналази најближи одговарајући CE)

33/44

Resource Broker Resource Broker (RB)(RB)

GRAM GRAM GRAM

LSF EASY-LL NQE

Application

RSL

Simple ground RSL

Information Service

Localresourcemanagers

RSLspecialization

Broker

Ground RSL

Co-allocator

Queries& Info

34/44

Logging and BookkeepingLogging and Bookkeeping

• Праћење извршавање послова којим руководи WMS

• Бележење статуса послова њихове историје• Обично се извршава на истом чвору са WMS

35/44

Information SystemInformation System

• Обезбеђивање информација о WLCG/EGEE Grid ресурсима и њиховом статусу

• Информације омогућују проналажење одговарајућих ресурса и праћење њиховог коришћења

• Користи га RB чворови да би утврдили расположивост ресурса које су потребни пословима

• Тренутно се користи BDII (Berkeley Database Information Index)

Коришћење ГридаКоришћење Грида

37/44

Сертификати за проксиСертификати за прокси

• Креирање проксија

$ voms-proxy-init --voms <vo> • Прикупљање информација о проксију

$ voms-proxy-info • Гашење проксија

$ voms-proxy-destroy

38/44

Покретање послаПокретање посла

• Покретање посла, ver={edg, glite}$ ver-job-submit <jdl_file>$ ver-job-submit –o <job_ID_file> <jdl_file>$ ver-job-submit –r <CE_ID> <jdl_file>

• Дохватање информација о послу$ ver-job-status <job_ID>$ ver-job-status –i <job_ID_file>

• Дохватање излаза посла$ ver-job-get-output <job_ID>$ ver-job-get-output –i <job_ID_file>$ ver-job-get-output –dir <path> <job_ID>

• Отказивање посла$ ver-job-cancel <job_ID>$ ver-job-cancel –i <job_ID_file>

• Листање погодних CE$ ver-job-list-match <jdl_file>

39/44

Стања послаСтања посла

40/44

Атрибути Атрибути JDLJDL фајла фајла

• Typefor LCG2 only “Job” type supported

• JobTypevalues: “Normal”, “MPICH”, “Interactive”…

• Executablecommand name

• Argumentscommand line arguments

• StdOutputfile where the job standard output goes

• StdErrorfile where the job standard error goes

• InputSandboxfiles for transfer from UI to the WN

• OutputSandboxfiles for transfer from WN to the UI

41/44

Атрибути Атрибути JDLJDL фајла фајла

• Requirements

to send a job to a particular CE

Requirements = other.GlueCEUniqueID ==

“rti29.etf.bg.ac.yu:2119/jobmanager-pbs-seegrid”;

job must run on a CE where a particular experiment software is installed

Requirements = Member("VO-atlas-release-11.0.2",

other.GlueHostApplicationSoftwareRunTimeEnvironment);

for MPI job

Requirements = Member("MPICH", other.GlueHostApplicationSoftwareRunTimeEnvironment)

42/44

Пример Пример JDLJDL фајла фајла

Executable = "/bin/hostname";

Arguments = "";

StdOutput = "message.txt";

StdError = "stderror.txt";

OutputSandbox = {"message.txt","stderror.txt"};

Requirements = RegExp("rti29.etf.bg.ac.yu*",other.GlueCEUniqueID);

43/44

Пример Пример JDLJDL фајла фајла

Executable = "java";

Arguments = " -classpath /storage/exp_soft/drs/gravitacion/Gravitational

StdOutput = "message.txt";

StdError = "stderror.txt";

OutputSandbox = {"message.txt","stderror.txt"};

Requirements = RegExp("rti29.etf.bg.ac.yu*",other.GlueCEUniqueID);

ПитањаПитања??

Захарије РадивојевићЕлектротехнички Факултет

Универзитет у Београду[email protected]

grid computing

Documents