grid computing

Institut für Softwarewissenschaft - Universität Wien

P.Brezany1

Grid Computing

Peter Brezany

Institut für Softwarewissenschaft

Universität Wien

Tel. : 01/4277 38825

E-mail : [email protected]

Sprechstunde: Dienstag 13.00-14.00

Konzepte, Techniken und Anwendungen


P.Brezany2

Lernziele• Motivation für Grids

• Grundbegriffe

• Bestehende Architekturen

• Neue Entwicklungen

– Web Services– Integration von Web Services und Grid Services– OGSA (Open Grid Service Architecture)


P.Brezany3

Einführung

• Grid Computing – ein relativ neues Forschungsgebiet

• Früher nur in wissenschaftlichen Kreisen bekannt und „big-science“ Anwendungen.

• Jetzt näher zum „every-day life“ (e-Business, medicine, usw.)

• Große Firmen (IBM, Sun, Microsoft) machen jetzt auch mit.

• Bei Grid Computing geht es um das gemeinsame Verwenden von verschiedenen Arten von Resourcen, eine moderne Sharing-Community


P.Brezany4

Einleitende Visionen• Beispiel Wasserversorgung

– Früher: „Hausquelle“ / Brunnen – Heute: Wassersammelstelle Leitungen Wasserhahn

• Beispiel Energieversorgung– Früher: Generator– Heute: „Großer Generator“ Stromleitungen Steckdose– Power Grid Computational Grid / Grid Computing (z.B.: NASA: „Information Power Grid“ (www.ipg.nasa.gov))

• Logische Konsequenz: Grid Computing Rechenleistung (und vieles mehr) aus der „Steckdose“

• Viele Rechner zu einem Großen Netz verbunden; Vorteile:– Komplett neue Möglichkeiten der Zusammenarbeit für Unternehmen– Hardwareersparnis („mieten“) (vgl. Generator / Quelle)– Teuere Software „mieten“ statt kaufen– Selbst z.B. Rechenleistung anbieten


P.Brezany5

Grid Computing Vision

"The Internet is about

getting computers to talk together;

Grid computing is about

getting computers to work together."

Tom Hawk, IBM's general manager of Grid computing


P.Brezany6

Grid Computing Vision (2)

Tim Berners-Lee replies to the question „What did you have in mind when you first developed the

Web?“ by saying

"The dream behind the Web is of a common information space in which we

communicate by sharing information.“

If applied to the Grid computing this sentence can be rephrased to

“The dream behind the Grid computing is a common resource space in which we can work together using shared recources.“


P.Brezany7

Web im Vergleich zum Grid (3)

ClassicalWeb

ClassicalGrid

SemanticWeb

Ric

her

sem

antic

s

More computation

SemanticGrid

Source: Norman Paton


P.Brezany8

Grid Computing - Definition• Definition nach www.globus.org1: „The Grid“ ist eine Infrastruktur, die eine integrierte, gemeinschaftlicheVerwendung von Ressourcen erlaubt. Als Ressourcen kommen nicht Rechenleistung und Speicherplatz in Frage, sondern ganze (und

beliebige) Geräte können im Grid gemeinschaftlich verwendet werden, also zum Beispiel Hochleistungscomputer, Netzwerke, Datenbanken, Teleskope, Mikroskope bis zu Elektronenbeschleunigern. Ziel des Grid ist es, dassman auf Geräte zugreifen kann, als ob man sie besitzen würde, ohne sie kaufen zu müssen.

• Charakteristika von Grid-Anwendungen:- Große Datenmengen- Großer Rechenaufwand– Sicheres Resourcen-Sharing zwischen unabhängigen Organisationen

----------------------------------------------------------- 1Praktisch alle wichtigsten Grid Projekte bauen auf middleware Globus (1998 -

Globus 1, 2001 - Globus 2, 2003 - Globus 3, 2005 – Globus 4)


P.Brezany9

Grid Problem• Das Grid-Problem:

– Koordinierte gemeinsame Resourcennutzung (-sharing)

und gemeinsames Lösen von Problemen in dynamischen,

multiinstitutionalen „Organisationen“.

– Sharing bedeutet hier:

Direkter Zugang zu Computern, Software, Daten,

Geräten, etc.

– Sharing Regeln zwischen Anbietern und Benutzern

definieren wem was wie wann zur Verfügung steht.

Anzahl von Individuen und/oder Institutionen

Sharing Regeln

VO(Virtual Org.)


P.Brezany10

Grid Voraussetzungen• Gemeinsame Verwendung von geographisch getrennten

Resourcen:

– Keine gemeinsame Zentrale

– Keine zentrale Kontrolle

– Niemand ist allwissend

– Keine Vertrauensbeziehungen untereinander

• Komplexe Anforderungen:

– Programm X auf den Rechnern von Y ausführen

(Vertrag P) wobei die Daten von Z stammen

(Vertrag Q). Y und Z müssen keine Beziehung

haben. (Delegation)


P.Brezany11

Virtuelle Organisation (VO)

• Zweck, Ziel, Größe, Dauer, Struktur, etc. variieren

• Anforderungen von VOs:

– Hochflexible Sharing-Beziehungen (C/S bis P2P)

– Ausgereifte und präzise Kontrolle

– Feine und grobe Zugangskontrolle

– Abrechnung

– Zeitplanung


P.Brezany12

VO Beispiel

Figure: An actual organization can participate in one or more VOs by sharing some or all of itsresources. We show three actual organizations (the ovals), and two VOs: P, which links participants in anaerospace design consortium, and Q, which links colleagues who have agreed to share spare computingcycles, for example to run ray tracing computations. The organization on the left participates in P, the oneto the right participates in Q, and the third is a member of both P and Q. The policies governing access toresources (summarized in “quotes”) vary according to the actual organizations, resources, and VOsinvolved.


P.Brezany13

Definitionen: Protokoll, Dienst, API, SDK• Protokoll:

– Menge von Regeln für Endpunkte von Telekommunikationssystemen zum Informationsaustausch – Standardprotokoll gewährleistet Interoperabilität

• Dienst (Service): – Netzwerkfähige Instanz mit einer bestimmten Fähigkeit Definiert durch Protokoll und Reaktion auf eine Protokoll-Nachricht (service = protocol + behavior)

• Application Program Interface (API): – Standardinterface für Zugriff auf Funktionalität (ein Protokoll

kann mehrere APIs haben) – Ermöglicht Portabilität

• Software Develpment Kit (SDK):– Implementiert ein API (zB. Globus Toolkit)


P.Brezany14

Grid Protokoll Architektur vs. IP Architektur

Application

Fabric“Controlling things locally”: Access to, & control of, resources

Connectivity“Talking to things”: communication (Internet protocols) & security

Resource“Sharing single resources”: negotiating access, controlling use

Collective“Coordinating multiple resources”: ubiquitous infrastructure services, app-specific distributed services

InternetTransport

Application

Link

Inte

rnet P

roto

col

Arch

itectu

re


P.Brezany15

Data Grid• Ursprüngliche Motivation: Wissenschaftliche Anwendungen sind sehr daten intensiv und enorm große Menge von Forschern aus der ganzen Welt will einen schnellen Zugriff auf diese Daten haben.

• Perspektive Anwendungen von Data Grids: Medical Grids, E-Business und E-Commerce Grids.

Computing Grid


P.Brezany16

Modell Architecture für Data Grids

Metadata Catalog

Replica Catalog

Tape Library

Disk Cache

Attribute Specification

Logical Collection and Logical File Name

Disk Array Disk Cache

Application

Replica Selection

Multiple Locations

NWS

SelectedReplica

GridFTP commands PerformanceInformation &Predictions

Replica Location 1 Replica Location 2 Replica Location 3

MDS


P.Brezany17

Storage Model2 different kinds of files:• Master files (owned by their creators)• Replica files. There may be many replicas of a master file. Replicas are owned by, managed by, and may be deleted

by, the Grid.

The notion of replicas is new, and critical in a Gridenvironment. Example:• Before a DataGrid job can run at site A, data at site B may

need to be copied to site A.• This data may then be used by subsequent jobs at site A, or

may be needed by jobs at site C, which has a better network connection to site A than site B. For this reason, the data should be kept at site A as long as possible.

The ReplicaManager keeps track of all replica data so that the replica selection service can select the optimal replica to use for a given job, or to request the creation of a new replica.


P.Brezany18

Data Replication Across Grid Nodes

By providing a copy (replica) of a data item close to a client application, access times can be reduced.

Replication can also help in load balancing and can improve reliability.

file1.DB

Z/data/file1.DB

X/data/file1.DB

Y/data/file1.DB

Replica Catalog

(logical name)

(physical names)X, Y, Z – Grid sites


P.Brezany19

State of the Art in 2002

• Die bisher diskutierten Konzepte implementiert von mehreren SDK, z.B. Globus (U.S.), Unicorn (EU Projekt), European Data Grid (EU Projekt), usw.

• Nur in wissenschaftlichen Kreisen gut bekannt und Fokus auf „big-science“ Anwendungen.

• Fast keine Anbindung von Datenbanktechnologien, Anwendung von „flat files“.

• Notwendigkeit näher zum „every-day life“ (e-Business, medicine, usw.) zu sein.

• Ignorierung von Web Entwicklung – Web Service Technologien

• Große Firmen (IBM, Sun, Microsoft, usw.) beginen jetzt auch mitzumachen.

• Richtung: Web Services


P.Brezany20

Integration von Grid und Web Services:

Open Grid Service Architecture - OGSA

• Integration von Grid- und Webtechnologien - zuerst nur eine Initiative vom Globus-Projekt und IBM; jetzt eine Aufgabe des Global Grid Forums.

• Erweiterung von Web Service Standards wie SOAP und WDSL um die offenen Spezifikationen von Globus.

• OGSA- ein Set von Spezifikationen und Standards, das die Vorteile von Grid-Computing mit denen von Webservices kombinieren soll. Damit will man eine Plattform schaffen, die eine gemeinsame Nutzung von Anwendungen- und Computer-Ressourcen über das Internet auch für den kommerziellen Bereich interessant macht.

• Das neue Set an OGSA-Spezifikationen erweitert Standards wie

XML, WSDL und SOAP mit Grid-Computing-Standards, die vom Globus-Projekt-Team entwickelt wurden.


P.Brezany21

Web Services – der Baukasten für verteilte Systeme

• Software Dienst (service) akzeptiert einen digitalen Antrag (Abfrage, usw.) und liefert eine digitale Antwort.

• „Web service“ – Abkürzung für „Web of Services“


P.Brezany22

Die Evolution von Software Services

SOAP ist ein universalles Protokoll, das alles verbindet.


P.Brezany23

SOAP – Simple Object Access Protocol

Der neue Standard für Netzwerk-Kommunikation zwischensoftware services.

SOAP messages sind über HTTP gesendete XML Dokumente.


P.Brezany24

SOAP – Simple Object Access Protocol (2)

SOAP Prozessor konvertiert XML Nachrichten in native Aufrufe.


P.Brezany25

SOAP – Simple Object Access Protocol (3)

Der Client braucht WSDL, bevor er den Service aufruft.


P.Brezany26

Publizierung eines Dienstes

Beispiel: Aktienkauf – Anwendung des Packages GLUE

package example.soap;

// An interface for buying stock

public interface ITrader { /* * Purchase the specific stock

* @param quantity The number of shares to purchase.* @param symbol The ticker symbol of the company.* @throws TradeException, if the symbol is not recognized.* @return The cost of the purchase.*/

float buy (int quantity, String symbol ) throws TradeException; }

Itrader.java


P.Brezany27

Publizierung eines Dienstes (2)


public class Trader implements Itrader {

public float buy (int quantity, String symbol ) throws TradeException { if (symbol.equals( “IBM“ ) )

return 117.4 * quantity; else if (symbol.equals( “MSFT“ ) )

return 117.4 * quantity; else

throw new TradeException( “symbol “ + symbol + “not recognized“);

} }

Trader.java


P.Brezany28

Publizierung eines Dienstes (3)


import -----.registry.Registry;import -----.server.http.HTTP;

public class TradeServer { public static void main ( String[] args )

throws Exception{// start a web server on port 8003, accept messages via /soapHTTP.startup (“http://localhost:8003/soap“ );

// publish an instance of TraderRegistry.publish( “trader“, new Trader() );}

}

TraderServer.java


P.Brezany29

Bindung zu einem Web-ServiceWenn ein Objekt schon als Web-Service publiziert ist,kann sich der SOAP-Client zu ihm binden und ihn aufrufen.

package example.soap;import -----.registry.Registry;

public class TraderClient { public static void main ( String[] args ) throws Exception

{// the URL of the web service WSDL fileString url = (

“http://localhost:8003/soap/trader.wsdl“ );

// read the WSDL file and bind to its associated web service

ITrader trader = (ITrader) Registry.bind( url, ITrader.class );

// invoke the web service as if it was a local objectfloat ibmCost = trader.buy (54, “IBM“ );System.out.println( “IBM cost is “ + ibmCost );

} }

TraderClient.java


P.Brezany30

Der Client Proxy

Der binding Prozeß antwortet mit einem proxy, der eine JavaSchnittstelle implementiert, deren Metode die Methodender entferneten Stelle wiederspiegeln.


P.Brezany31

WSDL

• WSDL – Web Service Description Language• WSDL beschreibt, was ein Web Service

machen kann, wo er sich befindet, und wie er aufgerufen werden kann.

• Eine Anwendung kann sich theoretisch einen optimalen Service aus mehreren Services wählen.


P.Brezany32

UDDIUDDI – Universal Description, Discovery , and IntegrationUDDI ermöglicht Publikation und Abfragen von Informationen über Services.UDDI wirkt als „Heirats“-Vermittler zwischen Service- Anbietern und Konsumenten.


P.Brezany33

Veröffentlichen Finden

Binden

ServiceProvider

ServiceRegistrierung

ServiceVerbraucher

UDDI (2)


P.Brezany34

UDDI (3)Öffentliche UDDI-Operatoren synchronisieren regelmäßig ihre Inhalte.


P.Brezany35

Open Grid Service Architecture - OGSA

• Einordnung– radikales Refactoring von Grid ‚alt‘ (Globus 2)– Integration von Technologien der Grid- und WebService-Community

• Ziele – ermöglichen verteilter, heterogener und dynamischer VOs– effizientes Ressource-Sharing– Plattform- und Programmiersprachenunabhängigkeit– basierend auf offenen Standards– Virtualisierung– e-business und e-science Anwendungen, auch kommerzielle Nutzung– auf Basis moderner Technologien (Web Services, Grid Technologien)

• Players … wer steht dahinter?– Global Grid Forum (ursprünglich initiiert von Globus, IBM), zusätzlich

ANL, NASA, US DOE, US NSF, HP-Compaq, Intel, Microsoft, Sun,…


P.Brezany36

Service - Grid Service - Grid

• Ein Service ist eine netzwerkfähige Entität, die ihre Funktionalität durch Nachrichtenaustausch anbietet.

• Ein Grid Service ist ein Web Service, dass die in der WSDL beschriebenen OGSA-Interfaces implementiert und damit in Verbindung stehende Konventionen befolgt.

• Ein Grid ist eine erweiterbare, dynamische Menge von einzelnen Grid Services, die auf unterschiedliche Art und Weise miteinander kombiniert werden können, um den individuellen Anforderungen von VOs entsprechen zu können.


P.Brezany37

OGSA: Architecture

Factory

Notification

serviceData

WebService

Hosting Environment

Hardware

Client

Definition: WSDLMessages: zB SOAPTransport: zB HTTP

Konventionen

Grid Service

OGSA

Grid-Community

Business-Logic

WebService-Community


P.Brezany38

Grid and Web Services: Convergence?

Grid

Web

GT – Globus Toolkit, OGSI – Open Grid Service Infrastructure

However, despite enthusiasm for OGSI, adoption within Web community turned out to be problematic

Started far apart in apps & tech

OGSI

GT2

GT1

HTTPWSDL,

WS-*

WSDL 2,

WSDM

Have beenconverging ?

2004

1991


P.Brezany39

Web Service Invocation


P.Brezany40

Web Service Invocation (2)


P.Brezany41

The Idea of Grid Services

• Web Services are stateless and persistent.

• Grid Services are stateful and persistent or transient.

• Lifecycle Management• Notifications• Service Data Elements• GSH / GSR


P.Brezany42

Terminology

• Web Service: A software component identified by a URI [RFC 2396], whose public interfaces and bindings are defined and described using XML. Its definition can be discovered by other software systems. These systems may then interact with the Web service in a manner prescribed by its definition, using XML based messages conveyed by Internet protocols. (Web Services Glossary, WS-Arch W3C Working Group, Draft 14 May 2003)

• Web Service Consumer: An software component that sends messages to a Web Service.

• Stateful Web Service: A Web Service that maintains some state between different operation invocations issued by the same or different Web Service Consumers.

• Grid Service(s): A general term used to refer to all aspects of OGSI. The term “Grid Service” is sometimes used to refer to a Grid Service Description document and/or a Grid Service Instance for a particular service.

• Grid Service Description: A WSDL(-like) document that defines the interface of Grid Service Instances. The defined interface must extend the OGSI GridService portType.

• Grid Service Instance: A stateful Web service whose interface adheres to that defined by a Grid Service Description and whose lifetime management properties are well defined.

• Service Data Element: An attribute-like construct exposing state information through operations defined by the GridService portType.

• Grid Service Handle: A URI that permanently identifies a Grid Service Instance.

• Grid Service Reference: A temporal, binding-specific endpoint that provides access to a Grid Service Instance.


P.Brezany43

Grid Service – OGSA – OGSI – GT3

OGSA – Open Grid Service Architecture


P.Brezany44

Grid Service – OGSA – OGSI – GT3 (2)• Grid Services are defined by OGSA. The Open Grid Services Architecture (OGSA)

aims to define a new common and standard architecture for grid-based applications. Right at the center of this new architecture is the concept of a Grid Service. OGSA defines what Grid Services are, what they should be capable of, what types of technologies they should be based on, but doesn't give a technical and detailed specification (which would be needed to implement a Grid Service).

• Grid Services are specified by OGSI. The Open Grid Services Infrastructure is a formal and technical specification of the concepts described in OGSA, including Grid Services.

• The Globus Toolkit 3 is an implementation of OGSI. GT3 is a usable implementation of everything that is specified in OGSI (and, therefore, of everything that is defined in OGSA).

• Grid Services are based on Web Services. Grid Services are an extension of Web Services. We'll see what Web Services are in the next page, and what Grid Services are in the page after that.

• I still don't get it: What is the difference between OGSA, OGSI, and GT3? Consider the following simple example. Suppose you want to build a new house. The first thing you need to do is to hire an architect to draw up all the plans, so you can get an idea of what your house will look like. Once you're happy with the architect's job, it's time to hire an engineer who will make detailed blueprints that specify construction details (like where to put the master beams, the power cables, the plumbing, etc.). The engineer then passes all those blueprints to qualified professional workers (construction workers, electricians, plumbers, etc) who will actually build the house. We could say that OGSA (the definition) is the architect, OGSI (the specification) is the engineer, and GT3 (the implementation) is the workers.


P.Brezany45

OGSA – Grid Service


P.Brezany46

Service Data


P.Brezany47

Service Data


P.Brezany48

Service Data


P.Brezany49

Notification Interfaces


P.Brezany50

Motivation for Notifications


P.Brezany51

Pull-Notifications


P.Brezany52

Challenge:Advanced Grid Applications

Example: Knowledge Discoveryin Grid Databases


P.Brezany53

DataWarehouse

Knowledge

Cleaning andIntegration

Selection andTransformation

Data Mining

Evaluation andPresentation

The Knowledge Discovery Process

OLAP

Online Analytical Mining

OLAP Queries


P.Brezany54

The GridMiner Project in Vienna

• GridMiner : A knowledge discovery Grid infrastructure (http://www.gridminer.org/) OGSA-based architecture Workflow management Grid-aware data preprocessing and data mining services Data mediation service OLAP service GUI Implementation on top of Globus Toolkit 3.0

• Application : Management of patients with traumatic brain injuries


P.Brezany55

GridMinerGridMinerA Knowledge Discovery Grid InfrastructureA Knowledge Discovery Grid Infrastructure

Issues:- time consuming - share and reuse- increasing data volume- organisational boundaries- incremental, cooperative work

Gri

dW

eb

Use

r envir

onm

ent

Administration and User GUI

Configuration Control

Workflow Execution

Data Pre Processing

DataMining Services

Data Access and Integration

Online Analytical Mining

Process to cover

DataWarehouse

Knowledge

Cleaning and Integration

Selection and Transformation

Data Mining

Evaluation andPresentation

OLAP


P.Brezany56

Collaboration of GM-Services

Example 3:


P.Brezany57

The Control Layer

• Control Layer– Provision of the whole knowledge discovery process to a client

• Knowledge discovery process in GridMiner– services to execute not known– order of service execution– sequential and concurrent execution

• Approaches investigated:– Data Mining Query Language– Standard Workflow Orchestration Approach (BPEL4WS, WSFL,

GSFL, …)– Our approach: Dynamic Service Control


P.Brezany58

Workflow Models

Composition by Service Publisher Composition by Service Consumer


P.Brezany59

The Control Layer - Approaches:

Dynamic Service Control• Dynamic Service Control

Language (DSCL)– based on XML– easy to use– supports OGSA Grid Services– specially design to support

knowledge discovery processes

• Dynamic Service Control Engine (DSCE)

– processes workflow according to DSCL

DSCE

Service A

Service C

Service D

Client

OGSA Grid Services

Notification sinkDSCL

subscribe

query results

notify

(re)connect

Start,

stop,

resume…

Service B


P.Brezany60

Grid Database Access


P.Brezany61

Grid Database Access With OGSA-DAI


P.Brezany62

Grid and Web Services: Convergence: Yes!

Grid

Web

The definition of WSRF means that Grid and Web communities can move forward on a common base First publications on WSRF: January 2004

WSRF

Started far apart in apps & tech

OGSI

GT2

GT1

HTTPWSDL,

WS-*

WSDL 2,

WSDM

Have beenconverging

Web Services Resource Framework - WSRF


P.Brezany63

WSRF

ServiceRequestor

Grid Service A

ServiceRequestor

WebServices

Resource C

Resource B

Resource A

OGSI Grid Service

Web Service and WS-Resource Combination in WS-RSFM


P.Brezany64

Literatur

1. Grid Computing – Making the Global Infrastructure a Reality. By F. Berman, G. Fox, T. Hey (Eds.), Wiley 2003

2. www.globus.org

3. www.gridminer.org (unser Forschungsprojekt)

4. Broad overview: IBM Redbook by B. Jacob, „Introduction to Grid Computing“, 2005

David DeRoure, “The Evolution of the Grid”, 2003


P.Brezany65

Fragenkatalog

• Was ist Grid Computing? Wodurch unterscheidet es sich von anderen Distributed Computing Ansätzen? Charakteristika?

• Beschreiben sie die wichtigsten Technologien bei Web-Services (SOAP, UDDI, WSDL) und wie sie zusammenhängen

• Beschreiben sie das VO Konzept, inkl. Anforderungen und Charakteristika sowei EIGENES Beispiel

• Erklären sie anhand einer frühen Desktop-Grid Anwendung (z.B. Seti@Home) Unterschiede zum heutigen Paradigma

grid computing

Documents