p-grade portal ı

2. ULUSAL GRİD ÇALIŞTAYI, 1-2 Mart 2007, TÜBİTAK, ANKARA

Peter Kacsuk’un sunumundan alıntılarla

P-GRADE Portalı

Cevat ŞenerBilgisayar Mühendisliği Bölümü,

Orta Doğu Teknik ÜniversitesiAnkara, Türkiye


İçerik

P-GRADE Portalının geliştirilme nedeniKısaca P-GRADE Portalı Portalda uygulama geliştirmePortalda uygulama çalıştırmaPortalda parametre çalışma eklentisi


Genel Durum

Temel grid servisleri:AA, iş gönderme, bilgi alma, …

Üst seviye grid servisleri (aracı,…)

Uygulama araçları, standartları

Uygulama

Grid ortakatmanıKomut satırı araçları

P-GRADE PortalıKullanıcı arayüzleri


Grid Hesaplamanın Şimdiki Durumu ve Geleceği

Grid sistemleri ve ortkatmanının hızlı gelişimi: GT2, OGSA, GT3 (OGSI), GT4 (WSRF), LCG-2, gLite, …

Birçok grid sistemleri bunlarla üretildi: EGEE (LCG-2 gLite), UK NGS (GT2), Open Science Grid (GT2

GT4), NorduGrid (~GT2)Aynı temel servisler her yerde kullanılabilir olmasına rağmen, farklı yollarda geliştirildi Veri servisleri Hesaplama servisleri Güvenlik servisleri (single sign-on) Aracılar


Kısaca P-GRADE Portalı

Genel kullanımlı, iş akışı tabanlı Grid portalıİş akışına dayanan grid uygulamalarının geliştirilmesini ve çalıştırılmasını sağlarGridSphere-2’ye dayalı Yeni portletler kolaylıkla eklenebilir Kullanıcı ihtiyaçlarına göre uyarlanabilir

Grid sistemlerindeki birlikte çalışabilirlik sorununu iş akışı seviyesinde çözer


İlgili Projeler

Portalın geliştirilme ve eğitim çalışmaları çeşitli projeler tarafından yürütülmektedir:

SEE-GRID www.see-grid.eu Geliştirme ve uygulama desteği

Coregrid www.coregrid.netAraştırma, geliştirme

EGEE www.eu-egee.orgLCG ve gLite eğitimleri, uygulama geliştirme

ICEAGE www.iceage-eu.orgGrid eğitimleri


P-GRADE Portalında iş akışı nedir?

Yönlendirilmiş, çevrimsiz çizge (directed acyclic graph, DAG) Düğümler, program işlerini Kapılar, işlerin istediği ya da

ürettiği girdi/çıktı dosyalarını Düğümleri birbirine bağlayan

kenarlar, dosya transfer işlemlerini temsil eder.

İş akışının anlamı: Eğer bütün girdi dosyaları

hazırsa o iş çalıştırılabilir.


İş Akışlarında İki Seviyeli Paralellik

P-GRADE portalındaki iş akışı kavramı, karmaşık problemlerin etkili bir şekilde paralelleştirilmesini sağlar

İş akışları iki seviyede paralellik sağlar :

– İş akışlarının düğümleri arasındaki paralellik

Birden fazla iş paralel olarak

çalışabilir

– İş akışlarının düğümleri içindeki paralellik

İşler paralel bir programdan

oluşabilir


25 x

10 x25 x 5 x

Tehlikeli hava koşullarının (fırtına, sis) tahmin edilebilmesi can ve mal güvenliği için oldukca önemlidir

İşlenecek bilgi: yüzey seviyesi, yükseklik ölçümleri, radar, uydu, aydınlanma, önceki hesaplamaların sonuçları

Gereksinimler:•Hesaplama zamanı < 10 dk•Yüksek çözünürlük (1km)

Kısa Menzilli Hava Tahmini (Macaristan Meteoroloji Servisi)


Tipik Kullanıcı Senaryosu(Geliştirme Aşaması)

Sertifika sunucusu

Portal sunucusu

Gridservisleri

Editörü başlatma

İş akışı oluşturma, iş akışı üzerinde

değişiklik yapma

İş akışını kaydetme


İş Akışı Geliştirme(İş Akışı Editörünü Açma)

Editör, bir Java Webstart uygulamasıdır.

İndirip kurulması, sadece bir “tık” ile!


İş Akışı Editörü(Grafik Tanımlama)

Toplu işlerden yönlü, çevirimsiz bir grafik oluşturma amaçlanır:1. Sürükle-bırak

birleşenleri:işler ve kapılar

2. Özelliklerinin tanımlanması

3. Kapıların bağlanması(çevirim, döngü veya koşul eklenemez)


Otomatik Kaynak Seçimi

• İş için aracı bir Grid/VO seçin(ör. trgridb)

• İşin belli gereksinimleri varsa bunları JDLde tanımlayın.

İş akışı editörünün kendi JDL editörü vardır.• İş için en iyi kaynağı bulmak için portal aracıyı

kullanacaktır.


Lokal ve Uzaktaki dosyalar

Portalsunucusu

Gridservisleri

Hesaplama elemanları

Depolama elemenları

UZAK GİRDİ DOSYALARI

UZAK ÇIKTI DOSYALARI

LOKAL GİRDİ DOSYALARI ve YÜRÜTÜLÜR DOSYALAR

LOKAL ÇIKTI

DOSYALARI

LOKAL GİRDİ DOSYALARI veYÜRÜTÜLÜR DOSYALAR

LOKAL ÇIKTI

DOSYALARI

Sadece kalıcı dosyalar!

İşiniz depolama dosyalarına doğrudan ulaşabilir.


İş Akışı Editörü(İş Akışını Kaydetme)

İş akışı tanımlandı!

Şimdi çalıştırılabilir!


Sertifika sunucusu

Portalsunucusu

Gridservisleri

PROXY SERTİFİKASININ İNDİRİLMESİ

Tipik Kullanıcı Senaryosu(Çalıştırma Aşaması –1. adım)


Sertifika Yöneticisi(Sertifika Portleti)

• GSI tabanlı gridlere ulaşabilmek için portal sunucusu proxy sertifikasına ihtiyaç duyar

• “Sertifikalar” portleti:

•X.509 sertifikalarının MyProxy sunucularına yüklenmesi

• kısa zamanlı proxy sertifikalarının portal sunucusuna indirilmesi


Sertifika Yöneticisi(Proxy Sertifikalarının Taranması)

Portal sunucusunda aynı anda birden fazla proxy sertifikası bulunabilir!

SEE-GRID CE ve SEleriHUNGRID CE ve SEleri


Sertifika sunucusu

Portalsunucusu

Gridservisleri

DOSYALARIN TRANSFERİ, İŞLERİN GÖNDERİLMESİ



İş Akışı Yönetimi(İş Akışı Portleti)

• Bu portlette, “Workflow” listesinde iş akışlarının durumu, boyutu ve biten işlerin çıktıları gösterilir.

• Kullanıcıların portal sunucusundaki depolama alanlarını kontrol edebilmek için, kota yöneticisi bulunmaktadır.


İş Akışı Çalıştırma(İş Akışı Portletinden İşlerin Durumunu İzleme)


Sertifika sunucusu

Portalsunucusu

Gridservisleri

İŞLERİ GÖZLEMLEME ve

İŞ AKIŞI İLERLEMESİ

İŞLERİ İZLEME



- İş akışının ilerleyişi portaldan takip edilip gözlenebilir.

İş Akışı ve İş Seviyesinde Gözleme

(İş Akışı Portleti)


İş Akışı ve İş Seviyesinde Gözlemleme (İş Akışı Portleti)

- Paralel işlerin ilerleyişi de portaldan takip edilip gözlenebilir.(Eger Mercury monitor için hazırlanmışsa)


İş akışı çalıştırılırken bir işte hata oluştu

Hata sebebini log dosyasından

öğrenin

Başarısız Olan İş Akışının Kurtarılması1. Adım


Hatalı işi başka bir CEye

yönlendirin, ya da yeni bir proxy

sertifikası indirin.

Biten işlerde düzeltme

yapmanıza gerek yok!

İş akışının çalıştırılması hata alınan

noktadan devam edebilir!

Başarısız Olan İş Akışının Kurtarılması2. Adım


Sertifika sunucusu

Portalsunucusu

Gridservisleri

SONUÇLARIN İNDİRİLMESİ

SONUÇLARIN İNDİRİLMESİ

Tipik Kullanıcı Senaryosu(Çalıştırma Aşaması – 4. Adım)


Sonuçların İndirilmesi...


Parametre Çalışma Eklentisi

Kullanıcılar iş akışı seviyesinde parametre çalışması desteğine ihtiyaç duymaktadır.Parametre çalışması: Eger kullanıcının varolan, hazır bir iş akışı varsa

kullanıcılar bu iş akışını Tekrar çalıştırmak (değişiklik yapmadan) Farklı parametrelerle çalıştırmak

ihtiyacı duymaktadır.


İşler paralel bir programdan

oluşabilir

– İş akışlarının düğümleri içindeki paralellik(SIMD/MIMD/MISD)

– İş akışlarının düğümleri arasındaki paralellik(SIMD/MIMD/MISD)

Birden fazla iş paralel olarak

çalışabilir

– İş akışına parametre çalışması eklentisi(SIMD)

Aynı iş akışının birden fazla kopyası farklı veri dosyalarıyla işlem yapabilir.

İş Akışlarında Üç Seviyeli Paralellik


Parametre Çalışması İş Akışı Çalıştırılması

PÇ kapısı: girdi dosyasının 4

kopyası

PÇ kapısı: girdi

dosyasının 3 kopyası

1 PS iş akışı çalıştırılması

=

4 x 3 normal iş akışı çalıştırılması

Böylece 3. seviyede paralellik sağlanarak, çok fazla Grid kaynağına ihtiyaç duyulmaktadır.


Sonuçlar

P-GRADE Portalı gridler arasındaki farklılıkları ve karmaşıklıkları saklar

Globus X – LCG2 – gLite iş akışı seviyesinde birlikte çalışılabilirliği Grid teknolojileri arasındaki geçişler son kullanıcıdan saklanır Çeşitli bileşenlerden oluşan büyük Grid uygulamaları geliştirilebilir

– Sıralı kodlar– MPI kodları– Eski kodları (Legacy codes)

Kodlarda gride özel konutların bulunmasına gerek kalmaz Uygulama geliştirme, çalıştırma ve izlemek için grafiksel

araçlar kullanılır Ortak takım çalışmalarını destekler

İş akışlarının paylaşılması İşlerin paylaşılması

Standart portlet APIsiyle geliştirilmiştir özel uygulama alanlarına, kullanıcı gruplarına göre ayarlanabilir.


Teşekkürler!

[email protected]/servisler/pgrade

www.lpds.sztaki.hu/pgportal

p-grade portal ı

Documents