tr-grid servisleri ve grid g üvenliği (k üm e bilgisayar ve grid mimarileri) asl ı zeng in
DESCRIPTION
TR-GRID Servisleri ve Grid G üvenliği (K üm e Bilgisayar ve Grid Mimarileri) Asl ı Zeng in a sli@ ulak bim.gov.tr Ankara, Temmuz 2007 Bu sunum Bob Jones’un ve Christos Filippidis’in sunumlarından alıntılar içermektedir. www.grid.org.tr. Küme B ilgisayar Mimarisi Bile şenler - PowerPoint PPT PresentationTRANSCRIPT
TR-GRID Servisleri ve Grid Güvenliği(Küme Bilgisayar ve Grid Mimarileri)
Aslı [email protected]
Ankara, Temmuz 2007
Bu sunum Bob Jones’un ve Christos Filippidis’in sunumlarından
alıntılar içermektedir.
www.grid.org.tr
İÇERİK
Küme Bilgisayar Mimarisi Bileşenler Kuyruk Sistemi İş Akışı
Grid Mimarisi (gLite Ortakatman Yazılımı) Grid Katmanları Grid Servisleri Veri Yönetimi İş Yükü Yönetimi
Küme Bilgisayar ve Grid...
Küme Bilgisayar• Birbirine LAN yoluyla bağlı homojen
hesaplama kaynakları
• Paralel hesaplamaya imkan kılan paylaştırılmış dosya dizinleri
• Her ne kadar ölçeklenirliği olsa da, karşılaşılan sorunlar var:
– Isı, boyut, donanım kısıtlamaları...
• Basit mimari
• İş göndermede ve sonuç almada hızlı erişim
Grid• Coğrafi olarak dağıtık, heterojen
kaynaklar• Araştırmaların önünü açacak insan
ağının oluşturulması• Hesaplama + DEPOLAMA kaynakları• Ölçeklenirlikte kısıt yok!• Karmaşık mimari (Küme servisleri +
siteler arası ortak servisler)• Network bağlantılarının yeterince hızlı
olmaması durumunda, iş çalıştırma ya da veri depolamada yavaşlık (Ayrıca coğrafi olarak dağıtık olsun olmasın birçok servisin varlığı da etken.)
Küme Bilgisayar Bileşenleri (yazılım)
Küme Bilgisayar Bileşenleri (donanım)
Küme Bilgisayar Kuyruk Sistemi
Planlayıcı
Hesaplama Kaynakları
Kuyruk A
Kuyruk B
Kuyruk C
Kuyruk D
B
C D
A
Kuyruk Sistemi
Küme Bilgisayarlarda İş Akışı (Örnek: TR-03-METU)
Grid Mimarisi (Ortakatman)
Grid ortakatman dediğimiz uygulamalarla hesaplama ve veri depolama kaynakları arasında bir arayüz oluşturan ileri yazılım üzerine kuruludur.
Grid ortakatmanı:
uygulamaların çalışacağı
uygun yerleri bulur.
kaynak kullanımını
optimize eder.
veri yığınlarına etkin
erişim sağlar.
birçok grid sitesinde kullanılan
ortak bir kimlik doğrulama ve
yetkilendirme servisi sağlar.
işleri çalıştırır ve anlık iş durumunu
izlemenize izin verir.
işlerin sonuçlarını kullanıcılara taşır.
gLite-3.0 Ortakatman Sürümü, Tarihçe
2006 Baharıyla birlikte LCG-2.7.0 ve gLite-1.5 ortakatman yazılımları gLite-3.0 çatısı altında birleşti:
Üretim seviyesinde altyapıda süreklilik
Uygulamalar tarafından kullanılırlığın sağlanması
İşyükü yönetimine yönelik yeni çalışmalar
LCG ve gLite EGEE projesi tarafından geliştirilen Grid ortakatman yazılımlarıdır ve şu an gLite-3.0 birçok proje ve altyapıda kullanılmaktadır.
gLite ortakatmanı sürekli güncellemelerle iyileştirilen açık kaynak kodlu bir yazılımdır.
LCG-2
prototyping
prototyping
product
2004
2005 product
gLite
2006 gLite 3.0
Grid Katmanları
Grid Uygulama KatmanıGrid Uygulama Katmanı
Ortak ServislerOrtak Servisler
Temel Grid ServisleriTemel Grid Servisleri
En Alt Seviye Yapı Servisleri
En Alt Seviye Yapı Servisleri
Altyapı Taşları
Grid
Uygulamalar
GLOBUSCondor(VDT)
UYGULAMALAR
ORTAKATMAN
Grid Yapıtaşları (Temel Servisler)
Gridin kaynakları
nı kullanmak istiyorum!
Doğru kaynağı nerden
bulabilirim?
İşimin sonuçların
ı depolama
k istiyorum!
Tüm bu istediklerim güvenli bir ortamda yapılmalı!
Sertifika Otoriteleri, Kimlik Doğrulama, Yetkilendirme
Kimlik Doğrulama• GSI (Grid Security
Infrastructure) ve x509 sertifikaları, Sertifika Otoriteleri (CA)– Proxy sertifikaları– MyProxy Sunucusu ve uzun süreli
proxy sertifikaları
• Kabul gören güven ağı:– International Grid Trust
Federation (IGTF)» EUGridPMA» APGridPMA» TAGPMA
• Tüm EGEE siteleri IGTF altındaki CA’lara güvenir.
Yetkilendirme• VOMS (Virtual Organization
Membership Service), sanal organizasyonlar (VO)– Kullanıcıların disiplinlere göre
gruplandırılması– Sitelerin VO tabanlı kaynak ayırımı
• LCG-2.7.0 ortakatmanına kadar sadece grid-mapfile yapısı vardı.– Kullanıcı tabanlı yetkilendirme
• LCG-2.7.0 ve gLite ile birlikte VO eklentili proxy sertifikaları– VO tabanlı lokal yetkilendirme
servisleri
TAGPMA APGridPMA
The Americas Grid PMA
European Grid PMA
EUGridPMA
Asia-Pacific
Grid PMA
Kullanıcı Arayüzü (UI)
gLite Grid altyapısına giriş kullanıcı arayüzü ile sağlanır.
Kullanıcı arayüzünde:
- Kullanıcılar kişisel hesaplara sahiptir.- Kullanıcıların sertifikaları yüklüdür.
Aşağıdaki işlemleri komut satırı arayüzü sağlar:
- Çalıştırılmak üzere iş göndermek- Bir iş için uygun kaynakları göstermek- Dosyaları kopyalamak ve replika etmek- İşleri takip etmek ve iptal etmek- Bitmiş işlerin sonuçlarını almak
Bilgi Servisleri (GRIS, GIIS, BDII)
Bilgi servisleri, grid kaynakları ve durumları hakkında bilgi verir.
gLite bilgi servisleri, LDAP tabanlıdır. LDAP bilgi modeli kullanıcı, bilgisayar gibi objeler hakkında hızlı bilgi verecek şekilde tasarlanmıştır.
IS servisleri üç ana aşamada bulunabilir:
- GRIS: CE ve SE sunucularında bulunur. Lokal bilgi verir.
- GIIS: Sitenin üstünde bulunur ve ilgili site hakkında bilgi verir.
- BDII: Üst seviye bilgi servisleri Grid altyapısının geneli hakkında bilgi verir.
GRIS, GIIS, BDII İlişkisi
SELokal GRIS
SELokal GRIS
CELokal GRIS
SELokal GRIS
CE Lokal GRIS
CELokal GRIS
CE Lokal GRIS
SELokal GRIS
CE Lokal GRIS
CESite GIIS
CESite GIIS
CESite GIIS
BDII-A BDII-B
Kullanıcılar
İş Dağıtıcısı
İzleme Servisleri
Bilgi Servisleri (RGMA)
FilePlug-in
RGMAPlug-in
BDIIPlug-in
Service Discovery
Service Discovery is a client for finding services and discovering
their basic attributes
RGMAPlug-in
Consumer
Producer
Registry
İlişkisel Veri Modeli
UI Grid
sorgu
kullanıcı
Hesaplama Elemanı (CE)
Depolama Elemanı (SE)
bilgi
API’ler: Java, Python, C++ , C
gLite Grid Servisleri
İş Yönetimi• İş Yükü Yönetimi (WMS)
– Kaynak arayıcısı (RB)
– Veri kullanan işler için DLI/SI arayüzü ile kataloglara erişim
– Toplu iş gönderimi
– İş akışına dayalı işler
• Hesaplama Elemanı (CE)
– Globus/EDG/LCG->Condor_C(Sanal organizasyon tabanlı iş planlama)
• Loglama ve Servis Bilgilerinin Tutulması (Logging and Bookkeeping)
• Lokal Kuyruk Yöneticisi
– LSF, PBS, Condor, (Sun Grid Engine)
Veri Yönetimi• Dosya ve Replika Katalogları (LFC)
– Depolama elemanlarındaki verilere kolay erişim
– Grid dosyalarının düzenlenmesi– Merkezi veya lokal
• Depolama Elemanları (SE)– DPM (VOMS grupları/rollerine,
dosya erişim haklarının kullanılmasına izin verir.)
– Diğer SE’ler: dCache, Castor– Classic SE: artık kullanılmıyor
• Diğer Özellikler ve IO Kütüphaneleri– Lcg-utils– GFAL– gLite IO
Hesaplama Elemanı (CE)
gLite ortakatman yazılımını kullanan iki tip CE vardır: gLite-CE (yeni tip) ve lcg-CE (eski tip)
gLite yapısında hesaplama elemanı homojen hesaplama uçlarına iş gönderir.
Bütün gLite siteleri en az bir hesaplama sunucusu (CE) ve arkasında hesaplama uçları (WN) içerir.
Sitede hesaplama sunucularından biri Grid kapısı olarak çalışır:- Globus kapısıdır.- Globus GRAM (“Globus Kaynak Ayırma Yöneticisi”) sunucusudur.- Lokal kaynak yönetim sisteminin ana sunucusudur. (PBS, LSF,
Condor...)
İş Yükü Yönetimi (WMS)
Kullanıcılar grid ile iş yükü yönetim sistemi ile etkileşirler.
İş yükü yönetim sistemi, dağıtık iş planlaması ve kaynak yönetimi sağlar.
Kullanıcıların:- İşlerini gönderebilmelerini,
- İşlerini en uygun kaynaklarda çalıştırmalarını,
- Kaynakların kullanımını da aynı anda optimize etmeyi,
- İşleri hakkında bilgi almasını,
- İşlerinin sonuçlarını almasını sağlar.
İş Yükü Yönetimi (WMS)
WMS aşağıdaki parçalardan oluşur:
- İş Yükü Yöneticisi: Sistemin ana parçasıdır.- Kaynak Aracısı(RB): Bir işin ihtiyaçlarına göre en uygun kaynakları bulur.- İş Adaptörü: İş, kontrol servisine geçmeden önce ortamı ayarlar.- Kontrol Servisi: İşin gönderilmesi, silinmesi gibi yönetimsel operasyonlardan
sorumludur.- Kayıt Tutma: İş hakkında bilgi tutar.
İşler iş tanımlama dili JDL (“Job Description Language”) ile tanımlanır.
WMS servisinin bir işi çalıştırabilmesi için:
- İşin karakteristiğini (basit, MPI, DAG)- Hesaplama ihtiyaçlarını ve seçeneklerini- Yazılım bağımlılıklarını bilmesi gerekir.
Gridde İş Akışı
(WMS)
UI Grid
iş
kullanıcı
SE
CE
LFC
VOMS
BDIIWMProxy API’leri: Java, Python, C++
Depolama Elemanı (SE)
gLite ortakatman yazılımını kullanan değişik tipte SE vardır: Classic SE (eski tip, artik kullanılmayacak), DPM, dCache, Castor
Depolama elemanı, büyük depolama alanlarına düzenli erişim sağlar.
Her bir gLite sitesi en az bir depolama elemanı içerir.
İki protokol kullanırlar:- Dosya transferi için GSIFTP- Dosya erişimi için RFIO (“Remote File Input/Output”)
Depolama kontrol yönetimi:- Dosyalara saydam erişim sağlar- Dosyaların durumunu gösterir- Dosyaların saklanma zamanını takip eder
Disk ve teyp kaynakları tek bir depolama elemanı olarak gösterilebilir.
Veri Yönetimi Servisleri, LFC
Veri yönetimi nedir?- Kullanıcılar ve uygulamalar veri üretirler ve veriye ihtiyaç duyarlar.- Veriler grid dosyaları şeklinde saklanabilirler.- Dizin veya veri yapılandırılması yoktur. Dosya seviyesinde bilgi tutulur.- Kullanıcı ve uygulamaların grid dosyalarını yönetebilmesi gerekir.
Kullanıcı ve uygulamalar gLite yapısında verinin yerini bilmek zorunda değildirler. Mantıksal dosya isimleri kullanabilirler. (LFC)
Gridde dosya isimlendirmeleri:Globally Unique Identifier (GUID)
“guid:f81d4fae-7dec-11d0-a765-00a0c91e6bf6”Site URL (SURL) (or Physical/Site File Name (PFN/SFN))
“sfn://lxshare0209.cern.ch/data/alice/ntuples.dat” Logical File Name (LFN)
“lfn:cms/20030203/run2/track1”Transport URL (TURL)
“gsiftp://lxshare0209.cern.ch//data/alice/ntuples.dat”
Veri Yönetimi Mimarisi
Dosya
ve replika
kataloğu
StorageIndex
LFC
Veritabanı
WMS
Depolama Elemanı
SRM
DISK
gLite I/O gridFTP
Dosya Transferi ve dosya
yerleştirme servisi FTS
FPS Transfer Agent
Veritabanı
VOMS
MyProxy
Dosya I/O
Dosya İsimalanı ve
Metaveri Yönetimi
Dosya Replikası
Proxy yenilemesi Replika Yeri
WSDL
API
Veri Yönetimi İlişkileri
GFAL
Grid file(ref: LFN)
UI (kullanıcı) Grid
dosya
File Catalog(LFC)
depola
Kataloğakaydet
SE 1
kaydet
SE 2
depolaSRM
Özet: Grid Topolojisi ve Servisler
Hesaplama Elemanı
Depolama Elemanı
X Sitesi
Bilgi Sistemi (BDII, RGMA)
gönder
gönder
sorgulaSonuç al
Sonuç al
Kaynak Arayıcısı (RB)
Kullanıcı Arayüzü (UI)
Site durumunuyayınla
Dosya ve ReplikaKatalogları (LFC)
Yetkilendirme Servisi (VOMS)
sorgula
Yetkilerigüncelle
GRIDDE GÜVENLİK ...
Güvenlik ihtiyacı: Artan sanal bilgi paylaşımı ve haberleşme
Bilgi değerli!
Servis sağlayıcıların sorumluluğu
Kullanıcıların güveninin sağlanması
Güvenlik ve kişisel gizlilik dengesinin kurulması
GÜVENLİK...
Güvenlik konusunda üç temel kavram:
- Kimlik doğrulama
“Sistemdeki kullanıcı kim?”
- Yetkilendirme
“Kullanıcının yapacağı işe yetkisi var mı?”
- Sorumluluk
“Kullanıcı ne zaman, nerde, ne yaptığından sorumludur”
Güvenlik Niye Gerekli?
Grid kullanıcıları:
Geniş ve dinamik kullanıcı kitlesi
Farklı sitelerde farklı kullanıcılar
Kişisel ve gizli veriler
Heterojen yapıda öncelikler
Grid siteleri:
Heterojen dağılmış kaynaklar
Sitelere erişim yolları
Yerel politikalar
Üyelik
ÇÖZÜM: Sayısal Sertifika
Sayısal sertifika nedir?
Sayısal sertifika, ya da sayısal kimlik, günlük hayatta kullanılan ehliyet, pasaport gibi kimlik kartlarının elektronik ortamdaki karşılığıdır.
Sayısal sertifika kişinin kimliğini ve söz konusu bilgiye veya online hizmete ulaşım hakkını kanıtlamak için geliştirilmiştir.
Asimetrik Şifreleme Yöntemi
Açık anahtar:Sertifika otoritesi güvenilir bir kaynak olarak, bir kurum ya da kişiyi bir açık anahtar ile eşleştirir. Açık anahtar sayısal imzaların doğrulanması için kullanılır.
Gizli anahtar:Gizli anahtar sadece sahibi olan kişi ya da kurum tarafından bilinir ve sayısal imzayı oluşturmak için kullanılır.
Sayısal sertifika hangi bilgileri içerir?
Kullanıcıya ait açık anahtarKullanıcının adıSertifikanın geçerli olduğu tarih aralığıSertifika Otoritesinin adıSertifika Otoritesinin seri numarası
Sertifika Otoritesi
Sertifika otoritesi, sayısal sertifikaların oluşturulması, yönetilmesi, gerektiği durumlarda sertifikaların dünyaya duyurulmasını sağlayan sertifika hizmet sağlatıcısıdır.
Sertifika otoriteleri, oluşturdukları sertifikaların güvenliğini sağlayarak, gerektiği durumlarda sertifikaları yenilemek ile sorumludur.
PKI
PKI-Public Key Infrastructure (Açık Anahtarlama Yapısı):
Sertifikaların, anahtar ikililerinin yönetimini sağlayan yazılımsal ve yordamsal bütünlüktür.
PKI Sertifika Otoritesi tarafından yönetilir.
PKI’in İşlevleri
Anahtar ve sertifika üretimi Gizli anahtarın korunması Belli durumlarda sertifikaların iptal edilmesi Anahtar yedeklenmesi ve yeniden elde
edebilme Anahtar ve sertifika güncelleme Sertifika arşivi
EUGridPMA
European Policy Management Authority for Grid Authentication in e-Science:
Avrupa’da Grid sağlayıcılarının güvenlik ve sertifika otoritelerini denetleyen uluslararası bir üst kuruldur.
Grid ortamında kullanıcıların güvenli bir şekilde dağıtık kaynaklara ulaşması için gereken minimum şartları belirler.
IGTF (International Grid Trust Federation) aracılığıyla diğer kuruluşlardan APGridPMA (Asia-Pacific) ve TAGPMA (America) ile iletişim ve işbirliği içindedir.
TR-GRID Sertifika Otoritesi (TR-GRID CA)
TR-GRID Sertifika Otoritesi (TR-GRID CA) Türkiye’deki ulusal Grid uygulamalarında güvenlik altyapısını sağlamaktan sorumludur.
Ulusal Grid Sertifikasyon Politikası-CP/CPS Belgesi (Certification Policy/Certificate Practice Statement) :
http://www.grid.org.tr/servisler/sertifika/policy Web sayfasından veya e-posta yoluyla sertifika başvurusu:
http://www.grid.org.tr/servisler/sertifika/cert_request ya da
[email protected] E-posta yoluyla sertifika iptali:
X.509 Proxy Sertifikası ve VO Eklentisi
Grid kullanıcı sertifikaları(geçerlilik süresi: 1 YIL) – Tek başına GÜVENSİZ ve EKSİK!!!
=> Grid’de iş çalıştırırken güvenliği arttıran: Proxy Sertifikası:
Kullanıcı sertifikası tarafından imzalanır. Default olarak 12 saat geçerliliği vardır. 12 saat geçtikten sonra, hala
grid altyapısı kullanılıyorsa yenilenmesi gerekir.
=> Grid’de yetkilendirmeyi sağlayan: Proxy sertifikasına VO (Sanal Organizasyon) bilgisinin eklentisi:
Grid kullanıcılarının kimlik doğrulama dışında yetkilendirilmesinin yapılması için mutlaka bir sanal organizasyona üye olmaları gerekir.
Grid kullanıcıları üye oldukları VO’yu destekleyen sitelerde iş çalıştırabilir.
Grid kullanıcıları birden fazla VO’ya üye olabilirler.