tr-grid Üzerinde kandilli sismik veri sunucusu
DESCRIPTION
TR-GRID Üzerinde Kandilli Sismik Veri Sunucusu. D. Unat , A. S. Balkır, E. Şenay, C. Özturan Bilgisayar Müh. Bölümü Bo ğaziçi Universi tesi. M. Yılmazer Kandilli Rasathanesi ve Deprem Araştırma Enstitüsü, Boğaziçi Üniversitesi. Türkiye’deki Sismik Veri Toplama İstasyonları. - PowerPoint PPT PresentationTRANSCRIPT
www.see-grid.eu
SEE-GRID-2
TR-GRID Üzerinde Kandilli Sismik Veri Sunucusu
M. YılmazerKandilli Rasathanesi ve Deprem
Araştırma Enstitüsü, Boğaziçi Üniversitesi
D. Unat, A. S. Balkır, E. Şenay, C. Özturan
Bilgisayar Müh. BölümüBoğaziçi Universitesi
2
Türkiye’deki Sismik Veri Toplama İstasyonları
3
Verilerle İlgili Bilgiler
Veriler takriben 100 istasyondan toplanmaktadırVeriler ziplenmiş SAC dosyası formatında tutulmaktadırVeriler her saat başı Kandilli’deki veri deposuna aktarılmaktadırVeriler Kandilli web sunucusundan erişilebilmektedirHer saat başı bir istasyondan aktarılan ziplenmiş SAC dosyası büyüklüğü takriben 20K-580K arasında değişebilirBir ayda toplanan veri büyüklüğü takriben: 32 GB10 senelik veri büyüklüğü takriben : 3.8 TB
4
Proje Motivasyonu
Bu büyüklükteki verilerin web üzerinden yerel bilgisayara indirilmesi ve işlenmesi kolay/pratik değilMilyonlarca dosyanın web üzerinden sunulması pratik değilGrid üzerinde hem veri hemde hesaplama gücü bu verilerin/dosyaların işlenmesini çok kolaylaştırır.
Web sunucusu
indir
Kullanıcı bilgisayarı
Grid
Veri + Yüksek Hesaplama Gücü
5
Proje Bileşenleri
Bileşen Statü
1. Tr-Grid Kandilli Sismik Veri Deposu (otomatik olarak SAC dosyalarının Kandilli web sunucusundan tr-grid’e yansıtılması)
tamamlandı
2. C++ SAC Dosya İteratörleri( birçok SAC dosyası üzerinden yüksek seviyede iterasyon sağlayan programlama araçları)
Devam ediyor
3. Örnek uygulama (verileri kullanan bir uygulama)
Devam ediyor
6
1.Tr-Grid Kandilli Sismik Veri Deposu
Veri yansıtıcı programı Perl dilinde ve LWP paketini kullanarak geliştirildi
Cron ile saat başı çalıştırılıyor
Kandilli web sitesindeki: http://barbar.koeri.boun.edu.tr/sismo/zKDRS/zzTRlogin.asp
veri se.ulakbim.gov.tr veri deposuna yansıtılmaktadır ve lfc.ulakbim.gov.tr dosya kataloğuna kayıt edilmektedir.
LFC_HOME yeri: /grid/trgrid/kandilli/barbar.koeri.boun.edu.tr/wData/
7
1.Tr-Grid Kandilli Sismik Veri Deposu
Çıkabilen Problemler Kandilli tarafında olabilen problemler:
Bazı istasyonlar zamanında verilerini göndermeyebilir Veri web sayfasına yüklenmemiştir Kandilli web sayfasının geçici olarak çalışmaması Özel durumlarda gecikmeler (örneğin tatil günleri vs.)
Tr-Grid tarafında olabilen problemler: Proxy sertifikasının yaratılması başarılı olmayabilir Sunucu kapalı olabilir Ağ kullanımı yoğunluğundan dolayı kopya ve kayıt yapmada zaman
aşımına uğramak Bu problemleri çözmek için İndirme sorunu yaşayan dosyaların listesi tut Uygun zamanlarda bu dosyaları tekrar indir
8
2. C++ SAC Dosya İteratörleri (devam ediyor)
Yüzbinlerce SAC dosyası bulunuyor Bu dosyalara erişmek ve dosyalar üzerinde iterasyon yapmak için yüksek seviyeli programlama arayüzüne ihtiyaç vardır
esenay@levrek:~$ lfc-ls -l /grid/trgridd/kandilli/barbar.koeri.boun.edu.tr/wData/2006/04/11/23-rw-rw-r-- 1 103 110 256478 Apr 12 2006 2006041123.AKS.SHZ.KO.zip-rw-rw-r-- 1 103 110 158038 Apr 12 2006 2006041123.ALT.SHZ.KO.zip....... .......
-rw-rw-r-- 1 103 110 17984 Apr 12 2006 2006041123.YOZ.SHZ.KO.zip
Dosya erişimlerini ve iterasyonlarını kolaylaştırmak için C++ sınıfları ve iteratörleri tanımlanacaktır.Üzerinde iterasyon yapılan dosyalara erişimi hızlandırmak için boru hattı teknikleri (pipelining) kullanılacaktır
9
2. C++ SAC Dosya İteratörleri (devam ediyor)
İstasyon, yıl, ay, gün, saat üzerine iterasyon yapma
Örnek:
#include <kandilli>.....Kandilli K ;KandilliStation station ;
for(station = K.begin() ; station != K.end() : station++ ) { .......}
10
2. C++ SAC Dosya İteratörleri (devam ediyor)
Çok-sicim (multi-thread) ve boru hattı (pipelining) kullanılarak İterasyon yapılacak dosyalara erişimin hızlandırılması
Dosya indir
Dosyayı işle
Orijinal döngü
Dosya indir Dosyayı işle
Çok sicimli döngü
11
2. C++ SAC Dosya İteratörleri (devam ediyor)
Boru hatlı (pipelined) dosya erişimi
Dosya1 indir
Dosya1 işle
Dosya2 indirDosya3 indir
Dosya2 işle
Dosya4 indir
Dosya3 işle
Dosya5 indir
Dosya4 işleDosya5 işle
iterasyon başlangıcı
1 2 3 4 5
iterasyonlar
12
3. Örnek Uygulama (devam ediyor)
Saat başı gelen verilerden deprem merkezini bulma uygulaması
Çıkan sonuçların Google Maps’ta gösterilmesi
13
3. Örnek Uygulama (devam ediyor)
İstasyon bilgilerinin Google Maps’ta gösterilmesi
14
3. Örnek Uygulama (devam ediyor)
Otomatik bulunan depremlerin web arayüzü ile sorgulanması
15
3. Örnek Uygulama (devam ediyor)
Google Maps’ta sorgulanan aralıklardaki depremlerin
gösterilmesi
16
Kaynakça
Didem Unat, Developing Grid-Enabled Applications for Kandilli Observatory and Earthquake Research Institute on TR-Grid. Senior Project Report, Dept. of Computer Eng. Boğaziçi University, 2006.E. Şenay, A. S. Balkır Developing Kandilli Earthquake Analysis Application on TR-GRID, Senior Project Report, Dept. of Computer Eng. Boğaziçi University, 2006-07 (in progress).