prezentare proiect gisheo - marian neagu
DESCRIPTION
Seminar "Soluții open source pentru prelucrarea și reprezentarea datelor geospațiale", 19-20 noiembrie 2010 - TimișoaraTRANSCRIPT
![Page 1: Prezentare proiect GiSHEO - Marian Neagu](https://reader034.vdocuments.net/reader034/viewer/2022052304/55876284d8b42a3b378b4669/html5/thumbnails/1.jpg)
Open Source În Proiectul Gisheo
Universitatea de Vest din Timișoara
![Page 2: Prezentare proiect GiSHEO - Marian Neagu](https://reader034.vdocuments.net/reader034/viewer/2022052304/55876284d8b42a3b378b4669/html5/thumbnails/2.jpg)
Despre Proiect
● Scopul proiectului:– Crearea unei platforme de eLearning pentru
GIS folosind capabilitățile GRID
● Parteneri:– Universitatea de Vest din Timișoara– Agenția Spațială Română– Institutul National de Cercetari Aerospatiale
„ELIE CARAFOLI”– Universitatea Tehnică ClujNapoca
![Page 3: Prezentare proiect GiSHEO - Marian Neagu](https://reader034.vdocuments.net/reader034/viewer/2022052304/55876284d8b42a3b378b4669/html5/thumbnails/3.jpg)
Despre Proiect
● Finanțare:– Proiectul este finanțat de Agenția Spațială
Europeană prin intermediul programului PECS– Programul PECS este un program de suport al
țărilor aderate la EU după 2004, cu scopul aderări la ESA
![Page 4: Prezentare proiect GiSHEO - Marian Neagu](https://reader034.vdocuments.net/reader034/viewer/2022052304/55876284d8b42a3b378b4669/html5/thumbnails/4.jpg)
Despre Proiect
● Infrastructura:– 4 Clustere interconectate:
● UVT● UTCN● INCAS● ROSA
– Middleware: Condor:● 1 nod central● 3 grupuri de noduri de lucru: UVT, UTCN și INCAS (offline)● 2 noduri de stocare: UVT și INCAS
![Page 5: Prezentare proiect GiSHEO - Marian Neagu](https://reader034.vdocuments.net/reader034/viewer/2022052304/55876284d8b42a3b378b4669/html5/thumbnails/5.jpg)
Despre GRID (în general)
● Este o colecție eterogenă de resurse (calculatoare, stocare, dispozitive, servicii, etc) care sunt geografic distribuite, cu conținut dinamic
● GRID Computing– OGSA (http://www.globus.org/ogsa)
![Page 6: Prezentare proiect GiSHEO - Marian Neagu](https://reader034.vdocuments.net/reader034/viewer/2022052304/55876284d8b42a3b378b4669/html5/thumbnails/6.jpg)
Despre GRID (în general)Organizație Virtuală
● Persoane care colaborează partajând date întrun mod organizat
● Grup de indivizi sau instituții care partajează resurse computaționale pentru un țel comun
● Infrastructură de control al accessului la resurse pe baza unor credențiale
![Page 7: Prezentare proiect GiSHEO - Marian Neagu](https://reader034.vdocuments.net/reader034/viewer/2022052304/55876284d8b42a3b378b4669/html5/thumbnails/7.jpg)
Arhitectura Gisheo
Data Managemen
t
Processing
![Page 8: Prezentare proiect GiSHEO - Marian Neagu](https://reader034.vdocuments.net/reader034/viewer/2022052304/55876284d8b42a3b378b4669/html5/thumbnails/8.jpg)
Țeluri Inițiale
● Țeluri– Utilizarea „serviciilor” GRID pentru fundamentul
proiectului.– Integrarea a diverse proiecte realizate/finanțate
de ESA (BEAM, BEAT).– Folosirea exclusivă de proiecte „Open Source”.– Oferirea de servicii de procesare în timp real
![Page 9: Prezentare proiect GiSHEO - Marian Neagu](https://reader034.vdocuments.net/reader034/viewer/2022052304/55876284d8b42a3b378b4669/html5/thumbnails/9.jpg)
Tehnologii Utilizate
● Execuție:– Condor HTC (http://www.cs.wisc.edu/condor/)
● Manipulare:– GDAL (http://www.gdal.org/)– GRASS (http://grass.osgeo.org/)– OpenCV (http://opencv.willowgarage.com/wiki/)
● Stocare:– Apache HDFS (http://hadoop.apache.org/hdfs/)
![Page 10: Prezentare proiect GiSHEO - Marian Neagu](https://reader034.vdocuments.net/reader034/viewer/2022052304/55876284d8b42a3b378b4669/html5/thumbnails/10.jpg)
Tehnologii Utilizate
● Indexare:– PostgreSQL (http://www.postgresql.org/)
● PostGIS (http://postgis.refractions.net/)
● Distribuție:– Apache Mina (http://mina.apache.org/)
● Mina FTP Server
– Mapnik (http://mapnik.org/)– TileCache (http://tilecache.org/)
![Page 11: Prezentare proiect GiSHEO - Marian Neagu](https://reader034.vdocuments.net/reader034/viewer/2022052304/55876284d8b42a3b378b4669/html5/thumbnails/11.jpg)
Tehnologii Utilizate
● Prezentare– OpenLayers (http://openlayers.org/)– Google Web Toolkit (
http://code.google.com/intl/ro/webtoolkit/)
![Page 12: Prezentare proiect GiSHEO - Marian Neagu](https://reader034.vdocuments.net/reader034/viewer/2022052304/55876284d8b42a3b378b4669/html5/thumbnails/12.jpg)
Execuție: Condor HTC / Middleware
● Condor HTC – platformă de calcul distribuit– High Throughput Computing
● Platformă modulară:– Condormanager: nod de control– Condorworker: nod specializat în execuția
codului utilizatorilor/dezvoltatorilor– Condorscheduler: componenta de planificare
(de selecție a nodurilor pentru execuția unui task)
![Page 13: Prezentare proiect GiSHEO - Marian Neagu](https://reader034.vdocuments.net/reader034/viewer/2022052304/55876284d8b42a3b378b4669/html5/thumbnails/13.jpg)
Procesare și Manipulare
● Procesare Arhitectura Generală:
![Page 14: Prezentare proiect GiSHEO - Marian Neagu](https://reader034.vdocuments.net/reader034/viewer/2022052304/55876284d8b42a3b378b4669/html5/thumbnails/14.jpg)
Procesare – Componente Principale
● Serviciul GPROC:– Descrie sarcinile date de utilizator în „limbajul”
middlewareului utilizat
– Planifica sarcinile pentru execuție
– Se integrează cu planificatorul dezvoltat in proiect (OsyRIS)
– Este accesibil ca serviciu web (SOAP)
● Workload and Resource Management:– condorscheduler
![Page 15: Prezentare proiect GiSHEO - Marian Neagu](https://reader034.vdocuments.net/reader034/viewer/2022052304/55876284d8b42a3b378b4669/html5/thumbnails/15.jpg)
Manipulare
● Majoritatea operațiilor sunt susținute direct de biblioteca GDAL.
– Este folosit pentru a oferii access la diverse „containere” (Ex. HDF, GeoTiff, etc) întrun mod uniform.
– Ne permite dezvoltarea de procesări în mod generic, fără a fi nevoiți să tratăm special fiecare tip de date (cel puțin teoretic :)
![Page 16: Prezentare proiect GiSHEO - Marian Neagu](https://reader034.vdocuments.net/reader034/viewer/2022052304/55876284d8b42a3b378b4669/html5/thumbnails/16.jpg)
Manipulare
● O parte din procesări sunt „wrapere” pentru funcționalități oferite de GRASS.
– Exemplu: r.mapcalc, etc
● OpenCV:– Bibliotecă pentru „Computer Vision” care sa
dovedit extrem de utilă in proiect. Mai ales datorită algoritmilor implementați de aceasta
![Page 17: Prezentare proiect GiSHEO - Marian Neagu](https://reader034.vdocuments.net/reader034/viewer/2022052304/55876284d8b42a3b378b4669/html5/thumbnails/17.jpg)
Indexare (GDIS)
● Realizată cu ajutorul PostgreSQL și a extensiei PostGIS.
– Indexează informațiile stocate în nodurile de stocare pe baza caracteristiciilor acestora: extent, „meta date”, etc
– Expune informațiile prin intermediul serviciilor SOAP și parțial WMS
– Permite regăsirea eficientă a datelor
![Page 18: Prezentare proiect GiSHEO - Marian Neagu](https://reader034.vdocuments.net/reader034/viewer/2022052304/55876284d8b42a3b378b4669/html5/thumbnails/18.jpg)
Stocare
● Datele indexate de GDIS sunt stocate folosind diverse medii:
– Servere FTP– Hadoop Distributed File System:
● Stocare distribuită (și redundantă)● Extrem de eficientă daca este combinată cu un
planificator conștient de amplasarea datelor.
![Page 19: Prezentare proiect GiSHEO - Marian Neagu](https://reader034.vdocuments.net/reader034/viewer/2022052304/55876284d8b42a3b378b4669/html5/thumbnails/19.jpg)
Distribuție
● FTP:– Servere FTP clasice (și GridFTP)– Server FTP bazat pe HDFS
● WMS:– Bazat pe o combinație între Mapnik si
TileCache– Combinat în general cu mai multe nivele de
caching (Memcachedb si Memcache)
![Page 20: Prezentare proiect GiSHEO - Marian Neagu](https://reader034.vdocuments.net/reader034/viewer/2022052304/55876284d8b42a3b378b4669/html5/thumbnails/20.jpg)
Prezentare
● Google Web Toolkit:– Platformă WEB 2.0 (buzz)– Folosită pentru a crea o interfață „interactivă” cu
utilizatorul
● OpenLayers:– Client JavaScript pentru WMS/TMS
![Page 21: Prezentare proiect GiSHEO - Marian Neagu](https://reader034.vdocuments.net/reader034/viewer/2022052304/55876284d8b42a3b378b4669/html5/thumbnails/21.jpg)
Sfârșit
Întrebări ?