iqmulus projekt eredményei 2015

IQmulus projekt eredményei 2015 „Téradat-felhők,-fedvények és térfogati adatkészletek nagy kapacitású fúziós és elemző rendszere”

Olasz Angéla

MFTTT Földmérő Nap

Békéscsaba, 2015. november 25-26.

Földmérési és Távérzékelési IntézetTérinformatikai Igazgatóság (TÉI)

A projektről rövidenAdatok: Projekt időtartama: 2012 november –

2016 november Finanszírozás: EU 7-es keretprogram Partnerek: 12 európai partner, 7

európai országból: térinformatikai kutatási területen tevékenykedő egyetemi kutatócsoportok, alkalmazott kutatások intézetei, KKV-k, nemzeti és regionális térképészeti intézmények.

Web: www.IQmulus.eu

2IQmulus projekt eredményei 2015Békéscsaba, 2015. november 25.

http://iqmulus.eu/

http://iqmulus.eu/

http://iqmulus.eu/

3

Az IQmulus projekt fő célja: elősegíteni a nagy és heterogén téradatok optimalizált felhasználását nagy mennyiségű adatfúzióra képes online elemző rendszeren keresztül.Topográfiai adatok új tudásvezérelt feldolgozó módszereinek fejlesztése:

Hatékony objektum felismerés és osztályozási eljárások fejlesztése kulcs és korrelációs pontok meghatározására fedvényeken és pontfelhőkben.

Vizuális elemzési és ellenőrzési eljárások fejlesztésének támogatása nagyméretű téradatokon: Webes vizualizációs támogató rendszer fejlesztése döntéshozók és

felhasználók számára elő-feldolgozó szolgáltatásokkal együttAdat-intenzív feldolgozó eljárások rendszer integrálása, alkalmazásfejlesztés:

Szakterület specifikus modellező nyelv létrehozása, amellyel a felhasználók képesek munkafolyamatokat létrehozni és futtatni

Projekt célok

IQmulus projekt eredményei 2015Békéscsaba, 2015. november 25.

4

FÖMI szerepe a projektben

Esettanulmányok

Munkacsoportok


A szárazföldi alkalmazások koordinátora (együttműködve a részt vevő partnerekkel, a közszféra intézményeinek – mint kulcsfelhasználók, és felhasználói csoportok – bevonásával)

Munkacsoport vezető a Felhasználói követelmények meghatározásában (WP1) Felhasználói szerepek, Esettanulmányok, Munkafolyamatok, (User Role/User

Story/Use Case/Workflow/Showcases) meghatározása A projekt teljes időtartamán átívelő iteratív folyamat A felhasználói érdekek érvényesítése a projekt kezdetétőlAdatszolgáltató, Adatintegráló, Szolgáltatás fejlesztő és Felhasználó egy időbenKözreműködés az alábbi munkacsoportokban: Adatelemzés és -feldolgozás (WP4) Tesztelés és értékelés (WP7) Kommunikáció (WP8)

5

FÖMI szerepe a projektben


Eredetileg 139 térinformatikai témájú „eset” került megfogalmazásra (a fejlesztendő rendszer funkcionalitásainak meghatározására rövid természetesen nyelvezetű mondatok formájában) majd elemzésre, priorizálásra kerületek.

A folyamat végén előálló Esettanulmányok meghatározták az alapelvárásokat az infrastruktúra fejlesztésben, a rendszer prototípus és feldolgozó szolgáltatások ennek megfelelően kerültek kidolgozásra.

As a <user>, I want <something> so that <benefit>

Integrált szárazföldi

Tengeri

Városi

Esettanulmányok kidolgozása


Integrált szárazföldi alkalmazás (Land Showcase)LS1 Felszínmodell készítéseLS2 Csapadékadatok elemzése

LS3 Árvíz és belvíz elöntés detektálásLS4 Földcsuszamlás-modellezésLS5 Szimulációs és a detektál eredmények összehasonlítása

Tengeri-óceáni alkalmazás (Marine Showcase)MS1 Tengerfenék modellezés (pontfelhő alapú) MS2 A tengerfenéki objektumok azonosításaMS3 Tengerfenék stabilitásának vizsgálata (dűnevándorlás)

Városi alkalmazás (Urban Showcase)US1 Épülethatár detektálás és nyilvántartás (2D/3D)

US2 Fafelismerés (MMS pontfelhő)

Esettanulmányok


Integrált szárazföldi esettanulmány

LS 1 WorkflowMulti-resolution model for

land monitoring(Terrain model preparation)

LS2 WorkflowAnalysis of precipitation

data

LS4 WorkflowDetection and

characterization of landslides

LS5 WorkflowComparison of simulation

with observed data

LS3 WorkflowFlood and waterlogging

detection


Az esettanulmányok további elemzése a feldolgozó szoftverkomponensek, szolgáltatások fejlesztését alapozták meg.

As - Is elemzést végeztünk minden munkafolyamatra, mit várnak el a felhasználók az IQmulustól:

A jelenlegi feldolgozási folyamatok buktatóinak azonosítása, automatizálási lépések megállapítása

Ajánlások megfogalmazása az IQmulus projekt számára (szolgáltatás specifikusan a fejlesztési ütemtervvel együtt)

Teszt és referencia adatok átadása részletes leírással.

Use Case Diagram LS3 (jelenlegi munkafolyamat)

Esettanulmányok, munkafolyamatok elemzése


Az LS3 Árvíz és belvíz elöntés detektálás munkafolyamatot a FÖMI az ELTE Informatikai Karral közösen fejleszti, raszteres állományok elő-feldogozása/kezelése/elemzése céllal.

Az IQmulus projekt számos automatizálási megoldást tud biztosítani:

1. Elő-feldolgozási procedúrákban:a) Felhő, felhő árnyék detektálás [e.g. fMASK a Landsat 4,

5, 7, 8; SPOTCASM a Spot5 HRG felvételeken]b) Top of Atmosphere (ToA) reflektancia számítás: [Landsat,

Spot5, Sentinel]c) Geometriai és radiometriai korrekciók (transzformáció)d) Spektrális indexek (PCA, vegetációs indexek) számítása

2. Feldolgozásban és osztályozásban:e) Küszöbértékek meghatározásaf) Képszegmentálás, tematikus osztályozásg) A felszínmodell integrálása a (Digital Terrain Model)

feldolgozási láncba

Szolgáltatás fejlesztés


1. Prototípus komponensek tesztelése

Feldolgozó és megjelenítő szolgáltatások értékelése

2. Az első rendszer-prototípusok tesztelése

Az egyes munkafolyamatokba szervezett szolgáltatások rendszerkörnyezetben történő tesztelése

3. A teljes rendszer tesztelése és felhasználó képzés

A felhasználói igények teljesülésének mérése a végső IQmulus környezetben

Oktatás a felhasználói csoportok számára

Tesztelés és értékelés


Skálázhatóság vizsgálatok – első eredmények

80.Service: Belvíz detektálás: A jelenlegi infrastruktúra a raszter fájlok olvasását-írását megnöveli. A MapReduce eljárás kihasználásával ez az idő jelentősen csökkenthető.

Minden feldolgozó szolgáltatás futása 3 szakaszra osztható: Olvasás, Feldolgozás, ÍrásLehetőség van az egyes szakaszok futásidejének összehasonlítására az abszolút és relatív

futásidőt a feldolgozott adatmennyiségekre, így feltárhatók a feldolgozási lépések esetleges hibái. Forrás: http://www.isprs-geospatialweek2015.org/workshops/geobigdata/data/p23_presentation.pdf


IQLib


Legfontosabb funkciója a nagy adatok elosztása feldolgozási „egységekre” (Tiling) majd az egyes „egységeken” kapott eredmények összekapcsolása (Stitching).

Az adatok felbontása történhet földrajzi tulajdonságaik alapján (valamilyen szempontból egységnek tekinthető földrajzi lehatárolás, pl. vízgyűjtő terület), de lehet egyenlő méretű csomagokra is felbontatni az egy helyen feldolgozandó fájlokat. Bemenő adatai lehetnek: raszter, vektor, pontfelhő, háromszöghálók (Triangular Meshes)

Célja: Nyílt forráskódú szemantikus adat-összekapcsolás nagy adatkészleteken, ezáltal megszüntetni a feldolgozó algoritmusok skálázhatóságának korlátait

Példa a zonális cellaműveletre. Forrás: IQLib specifikáció

Name Name of the software applicationRelevance How is this software relevant to the project

Possible role in IQmulus State the general role that the software could play in the overall design of IQmulus project and specify what aspect it could service.

Fitting the general concept Based on the latest architecture design, state where the software fits in with the general concept and explain if it is suited for the chosen type of infrastructure.

Functionality Describe the technical functionality of the software.

Data processing / Data structure Describe the data processing capabilities of the software and/or its data structure and how it contributes to the processing needs of IQmulus.

License model List the licensing options available for the software.Access for the partners Describe what access to the software is available for project partners.Availability in the project Describe the availability of the software within the IQmulus project.

Scheduled adaptations Describe whether the software can be adapted (extended or modified) to the project needs, if necessary, what language it is written in and how adaptations might be implemented (core development, plugins, ...).

Supported file formats (input/output) List all input and output files this software solution can handle

Scalability potential List all known or perceivable issues concerning data scalability such as file size limits (if any)

Supported operating systems List all platforms this software solution runs on and whether the software is available in both 32-bit and 64-bit versions

Development activity Is the software in active development? Is it backed by a sufficiently large and active development community (open source) or department (commercial)? Indicators are frequent updates and a bug and ticket reporting procedure.

User´s pros and consThis section is included to give the respondent the chance to include their own experiences with the software and emphasize noteworthy features (both positive and negative). As with all sections, it is important that the answers reflect the honest view of the respondent. Please provide between 2 (minimum) and 5 (maximum) pros and cons each.

1. Összehasonlító mátrix elkészítése: nyílt forráskódú és kereskedelemi szoftver megoldások értékelése a projektben, felhasználhatóság szempontjából

IQmulus szoftver architektúratervezés


Score Software products

Very suitable >11 FME, novaFACTORY, ArcGIS / ArcScene, RASDAMAN

Suitable 6 - 10 LAStools, PCL, eCognition, ENVI 5.0, LidarFormat, iTowns, MeshLab

Acceptable 0 - 5 QPS Fledermaus, PointTools View Pro, GeOxygene3D, tridicon 3D

Questionable -5 - -1 ERDAS VirtualGIS

Disqualified < -6 or --- score

LupoScan, RhinoTerrain, Surfer, TerraSolid, SketchUp

2. Eredmények értékelése

Az első három kategóriába sorolt termékek komponensei lehetőség szerint beépíthetőek az IQmulus rendszerbe. Lehetőség van új nagyméretű téradatokat feldolgozó algoritmusok kifejlesztésére és bemutatására a Processing Contest keretein belül.

3. Projekt szempontú elvárások megfogalmazása

4. Minőségi elvárások csoportosítása



(Hadoop File System)


5. Cél: térinformatikai műveletek és algoritmusok használják ki a felhő alapú számítási környezetet.


Térinformatikai/ távérzékelési feldolgozási feladatok munkafolyamatokká alakítása: Szakterület specifikus nyelv, „szótár” létrehozása a projekt esettanulmányaira = DSL (domain specific language) alapvető utasítások kidolgozása. Az egyes munkafolyamatokat GIS fejlesztők írták meg, az egyes paraméterek igény szerint módosíthatók.

Munkafolyamatok létrehozása és futtatása


Felhasználói felület


Vastagkliens felhasználói felület


Demo video


https://www.youtube.com/watch?v=rn_EYGt3jcU

2013 óta minden évben megrendezett Adatelemzési „verseny” Idén a FÖMI is vezetett egy témát: Elöntés és detektálás távérzékelt felvételekből1. Evaluation of 2D Footprints automatically generated from urban LiDAR data2. Water detection and classification on multi-source remote sensing and terrain data3. Tree Separation and Classification from mobile mapping systems (MMS)Eredmények ismertetése 2015-ben az ISPRS Geospatial Week-en (Montpellier, szept.

28 – okt. 2.) történt meg. Magyar résztvevő: Debrecen Team: Kovács Zoltán, Balázs Boglárka és Szabó Szilárd

Adatforrások: DTM, ortofotó és hiperspektrális felvételek: http://map.fomi.hu/download/IQPC_15_T2/

2016-ban utolsó alkalommal kerül megrendezésre! Eredmények ismertetése: International Geometry Summit 2016 (Berlin, Június 20-24.)

IQmulus Processing Contest


https://sites.google.com/site/iqpc15/















http://iqmulus.eu/iqmulus-processing-contest-2015/2-water-detection-and-classification-on-multi-source-remote-sensing-and-terrain-data


















http://homepage.tudelft.nl/41s94/iqmulus/Contest3.html










http://map.fomi.hu/download/IQPC_15_T2/

IQmulus Processing Contest 2015 (IQPC’15)


Köszönöm a figyelmet!

Olasz Angé[email protected]

Földmérési és Távérzékelési IntézetTérinformatikai Osztálywww.fomi.hu www.iqmulus.eu

www.linkedin.com/groups

/IQmulus-FP7-project-7470531


mailto:[email protected]



http://www.fomi.hu/

http://www.iqmulus.eu/

http://www.linkedin.com/groups/IQmulus-FP7-project-7470531




iqmulus projekt eredményei 2015

Data & Analytics