sztaki presentation

32
Unicsovics Milán [email protected] slideshare.net/thesnapdragon

Upload: milan-unicsovics

Post on 08-Jul-2015

179 views

Category:

Technology


1 download

TRANSCRIPT

Page 1: sztaki presentation

Unicsovics Milá[email protected]/thesnapdragon

Page 2: sztaki presentation

Android / Firefox OS

OwlCalcSnappages

Page 3: sztaki presentation
Page 4: sztaki presentation

Az OpenNebula AAI patch fejlesztése

Unicsovics Milán

Szabó GyulaHéder Mihály

Page 5: sztaki presentation

● OpenNebula Cloud Operations Center

● GUI tipikus menedzsment feladatok

megoldására

● leegyszerűsíti a problémák elvégzését (CLI-

hez képest)

OpenNebula Sunstone

Page 6: sztaki presentation

● Új autentikációs modul fejlesztése

● AAI SSO bejelentkezés illesztés

● VO-ból érkező jogosultságok kezelése

● Patch beküldése az OpenNebula

fejlesztőknek

Kitűzött feladatok

Page 7: sztaki presentation

● új autentikációs modul (SSPCloudAuth)

● beállítható a Sunstone saját konfigurációs

fájljában

● bejelentkezéskor megvizsgálja, hogy

autentikált-e már a SimpleSAMLphp-ban

Működés (1)

Page 8: sztaki presentation

● Sunstone autentikáció SSPCloudAuth-tal

○ VO-ból érkező jogok összegyűjtése

○ OpenNebula felhasználók, csoportok létrehozása

○ szükség esetén felhasználó

csoportjának változtatása

Működés (2)

Page 9: sztaki presentation

● Elkészített verziók:

○ 3.6.0, 3.8.1, 3.8.3, 4.0.1, 4.1

● OpenNebula fejlesztőknek beküldve

● http://ssp-for-opennebula.sztaki.hu

○ részletes telepítési, konfigurációs leírás

Patch állapota

Page 10: sztaki presentation

A bejelentkezés folyamata

1

Page 11: sztaki presentation

2

A bejelentkezés folyamata

Page 12: sztaki presentation

3

A bejelentkezés folyamata

Page 13: sztaki presentation

4

Page 14: sztaki presentation

Yubikey regisztrációs webfelület fejlesztése

Unicsovics Milán

Szabó Gyula

Page 15: sztaki presentation

Miről szól a projekt?

● YubiKey Key Storage Module

○ képes együttműködni YubiKey validation server-rel

● SimpleSAMLphp bejelentkezés

támogatása

Page 16: sztaki presentation

Felhasznált technológiák

● Symfony Web Development Framework

○ MVC mintára épülő webalkalmazások

● sfSAMLPlugin használata

● Sqlite adatbázis

○ YubiKey KSM-mel megegyező adatbázis struktúra

Page 17: sztaki presentation

Yubikey regisztráció menete

Page 18: sztaki presentation

Nagy teljesítményű, flexibilis nyelvi

feldolgozó keretrendszer OSGi alapokon

Unicsovics Milán György

konzulens: Héder MihálySimon Balázs, BME IIT

Page 19: sztaki presentation

Miről szól a projekt? (1)

● keretrendszer készítése

○ melyre kutatásokat lehet alapozni

○ felhasználható számítógépes nyelvészet,

mesteréges intelligencia területein

● nagy teljesítményű

○ adatok Wikipedia

Page 20: sztaki presentation

Miről szól a projekt? (2)

● flexibilis

○ OSGi komponens modell és keretrendszer

○ kiterjeszti az alap Java nyelvű programok funkcióit

○ komponensek nagyon rugalmasan menedzselhetőek

Page 21: sztaki presentation

● Bundle○ az alkalmazás modulárissá tehető velük

○ dinamikusan indíthatóak, leállíthatóak, telepíthetőek

● Service○ a bundle-ök kiajánlhatják, feliratkozhatnak rájuk

OSGi keretrendszer

Page 22: sztaki presentation

Hasonló megoldások vizsgálata

● rengeteg feldolgozás létezik

○ statikus Wikipedia dump-on alapuló megoldások

○ on-the-fly új információk feldolgozása

Page 23: sztaki presentation

Tanulságok

● egyik sem elég flexibilis: futásidőben új

komponens beépítése nem lehetséges

● módosítások újrafordítással,

rendszerleállással járnak

● nem lehet a feldolgozólánchoz új elemet

(kutatást végző modult) illeszteni

● bonyolult működés

Page 24: sztaki presentation

Wikipedia Miner architektúra

Page 25: sztaki presentation

Az alkalmazás főbb komponensei

● WikiBot: PircBot Java IRC Bot

keretrendszerrel

● Database: H2 Database Engine

Page 26: sztaki presentation

Parserek

● feladat: WikiText HTML

● 3 cserélhető parser megoldás:

○ Sztakipedia Parser felhasználásával

○ DumbRegexWiki Parser felhasználásával

○ Parsoid: Node.js alkalmazás lefordítja a kérés

törzsében adott adatot

Page 27: sztaki presentation

A feldolgozólánc indulása

Page 28: sztaki presentation

Egy cikk életútja a feldolgozóláncban

Page 29: sztaki presentation

Statisztika a cikkek számáról

Page 30: sztaki presentation

A feldolgozás sebbességének mérése

Page 31: sztaki presentation

Továbbfejlesztési lehetőségek #1

● feldolgozási láncok készítése dinamikusan

○ Apache Commons Chain

● előfeldolgozó komponensek készítése

● 2 parser összehasonlítása

Page 32: sztaki presentation

Továbbfejlesztési lehetőségek #2

● másik adatbázis interfész: adatok betöltése

dumpból

● parsoid projekt (új parser) beépítése

● statisztika készítő perzisztenciája

● újraindulás után folytatás