Maa-57.290

Fotogrammetrian erikoistyö

Suurnopeusfotogrammetria: 3D-liikkeen määrityksestä kuvamittauksin

suurnopeusvideota käyttäen

Mika Virtanen

Sisällysluettelo

0. Johdanto 5

1. Kuva, sen tallennus ja analysointi 6

1.1 Dynaamisten ilmiöiden mittaaminen kuvilta 6

1.2 Kuvamittauksen eri tyypit 71.2.1 Lähifotogrammetria1.2.2 Tosiaikainen fotogrammetria1.2.3 Suurnopeusfotogrammetria1.2.4 Tosiaikainen suurnopeusfotogrammetria

1.3 Ihmissilmän rajoitukset dynaamisten ilmiöiden analysoinnissa 81.3.1 Ihmissilmän rekisteröintinopeus 1.3.2 Tarkan näön näkökenttä1.3.3 Hidas muutos1.3.4 Hetkellinen nopeuden muutos

1.4 Kuvauslaitteet dynaamisten ilmiöiden tallentamiseen 10 1.4.1 Valokuvaus ja elokuvakamerat 1.4.2 Videokamerat 1.4.3 Suurnopeusvideot1.4.4 Modernit videolaitteet1.4.5 Integroidut videotallentimet 1.4.6 Liikkeen tunnistavat kuvasensorit

1.5 Nopean kuvauksen virstanpylväitä 12

2. Kuvasensorien ominaisuuksista 13

2.1 Kuvasensorien päätyypit 13

2.2 Kuvasensorien ominaisuuksista 142.2.1 Täyttöaste ( Fill factor )2.2.2 Kvanttihyötysuhde2.2.3 Vaste ( responsivity )2.2.4 Herkkyys2.2.5 Yhtenäisyys ( Uniformity )2.2.6 Suljin2.2.7 Nopeus2.2.8 Ikkunointi – kuvan rajaus2.2.9 Antiblooming – ylivuodon estäminen2.2.10 Toimintojen ajoitus2.2.11 Luotettavuus ja käyttö2.2.12 Kustannusvertailu

2

2.3 Kuvasensorien kehitysnäkymiä 18

3. Liikkeen tyyppien taksonomia 20

3.1 Liikkeiden päätyypit 203.1.1 Rajoitetut liikkeen tyypit3.1.2 Yleiset liikkeen tyypit

3.2 A priori-tiedon vaikutus 213.2.1 Liikkeen seuranta ilman a priori-tietoa kohteesta3.2.2 Liikkeen seuranta kohteen a priori-tiedon ja keinotekoisten piirteidenavulla

3.2.3 Rajoitukset ja oletukset mallintamisen apuna

3.3 Piirteiden irrotus kohteesta 233.3.1 Eksplisiittinen piirteiden sovitus3.3.2 Implisiittinen piirteiden sovitus

3.4 Kohteen liikkeen seuranta a priori-tietoa hyödyntäen 243.4.1 Parametriset mallit3.4.2 Fysikaaliset mallit

3.5 Käytännön liikemittauksista 253.5.1 Avainkohtien mittaaminen

3.5.2 Pintamalli3.5.3 Kohteen osittelu3.5.4 Region, volume ja moment of interest

4. Esimerkkejä kuvamittauksen käytännön sovelluksista 27

4.1 3D-mittaus yhdellä kameralla 274.1.1 Geometrinen rajoitus4.1.2 Pintakuvion käyttö4.1.3 Holografiset menetelmät

4.2 3D-mittaus kahdella kameralla 294.2.1 Ortogonaalinen kamerakonfiguraatio4.2.2 Aramis 3D-mittausjärjestelmä4.2.3 Jäykän kappaleen liikkeen 3D-seuranta

4.3 3D-mittaus kolmella kameralla 334.3.1 Epipolaarigeometria4.3.2 Virtauksen määritys kolmella kameralla epipolaarigeometriaahyödyntäen

3

4.4 Neljä kameraa ja enemmän 354.4.1 Kameroiden määrän vaikutus mittaustarkkuuteen

4.5 Kameroiden synkronointi 36

4.6 Matemaattisia malleja ja laitteistoja tietokoneavusteiseen liikkeenhavainnollistamiseen 37

4.6.1 Liikkeen määritys havaintomatriisin faktorisointimenetelmällä4.6.2 DSS - Dynamic surfel sampling4.6.3 Kalman-suodatin

5 ESPI : pienten dynaamisten muutosten mittaus holografialla 42

5.1 Perusteet 425.2Temporaalinen vaiheen purku 435.3 Spatiaalinen vaiheen purku 445.4 Vaihepuretun aineiston käsittely 45

6. Johtopäätökset 46

7. Lähdeluettelo 47

4

0. Johdanto

Dynaamisten ilmiöiden ja liikkeen tutkimiseen ja mittaamiseen liikkuvan kuvan

tallentaminen tarjoaa hyvän työkalun. Kun lähifotogrammetrian keinoin määritetään

tutkimuksen kohteen kolmiulotteista muutosta ja liikettä kuvamittauksin, siirrytään kohti

konenäköä ja tosiaikaista fotogrammetriaa.

Tutkittavien ilmiöiden tai liikkeen ollessa hyvin nopeaa, siirrytään uudelle alueelle

kuvauslaitteiden vaatimusten suhteen, suurnopeusvideoihin. 1990-luvun alusta lähtien on

ollut saatavilla täysin digitaalisia videolaitteita, joiden nopeus ylittää selkeästi normaalin

videostandardin. Näiden hyödyntäminen myös lähifotogrammetriassa on luonnollinen

jatko tosiaikaisen fotogrammetrian ja konenäön kehityksessä.

Tässä erikoistyössä luodaan katsaus kehitykseen dynaamisten ilmiöiden kolmiulotteisessa

mittauksessa lähifotogrammetrian avulla. Pohdinnan kohteena on myös, onko

suurnopeusfotogrammetriaa olemassa, ja millä perusteilla suurnopeusfotogrammetrian

voisi erottaa omaksi lähifotogrammetrian osa-alueekseen. Tätä tavoitetta toteutetaan

etsimällä tässä työssä määritellyn mukaisen suurnopeusfotogrammetrian kriteerit

täyttäviä tai siihen sovellettavia mittausratkaisuja kirjallisuustutkimuksena.

Ensimmäisessä luvussa lähdetään kuvan määrittelystä seuraamaan havaintolaitteiden

kehityskulkua silmästä nykyaikaiseen videotekniikkaan, ja käydään läpi

lähifotogrammetriaan liittyviä määritelmiä. Toisessa luvussa selvitetään nyt vallitsevan

kahden videosensoriteknologian eroja, ja mitkä ovat niiden vahvuudet ja heikkoudet

toisiinsa nähden. Kolmannessa luvussa esitellään liikkeen tyyppien taksonomia, jonka

avulla voidaan luoda viitekehys matemaattisille ja fysikaalisille malleille liikkeen

määrittämisessä. Neljäs luku käsittelee käytännön toteutuksia ja ratkaisumalleja erilaisten

liikkeiden määritykseen, ja esittelee joitain laitteistoja sekä laskentamalleja. Viidennessä

luvussa esitellään lyhyesti hyvin pienten muutosten holografisen mittausmenetelmän

ESPI:n kaksi perusvariaatiota.

5

1. Kuva, sen tallennus ja analysointi

Kuva I voidaan esittää Bengtssonin [2] mukaan funktiona:

I = F(x,y,z,w,t) (1.1)

jossa x,y,z ovat kolme spatiaalista ulottuvuutta, w kuvaa spektraalista ulottuvuutta ja t

temporaalista ulottuvuutta.

Spektraaliset ominaisuudet voidaan jakaa aallonpituuteen, intensiteettiin ja vaiheeseen.

[34]. Sekä spatiaalista että spektraalista tietoa, erityisesti säteilyn aallon vaihetta

käyttävää kuvamittauksen aluetta kutsutaan holografiaksi ( whole-a-graphy, kaikkea

tietoa käyttävä) [36]

Jako kuvan spatiaaliseen, spektraaliseen ja temporaaliseen ulottuvuuteen on erottava

tekijä myös erityyppisille kuvien pakkausmenetelmille [3].

1.1 Dynaamisten ilmiöiden mittaaminen kuvilta

Kuvien käyttö muutoksen tai liikkeen analysointiin on pätevä apuväline eri tutkimuksen

aloilla. Perustuen kuvausjärjestelyn pysyvyyteen on kuva-analyysi jaettu tässä työssä

ensin karkeasti kolmeen ryhmään:

- Kuvasarjat, joissa kuvat voivat olla eri lähteistä, visuaaliseen tarkasteluun ja

puhtaasti kvalitatiiviseen analyysiin, esimerkiksi kaupunkikuvia eri aikakausilta.

Kuvat voivat olla eri suunnista, eri mittakaavaisia, eri formaateissa (painettu kuva,

printti, negatiivit, digitaaliset kuvat). Tämänkaltainen kuva-analyysi ei välttämättä

sisällä kuvakoordinaattien mittaamista. Esimerkkinä Jyväskylän kaupungin

kaupunkikuvan muutos [41].

- Erikseen toisistaan kalibroitujen ja orientoitujen satelliitti-, ilma- tai

terrestriaalikamerakuvien ( mahdollisesti automaattiset) muutostulkinnat.

6

Kuvakulma on sama tai lähes sama eri aikaisilla kuvilla, ja kuvat on orientoitu tai

oikaistu samassa datumissa. Esimerkkinä rannikkoalueen muutosseuranta

myrskytuhojen arvioinnissa Landsat TM-kuvien avulla [43].

- Tutkimuksen aikana vakiona tai lähes vakiona pysyvät kuvausjärjestelyt, jossa

koko ilmiö kuvataan kerralla, sekä kalibroinnin että kuvien orientointien

muutokset ovat pieniä tai kuvausjärjestely oletetaan stabiiliksi. Esimerkkinä ovat

muun muassa deformaatiomittaukset, liikkeen seuranta ja konenäkösovellukset.

Erottavana tekijänä edellä mainitulle kolmelle ryhmälle voidaan pitää kalibrointia:

ensimmäisessä ryhmässä sitä ei ole, tai sillä ei ole merkitystä. Toisessa ryhmässä eri

aikana, mahdollisesti eri laitteilla, otetuilla kuvilla on kullakin oma kalibrointinsa.

Kolmannessa ryhmässä mittausjärjestelmä kalibroidaan kokonaisuutena koko mittauksen

ajaksi.

Tässä työssä keskitytään kolmanteen ryhmään, ja erityisesti nopeiden dynaamisten

ilmiöiden mittaamiseen ja nopeiden ilmiöiden mittaamiseen suhteessa

lähifotogrammetriaan. Pohdinnan kohteena on lähinnä, minkälaisia yhdistäviä tai

erottavia tekijöitä suurnopeusfotogrammetriassa on verrattuna perinteiseen ei-

topografiseen fotogrammetriaan.

1.2 Kuvamittauksen eri tyypit

Fotogrammetria on yleisesti kohteen muodon ja paikan mittaamista kuvilta. Tulosteena

on kohteiden koordinaatteja, erilaisia graafisia esityksiä tai kuvatuotteita. Arkikielessä se

yhdistetään ilmakuvauksiin ja ilmakuvilta suoritettaviin kartoitusmittauksiin eli

topografiseen fotogrammetriaan, jolla tuotetaan aineistoa paikkatietojärjestelmiin [23].

1.2.1 Lähifotogrammetria

Lähifotogrammetria kattaa kuvamittauksen ei-topografiset sovellukset, erotukseksi

topografisesta fotogrammetriasta. Tarkemmin määritettynä lähifotogrammetria kattaa 300

7

metrin sisällä havaintovälineestä olevan kohteen ei-topografiset kuvamittaukset [21].

Kraus määrittelee lähifotogrammetriaksi 1 – 100 m etäisyydeltä otetuilta kuvilta

mittaamisen [23].

1.2.2 Tosiaikainen fotogrammetria

Tosiaikaisessa fotogrammetriassa normaalin videostandardin mukaisesta kuvauksesta

nopeudella 25 tai 30 fps suoritetaan mittaukset ja ne prosessoidaan reaaliajassa – RTP,

real time photogrammetry [10],[24].

1.2.3 Suurnopeusfotogrammetria

Suurnopeusfotogrammetriaksi tässä työssä määritellään mittaukset, joissa kuvausnopeus

ylittää videostandardin huomioiden kuvan limityksen. Tällä määritelmällä yli 60 fps

nopeudella suoritetusta kuvauksesta mittaaminen on suurnopeusfotogrammetrian alueella.

1.2.4 Tosiaikainen suurnopeusfotogrammetria

Tosiaikaisessa suurnopeusfotogrammetriassa – HSRTP, high speed real time

photogrammetry, prosessoidaan suurnopeusvideolla kuvattu aineisto reaaliajassa [31],

[42].

1.3 Ihmissilmän rajoitukset dynaamisten ilmiöiden analysoinnissa

Ihmissilmä on verrattavissa pelkän kameran sijasta kokonaiseen järjestelmään, joka

tuottaa kuvan ja analysoi sitä. Jotkut automaattiset silmän näköaistiin liittyvät reaktiot

ovat paljon silmän kuvanmuodostusprosessia nopeampia, mutta normaalissa tilanteessa

silmän toimintaan pätevät seuraavassa listattavat ominaisuudet [16].

8

1.3.1 Ihmissilmän rekisteröintinopeus

Ihmissilmän rekisteröintinopeuden on todettu olevan yksinkertaiselle liikkeelle noin 1/5

sekuntia, josta saadaan nopeus 5 fps. Monimutkaisempi liike vaatii enemmän aikaa, ja

toisaalta hyvin harjoitetun silmän nopeus voi parhaimmillaan olla 1/10 s.

1.3.2 Tarkan näön näkökenttä

Ihmissilmä tarkan näön havaintoalue on kapea. Havaintoa tehdessä koko näkökenttä

”skannataan” monessa osassa. Tämä osaltaan vaikuttaa rekisteröintinopeuteen.

1.3.3 Hidas muutos

Hitaasti tapahtuvat muutokset ovat ihmissilmälle hyvin vaikeita arvioida. Kyseessä ei

niinkään ole silmän ominaisuus kuin mahdollisuus keskittyä pitkäksi ajaksi yhteen asiaan.

Videolle tai filmille voidaan kuvia tallentaa myös hyvin pienellä kuvanottotiheydellä,

esimerkkinä tästä rakenteiden kunnon valvonta

1.3.4 Hetkellinen nopeuden muutos

Hetkellisen nopeuden muutoksen määritelmä on

v1−v2 /v1⋅100 (1.2)

jossa v1 on nopeus ennen muutosta ja v2 loppunopeus. Ihmissilmä erottaa n. 10%

muutoksen, huonoissa oloissa tai kaukana huonommin. Video- tai filmimateriaalista

mittaamalla päästään selvästi alle 1% erotuskykyyn nopeuden muutoksessa [16].

9

1.4 Kuvauslaitteet dynaamisten ilmiöiden tallentamiseen

1.4.1 Valokuvaus ja elokuvakamerat

Ensimmäiset suurnopeusvalokuvat otettiin 1851 [27], ja mahdollisuus jäädyttää liike

avasi tutkijoille uuden maailman ihmissilmän rajoitusten ulkopuolella. Tästä siirryttiin

elokuvakameroiden kautta kautta suurella nopeudella liikkuvaan filmiin – esimerkiksi

1932 Los Angelesin olympialaisissa käytettiin 128 fps nopeudella toimivaa

maalikameraa, jossa kuvalla oli myös kello näkyvissä.

1950-luvulla saavutettiin 10 000 fps nopeus rotating prism-tyyppisillä kameroilla*. On

syytä erottaa hyvin lyhyet valotusajat, liikkeen jäädytys, nopeista filmikameroista jotka

tallentavat tuhansia, jopa kymmeniätuhansia erillisiä kuvia sekunnissa. Tässä työssä

suurnopeus viittaa nimenomaan suurella nopeudella liikkuvan filmin ja suuren

tallennustiheyden videolaitteisiin.

1.4.2 Videokamerat

Seuraava suuri läpimurto oli videotallennus 1970-luvun alussa. Ratkaiseva tekijä alussa ei

ollut nopeus, joka ei lähennellyt perinteistä filmitallennusmenetelmää, vaan mahdollisuus

kuvatun materiaalin tutkimiseen välittömästi, ilman aikaa vievää kehitysprosessia sekä

tallennusmateriaalin uudelleenkäyttömahdollisuus.

CCD-sensorien ja yleinen elektroniikan kehitys paransi sekä spatiaalista että

temporaalista erotuskykyä, ja 80-luvulla voitiin jo puhua suurnopeusvideoista.

1.4.3 Suurnopeusvideot

90-luvun alussa digitaaliseen suurnopeusvideoon yhdistettiin RAM-muisti [29].

(*) Ultranopeat piko- ja femttosekunnin temporaalisella resoluutiolla toimivat havaintolaitteet ovat käytännössä aina ns. streak-

kameroita, joiden rakenne ja toiminta poikkeaa siitä mitä yleensä mielletään ”kameraksi”. Tässä työssä ei niitä käsitellä, ne ovat

kuvien tulkintaa myöten oma lajinsa.

10

Kodak Ektapro EM:llä saavutettiin kuvausnopeus 1000 kuvaa sekunnissa 192 x 240

resoluutiolla jolloin talteen saatiin 4800 8-bit kuvaa ( 4.8 s mittainen yhtäjaksoinen

mittaus). Tiedon tallennusnopeus oli noin 40 MB / s.

Maas esitteli 1992 edullista ratkaisua, jolla päästäisiin 1000 fps kuvausnopeuteen

yhdistämällä 16 kpl standardi 60 fps videokameraa (756 x 287)ja 16 frame-grabberia

synkronoituun järjestelmään. Tällä järjestelmällä teoreettinen tiedon tallennusnopeus oli

175 MB/s [29].

1.4.4 Modernit videolaitteet

Vertailukohdaksi edellisille käy esimerkiksi nykyaikaisista suurnopeusvideoista

Visionresearchin phantom v9.0 CMOS -kameran tekniset tiedot [37]:

● Spatiaalinen resoluutio 1600 x 1200, 10 bit harmaasävy

● Temporaalinen resoluutio 1000 fps, koko kuvalle

● Lisävarusteena 12.2 GB integroitu muisti, 6.4 s yhtäjaksoinen tallennus

● Mahdollisuus nostaa temporaalista resoluutiota (max. 144750 fps ) pudottamalla

spatiaalista resoluutiota. Resoluution askellus 16 x 8 pikselin välein.

Tiedonsiirto 10/100/1000 ethernet tai RS232

Kuva 1.1 : phantom v9.0 [37]

11

1.4.5 Integroidut videotallentimet

CMOS-tyyppisille videosensoreille on kehitetty yhä pitemmälle integroituja järjestelmiä,

joissa yksittäisessä sensorielementissä on mukana kuvadiodin lisäksi sen toiminnan

ohjaus. Kagami et al. esittelivät menetelmän jolla A-D konversio tehdään kontrolloidusti

sensorielementin omalla kuvankäsittelyelementillä [18].

Sensorin dynaaminen alue laajenee, kun integrointiajat kuvadiodissa voidaan valita

kohteen vaihtelujen mukaan. Tämän kaltaisia älykkäitä sensorisiruja Kagami kutsuu

näkösiruiksi ( ( digital) vision chip). Vision Chip- tekniikkaan on suunnattu paljon

tutkimusresursseja, koska se kaventaa CCD-sensorien merkittävintä etumatkaa CMOS-

sensoreihin nähden.

1.4.6 Liikkeen tunnistavat kuvasensorit

Li et al. esittelee aktiivisen pikselitekniikan, jolla näkösirussa itsessään estimoidaan 2D-

liikettä peräkkäisten kuvien välillä, edellytyksenä SMA- ( small motion assumption)

ehdon toteutuminen. Liikkeen suuruus voi olla korkeintaan 1-2 pikseliä kuvien välillä

[25].

1.5 Nopean kuvauksen virstanpylväitä

1851 nopean liikkeen jäädytys

1930 suurnopeus filmille

1970 ccd- kamerat

1980 – 90 suurnopeusvideot

1990 digitaaliset suurnopeusvideot

1990 cmos-kamerat,

~2000 → väri- ja multispektraalinen cmos [12], integroidut cmos-rakenteet, APS

12

2. Kuvasensorien ominaisuuksista

2.1 Kuvasensorien päätyypit

Digitaalisten kuva-sensoreiden kaksi päätyyppiä ovat CCD - Charge Coupled Device sekä

CMOS - Complementary Metal Oxide Semiconductor [26]. Kummatkin koostuvat

valoherkkien puolijohteiden joukosta, mutta toisistaan muilta osin poikkeavasti toteutettu

rakenne aiheuttaa niiden välille eroja, joita tässä käsitellään.

Kuvissa 2.1 ja 2.2 käy ilmi tärkein ero: CCD-anturissa kuvadiodit ovat erillään muusta

toiminnasta ja CMOS-anturissa saapuvan fotonin aiheuttaman varauksen muuntaminen

digitaaliseksi arvoksi tapahtuu itse sensorin sisällä.

kuva 2.1 : CCD – sensori [26]

13

kuva 2.2 : CMOS – sensori [26]

2.2 Kuvasensorien ominaisuuksista

Sekä CCD- että CMOS-sensorit koostuvat useista pikselikohtaisista

metallioksidipuolijohteista. Joka pikselissä syntyy sille osuvan elektromagneettisen

säteilyn voimakkuutta vastaava varaus, josta syntyy yksi kuvakoordinaatistossa

sijainniltaan tunnettu näyte.

Kun valotus on valmis, CCD-sensorissa varaukset kuljetetaan rivi kerrallaan yhteiseen

tulostusrakenteeseen, joka muuntaa varauksen jännitteeksi, puskuroi sen ja lähettää sen

eteenpäin.

CMOS-sensorissa varauksen muuntaminen jännitteeksi tapahtuu jokaisessa pikselissä

erikseen. Lukutekniikassa oleva ero vaikuttaa huomattavasti sensorin rakenteeseen ja

toimintaan, ja eroavaisuuksiin suorituskyvyssä ja siihen vaikuttavissa ominaisuuksissa.

2.2.1 Täyttöaste ( Fill factor )

Sensorin täyttöaste ( Fill factor ) kuvaa prosenteissa, kuinka suuri osa sensorista on

valoherkkää. CCD on tässä suhteessa optimaalinen (~ 100 %), koska suuri osa

toiminnoista on itse sensorin ulkopuolella. Anti-blooming- ratkaisut voivat pudottaa

arvoa optimista . Erilaisilla teknisillä (esimerkiksi mikrolinssit) ja layout-ratkaisuilla

14

CMOS-tyyppisten sensoreiden täyttöaste-arvoja on pystytty parantamaan aina 70 %

saakka.

2.2.2 Kvanttihyötysuhde

kvanttihyötysuhde kertoo, kuinka monta elektronia kuvadiodille saapuva fotoni

vapauttaa. Saapuvan valon aallonpituuden lisäksi se riippuu sensorin ominaisuuksista,

CCD-sensoreilla suhde on 85 %, CMOS-antureilla jää alle puoleen tästä [30].

Samassa lähteessä käytetään tärkeänä suureena kvanttihyötysuhde x täyttöaste, joka kuvaa

sensorin vastaanottokykyä kokonaisuutena.

2.2.3 Vaste ( responsivity )

Vaste ( responsivity ) kuvaa, kuinka suuren jännitteen puolijohde-elementille lankeava

säteily aiheuttaa. Tällä ominaisuudella CMOS ottaa CCD-sensorin QE x FF -etumatkaa

kiinni, koska signaalia vahvistavat elementit on helpompi sijoittaa CMOS-rakenteeseen.

2.2.4 Vaihteluväli

Vaihteluväli ( dynamic range ) on suurimman valaistusarvon ( saturation – kyllästyminen)

ja pienimmän erottuvan arvon suhde. Koeolosuhteissa CCD:n dynamic range on

suuruusluokkaa kaksinkertainen verrattuna CMOS-sensoriin, koska CCD-sensorissa ei

synny sirussa itsessään olevista toiminnoista kohinaa yhtä paljon kuin CMOS-

sensoreissa. Tässä suhteessa CCD on selkeästi edellä.

2.2.5 Yhtenäisyys ( Uniformity )

Sensorin eri osille lankeavan säteilyn pitäisi tuottaa samantasoinen signaali.

Ideaalitapaukseen ei päästä, koska kaikki osat sensorissa eivät koskaan ole identtisiä. On

vielä erotettava toisistaan yhtenäisyys valaistuksen kirkkaassa ja tummassa päässä.

15

Alunperin CMOS-sensorit olivat molemmissa tapauksissa heikompia, koska joka

pikselissä olevat vahvistimet poikkesivat toisistaan sekä gain- että offset-arvoiltaan.

Tähän ratkaisuksi kehitettiin vahvistinrakenteita, jotka gain-arvoja pienentämällä pääsivät

lähemmäksi yhtenäistä tasoa kirkkaassa päässä.

Offset-arvojen epäyhtenäisyys tummassa päässä on edelleen ongelma CMOS-sensoreilla

verrattuun CCD-sensoreihin. Erityisesti suurnopeusvideoilla tämä on kriittistä, koska

valotusajat ovat rajallisia ja signaalien matala taso johtaa kuvien laadun heikkouteen.

2.2.6 Suljin

CCD-sensorissa suljin (shutter) voidaan toteuttaa elektronisesti tinkimättä

pikselikohtaisesta valoherkän osan (kuvadiodin) koosta – fill-factor pysyy optimaalisena.

CMOS-sensorissa voidaan saavuttaa lähes yhtä hyvä täyttöaste käyttämällä ”rolling

shutter”-menetelmää, jossa suljin toimii riveittäin. Nopeille kohteille tämä aiheuttaa

kuvan vääristymistä. Koko kuva-alan yhtäaikaisesti sulkeva ”non-rolling shutter”

joudutaan toteuttamaan pikselikohtaisella transistorilla, joka vähentää täyttöastetta.

Valinta jää käyttäjälle: edullinen, rolling shutter CMOS paremmalla täyttöasteella tai

kalliimpi, non-rolling-shutter huonommalla täyttöasteella ja parempi temporaalinen

erotuskyky.

2.2.7 Nopeus

Nopeuden suhteen CMOS on rakenteestaan – suurin osa komponenteista on samalla

sirulla - johtuen teoriassa jokseenkin ylivoimainen. Tämä teoreettinen etumatka on vielä

jossain määrin hyödyntämättä, koska valtaosa kehitystyöstä on ollut kuluttajille

suunnattujen, pienten ja edullisten sensorien tuomisessa käyttöön. CCD-sensoreilla on

tieteellisissä ja teollisissa sovelluksissa pitkä perinne, ja CCD-sensoreihin liittyen on

tehty paljon kehitystyötä, myös nopeuden lisäämiseksi.

16

2.2.8 Ikkunointi – kuvan rajaus

CMOS-sensorista voidaan varsin yksinkertaisesti lukea mielivaltainen alue kerrallaan,

koska jokainen pikseli tuottaa oman signaalinsa. Kuva-alueelta voidaan lukea esimerkiksi

eri resoluutioita eri alueelta. CCD-sensorilla osittelu täytyy tehdä riveittäin.

2.2.9 Antiblooming – ylivuodon estäminen

Ylivalottuneiden pikselien vuotaminen ympäristöön ei ole ongelma CMOS-sensorissa,

koska varaus ei siirry muiden pikseleiden kautta. CCD-sensorissa antiblooming täytyy

toteuttaa erikoisratkaisuilla, jotka pudottavat täyttöastetta.

2.2.10 Toimintojen ajoitus

CMOS-sensori toimii yhdellä kellotuksella ja tästä syystä käytännössä toimivampi, CCD-

sensorille tyypillistä jittering-ongelmaa ei synny.

2.2.11 Luotettavuus ja käyttö

Normaalioloissa ei voida katsoa sensorien luotettavuudessa ja toiminnassa olevan eroa.

Hyvin vaativissa olosuhteissa CMOS on mekaanisesti luotettavampi, koska sen

komponentit ovat samassa sirussa minimoiden liitosten määrän.

CMOS-sensori voidaan räätälöidä sovellukseen hyvin tarkasti, integroiden myös muita

elementtejä samalla sirulle, mahdollistaen hyvin kompaktin rakenteen verrattuna CCD-

sensoriin pohjautuvaan kameraan. Myös virrankulutus on CMOS-sensoriin pohjautuvissa

ratkaisuissa selkeästi pienempi.

17

2.2.12 Kustannusvertailu

Periaatteessa CMOS-sensorit ovat edullisempia, koska niitä voidaan valmistaa missä

tahansa normaalissa elektroniikan tuotantolaitoksessa, standardikomponenteista. CCD-

antureista valtaosa rakennetaan suurten kameratehtaiden omissa, pitkälle erikoistuneissa

tuotantolaitoksissa.

On syytä kuitenkin huomata, että korkean suorituskyvyn CMOS-sensori on räätälöity

tuote, joka pitää suunnitella ja valmistaa tiettyyn tarkoitukseen. Massatuotannosta johtuen

ne ovat selvästi edullisempia kuin CCD-sensorit ja tulevat valtaamaan alaa

nettikameroissa, kamerapuhelimissa ja yleensä kuluttajasovelluksissa. Vaativissa

sovelluksissa hinta-laatusuhde kallistuu vielä useimmissa tapauksissa CCD-sensorin

puolelle [26].

2.3 Kuvasensorien kehitysnäkymiä

CCD-sensorin etuna on pitkä historia (käytössä jo 70-luvun alusta ) ja vankka asema

teknillisessä ja tieteellisissä sovelluksissa. CCD-sensori on itsessään

standardikomponentti, jonka ympärille kootaan korkean suorituskyvyn omaava

kameraratkaisu.

Tulevaisuudessa CMOS-teknologian kehittämiseen tullaan käyttämään paljon resursseja,

ja erot sensorien välillä tulevat vähenemään. CMOS:sta seuraava askel on

APS - active pixel sensor - teknologia, jossa pikseliin lisätään yhä enemmän ja enemmän

älykkyyttä ja toiminnallisuutta, esim. 2D- liikkeen estimointi tai valotusajan säätäminen

(non-destructive multiple capture, kuva 2.3) kohteen osien mukaan dynamiikan

lisäämiseksi [19], [25], [9].

18

kuva 2.3 : APS- tekniikan havaintoesitys: Vasemmalla 4 kuvaa, kasvavin valotusajoin.

Oikealla yhdistetty, synteettinen kuva [9].

19

3. Liikkeen tyyppien taksonomia

3.1 Liikkeiden päätyypit

Kuvamittauksen kohteena oleva liike voidaan jakaa eri tyyppisiin liikkeisiin, jaottelun

puumalli on kuvassa 3.1. Päätyypit ovat 1) jäykän kohteen liike (rigid motion), jossa

kohteessa olevien piirteiden etäisyydet ja kulmat eivät muutu ja 2) muotoa muuttavan

kohteen liike (non-rigid motion).

Muotoa muuttavan kohteen liike voidaan jakaa rajoitettuihin ja yleisiin liikkeisiin.

liike

jäykän kappaleen liike muotoa muuttavan kohteen liike

rajoitetusti muotoa muuttavan kohteen liike

yleinen liike

paloittain jäykkä

lähes jäykkä

isometrinen

homoteettinen

konforminen

elastinen

virtaava

kuva 3.1 : liikkeen päätyyppien jaottelu puumallina [1].

20

3.1.1 Rajoitetut liikkeen tyypit

Rajoitetuissa liikkeen tyypeissä voidaan muodonmuutos jakaa eri ryhmiin rajoittavan

tekijän mukaan seuraavasti [1]:

● Paloittain jäykkä liike ( articulated motion) koostuu jäykkänä liikkuvista osista,

mutta kokonaisuus on muotoa muuttavaa liikettä

● Lähes jäykkä liike ( quasi-rigid ), jossa muutokset ovat hyvin pieniä. On

huomattava, että temporaalisen resoluution parantuessa riittävästi on kaikki liike

luokiteltavissa tähän ryhmään.

● Isometrinen liike, jossa etäisyydet pintaa pitkin säilyvät ennallaan ja pinnalla

olevien käyrien väliset kulmat säilyvät muuttumattomina

● Homoteettinen liike, jossa kohteen pinnan laajeneminen tai supistuminen on

yhtenäistä koko alueella

● Konforminen liike, jossa pinnalla olevien käyrien väliset kulmat säilyvät, mutta

niiden väliset etäisyydet muuttuvat

3.1.2 Yleiset liikkeen tyypit

Yleiset liikkeen tyypit ovat [1]:

● Elastinen liike, jossa oletuksena on selkeä jatkuvuus ja pehmeys muodonmuutoksessa

ja topologian säilyminen.

● Virtaava liike, jossa ei ole mitään rajoituksia, kohteen topologia voi muuttua ja

muutokset voivat olla äkillisiä, satunnaisia ja epäjatkuvia.

3.2 A priori-tiedon vaikutus

Liikkeen ja muodonmuutoksen määritykseen vaikuttaa myös oleellisesti, onko kohteesta

käytettävissä a priori-tietoa vai ei.

21

3.2.1 Liikkeen seuranta ilman a priori-tietoa kohteesta

Kohteen muodonmuutoksen ja liikkeen seuranta ilman a priori-tietoa kohteesta vaatii

piirteiden irrotusta ja temporaalista yhteensovitusta niiden sijainnin ja muodon

mahdollisesti muuttuessa mittauksen aikana. Jos mittaus halutaan automatisoida,

vaadittavat operaatiot ovat monimutkaisia, korkean tason prosesseja [1].

3.2.2 Liikkeen seuranta kohteen a priori-tiedon ja keinotekoisten piirteiden avulla

Liikkeen 3D-seurannan ongelmia on pyritty toteutetuissa koejärjestelyissä

yksinkertaistamaan eri tavoin. Erityisesti piirteiden erotuksen ja tunnistamisen

helpottamiseksi on kehitelty monenlaisia ratkaisuja Yksi yleisesti käytetty menetelmä on

käyttää MLD- tähyksiä ( moving light display - target ) kiinnitettyinä liikkeen tai

muodonmuutoksen kannalta oleellisiin kohtiin. Sovellusesimerkkinä ihmisen liikkeiden

tutkimus liikuntatieteissä tai ergonomian tutkimuksessa [44]. Sopivia, toisistaan erottuvia

tähyksiä voidaan luoda myös kuvioimalla pinta maalaamalla epäsäännöllinen spray-kuvio

[40] tai projisoimalla kuvioita tai pisteitä esimerkiksi laservalon avulla [32]. Robotin

toiminnanohjauksessa on laservalopisteillä ja erotuskuvilla luotu keinotekoisia tähyksiä

[14].

3.2.3 Rajoitukset ja oletukset mallintamisen apuna

Yleiskäyttöisiä algoritmeja ei liikkeen tunnistuksessa muotoa muuttaville, liikkuville

kohteille voida vielä esittää. Paljon käytetty oletus sovitustehtävän automatisoinnin

avuksi on ”small motion assumption”, eli peräkkäisten kuvien välillä liikkeestä johtuva

ero on pieni. Tässä on syytä huomata, että lisäämällä kuvausnopeutta mikä tahansa liike

voidaan teoriassa saattaa tämän oletuksen piiriin. Lisärajoituksia voidaan asettaa myös

liikkeen nopeudelle esimerkiksi olettamalla se vakioksi, tai suurimmille mahdollisille

22

kiihtyvyyksille joita kohteen osilla voi olla. Heuristisena oletuksena voi olla kohteen

osien sisäinen koherenssi liikkeen suhteen [1].

3.3 Piirteiden irrotus kohteesta

Mitenkään merkitsemättömien piirteiden irrottaminen itse kohteesta on vaativa tehtävä,

jossa tasapainoillaan piirteiden irrotuksen itsensä ja irrotettujen piirteiden eri kuvilla

yhteensovittamisen välillä. Jos piirteitä on liian paljon, piirteiden yksiselitteisyyden ja

sovitustulosten luotettavuuden varmistaminen on hankalaa, jos taas pyritään hakemaan

määrällisesti vähemmän laadultaan hyviä piirteitä, on itse piirteiden irrotus ja sopivien

valinta tuottaa vaikeuksia. Ongelmat ovat samankaltaisia kuin digitaalisen

fotogrammetrian kuvien piirrepohjaisessa yhteensovituksessa yleensä.

Piirteiden temporaalinen sovitus jakautuu kahteen päätyyppiin [1]: eksplisiittiseen ja

implisiittiseen.

3.3.1 Eksplisiittinen piirteiden sovitus

Eksplisiittisessä sovituksessa rajattu piirrejoukko erotetaan kuvasarjan kuvilta, ja

piirrejoukkoa yhteen sovitetaan kuvasarjassa kuvalta toiselle edeten. Tämä vastaa

piirrepohjaista yhteensovitusta kuvien välillä fotogrammetriassa, mutta sovitus on

temporaalinen spatiaalisen sijasta.

3.3.2 Implisiittinen piirteiden sovitus

Implisiittisessä sovituksessa piirteitä ei eroteta ollenkaan, vaan luodaan malli sisäisin

(esim. jatkuvuusoletukset) ja ulkoisin ( piirteiden energiasisältö) rajoituksin ja

optimoidaan sitä. Tämä vertautuu yleisen digitaalisen fotogrammetrian radiometriseen,

23

kuvapohjaiseen yhteensovitukseen. Kuvajoukkojen yhteensovituksen sijasta sovitus on

peräkkäisten kuvien välillä.

3.4 Kohteen liikkeen seuranta a priori-tietoa hyödyntäen

Elastisen tai rajoitetun liikkeen tapauksessa voidaan a priori-tietoa kohteesta hyödyntää

kuvaamalla liikettä joko kokonaisuudessaan tai osissa. Osiin jako voidaan tehdä

spatiaalisesti tai temporaalisesti osittaen, tai molemmilla tavoin. Liikettä voidaan a priori-

tietoa hyödyntäen kuvata parametrisillä tai fysikaalisilla malleilla [1].

3.4.1 Parametriset mallit

Parametriset mallit sopivat yksinkertaisempiin, erilaisilla oletuksilla rajoitettuihin

tapauksiin hyvin. Yksinkertaisimpia, ja siksi paljon käytettyjä, ovat erilaiset

polynomimallit. Pallot, sylinterit, kartiot ja yksinkertaiset toisen asteen pinnat ovat

yksinkertaisten muodonmuutosten ja liikkeiden kuvaukseen sopivia.

Harmoniset pallofunktiot sopivat hankalampien pintojen, ja paikallisten deformaatioiden

mallintamiseen. Käytännössä niillä on mallinnettu esimerkiksi sydämen toimintaa [6].

Splinimallit ovat yleinen tapa mallintaa käyriä ja pintoja matemaattisesti

tietokoneavusteisissa suunnittelujärjestelmissä. Niillä on paljon suotuisia ominaisuuksia

deformaation mallintamisen kannalta [17] ja niistä on johdettu fysikaalisiin malleihin

kuuluva snake-model.

3.4.2 Fysikaaliset mallit

Fysikaalisia malleja Aggarwal et al. [1] listaa mm. Snake-, balloon- , symmetry seeking,

deformable superquadrics, deformable templates ja modaaliset mallit.

24

Snake-malli koostuu aktiivisista käyristä jotka muuttavat muotoaan ulkoa annettujen

fysikaalisten muuttujien vaikutuksesta, sisäisten rajoitusten sallimissa rajoissa. Se

voidaan laajentaa kolmiulotteiseksi, jolloin puhutaan balloon-malleista. Malleja voidaan

vielä laajentaa Bayesin teoreeman avulla MAP- (maximum a posteriori ) ongelmaksi,

jolloin mallit alkavat siirtyä fysikaalisisten energiafunktioiden minimointiin perustuvista

malleista takaisin kohti matemaattisia, a posteriori -todennäköisyyksiä maksimoivia

malleja. Lääketieteen sovelluksissa kuten sydämen seinämien liikkeiden analysoinnissa

on käytetty tämän kaltaisia malleja.[1 ].

3.5 Käytännön liikemittauksista

3.5.1 Avainkohtien mittaaminen

Paloittain jäykässä liikkeessä topologisen a priori-tiedon ollessa saatavilla voidaan liike

mallintaa asettamalla tähykset nivelkohtiin tai muuten mittaamalla nivelkohtia.

Nivelkohtia voidaan myös tunnistaa jälkikäteen pelkän kuva-aineiston varassa.

3.5.2 Pintamalli

Edettäessä kohti vapaampia ja vaikeammin ennustettavia malleja tarvitaan yhä enemmän

ja enemmän tietoa kohteen eri kohdista, ääripäässä on kuvakorrelaatiolla mitattava

havaintogridi jolla estimoidaan pintoja koko kohteesta jokaisella (diskreetisti havaitulla)

ajan hetkellä. Vaikka tämä tapa ei ole matemaattisesti hienostunut eikä käytännössä

reaaliaikainen, on sillä epäilemättä sijansa kohteen muodon ja liikkeen muutoksia

tutkittaessa. Suuria datamääriä voidaan tiivistää topografisissa kartoituksissa ja

paikkatietojärjestelmissä käytetyillä menetelmillä.

25

3.5.3 Kohteen osittelu

Kohde voidaan myös jakaa osakohteisiin kunkin osan liiketyypin mukaisesti. Kuvan 3.2

esimerkin mukaisesti: osa a ei liiku, osa b taipuu, osa c1 liikkuu -> katkeaminen

(turbulentti vaihe, topologian muuttuminen) -> osa a ei liiku, osa b1 taipuu takaisin +, osa

b2 taipuu takaisin sekä liikkuu ja osa c2 liikkuu. Näillä kaikilla osilla on erilainen

liikkeen tyyppi eri vaiheessa, ja niiden mallintaminen tapahtuu mahdollisesti eri tavoin.

kuva 3.2 : kohteen jako osakohteisiin ko. osan liiketyypin mukaan.

3.5.4 Region, volume ja moment of interest

Paikkatieto- ja kuvankäsittelysovelluksista tuttu käsite on region of interest.

Dynaamisessa ilmiössä kohteesta voi erottaa region of interest (kuvalla) rajauksen lisäksi

myös ”volume of interest” tyyppisen rajauksen kohteessa, jos liike rajoittuu vain osaan

kohdetta.

Useissa ilmiöissä voidaan erottaa myös temporaalisesti ”moment of interest”, esimerkiksi

hauraan jäykän materiaalin rasituksessa voi mennä pitkiä aikoja ilman mitattavaa liikettä,

kunnes tapahtuu äkillinen, voimakas muutos.

26

4. Esimerkkejä kuvamittauksen käytännön sovelluksista

4.1 3D-mittaus yhdellä kameralla

Reaalinen, kolmiulotteinen kohde tallentuu kuvalle kuvauslaitteen muodostaman

projektion kautta kaksiulotteiseksi. Yhdellä kameralla ei kohteesta saada tietoa kuvatason

etäisyydestä kohteen eri pisteisiin ilman apuvälineitä. Tarpeellisina lisärajoitteina voivat

olla geometriset keinot, valaistuksen tiedot tai keinotekoinen pintakuvio, jonka

poikkeamat tunnetusta muodosta auttavat ratkaisemaan kohteen 3D-muodon. Kohteen

muodon muutos voidaan myös määrittää jos käytössä on kuvaelementin intensiteetin ja

sijainnin lisäksi myös heijastuneen säteilyn aallonpituus ja vaihe [18].

4.1.1 Geometrinen rajoitus

Yksinkertainen rajoitus kohteen liikkeen määrittämiseen on oletus, että kohde liikkuu

tasossa, joka on tunnettu suhteessa kuvatasoon. Useimmiten taso samansuuntainen

kuvatason kanssa, ja sen etäisyys kuvatasosta tunnetaan. Näin voidaan toteuttaa

yksinkertaisia liikeratamittauksia. Eri värisillä valopisteillä ja pitkillä valotusajoilla

saadaan liikkeestä irti useita viivamaisia kuviota yhdelläkin kuvalla.

Aina ei ole tarvetta monimutkaiseen konfiguraatioon; maalikameraa on käytetty 1932 Los

Angelesin olympialaisista lähtien. Nykyisinkin tekniikka on tässä selkeästi

temporaalisessa sovelluksessa lähes sama, streak-kamerasta on vain käytössä CCD-versio

filmikameran sijaan [11].

4.1.2 Pintakuvion käyttö

Heijastamalla tai muuten merkitsemällä jokin tunnettu kuvio kohteen pinnalle, voidaan

sen muoto määrittää. Moiré-kuvion käyttö on tunnettu esimerkki [21]. Myös kohteen

valaistuksen muutoksen avulla voidaan määrittää kohteen muotoa, mutta dynaamisiin

ilmiöihin se sopii huonommin.

27

4.1.3 Holografiset menetelmät

Holografisista menetelmistä lähinnä ESPI (Electronic Speckle Pattern Interferometry) on

ollut tutkijoiden ja käytännön soveltajien mielenkiinnon kohteena.

Huntley, Kaufmann ja Kerr esittelivät v. 1999 1000 fps nopeudella toimivan ESPI-

järjestelmän. Referenssisignaali tahdistettiin muuttamaan vaihetta, jotta jokaiselle kuvien

välille syntyisi vaihe-ero. Tällä järjestelmällä kyettiin 25 mikrometriä/s pinnan nopeuden

seurantaan, ja teoreettisesti arvioitiin sen kykenevän 67 mikronia/s nopeudella liikkuvan

pinnan seurantaan [15].

Kilpatrick et al. esittelivät järjestelmän, joka pystyy seuraamaan 3.2 mm/s nopeudella

liikkuvaa pintaa käyttäen kahta kameraa, toista normaalilla videotaajuudella ja toista aina

100 kHz taajuuteen saakka [22].

Trilion quality systems [40] käyttää Gom gmbh:n [39] kaupallista järjestelmää

teollisuuden laadunvalvontapalveluissa. Teknisiä tietoja laitteista:

28

Kuva 4.1: ESPI-mittausjärjestelmän tulosteita [39].

Sovellusalueiksi mainitaan esimerkiksi rakenteiden optimointi, materiaalien

käyttäytymisen mallinnus rasituksessa, käyttäytymisen mallinnus rasituksessa myös

hauraille materiaaleille, heterogeenisten materiaalien tutkimus, eri materiaalien

rajapintojen tutkiminen, sekä kerros-, komposiitti ja hunajakennomateriaalien ja

rakenteiden tutkimus.

Kuten teknisistä tiedoista käy ilmi, tutkittavan kohteen koko on perusjärjestelmässä

rajoitettu alle 60 cm kappaleisiin, isommille kohteille joutuu räätälöimään ratkaisuja.

Myös suurin mitattava pinnan liikkeen nopeus on rajoitettu, suurnopeuskameroita ei ole

perusmalleissa käytössä.

4.2 3D-mittaus kahdella kameralla

Vähintään kahta kuvaa käytettäessä voidaan kuvatason etäisyys kohteen eri pisteistä

määrittää suoraan kuvakoordinaateista kollineaarisuusehtoa käyttäen, kun käytössä on

kuvahavainnot riittävän suuresta määrästä kohdekoordinaatistossa tunnettuja pisteitä

[21],[23], tai kun kameroiden sijainti ja projektioparametrit on muuten määritetty.

29

4.2.1 Ortogonaalinen kamerakonfiguraatio

Kiinalainen Xian Aircraft Company tutki lentopommin käyttäytymistä lentokoneesta

irrotettaessa tuulitunnelin ja kahden 300 fps filmikameran avulla [7]. Koejärjestelyn

datumin origoksi valittiin pommin kiinnityskohta. X-akseli oli tuulitunnelin suuntainen ja

y-akseli tätä vastaan kohtisuora siten, että xz-taso oli horisontaalinen. Kamerat

orientoitiin hieman konventionaalisesta lähifotogrammetriasta poiketen siten, että

kamerat asetettiin origossa sijaitsevan teodoliitin avulla toinen täsmälleen x- ja toinen

täsmälleen y-akselille, kuvatasojen ollessa akselien suhteen kohtisuorassa ja pääpisteiden

sijaitessa akseleilla – kuvausjärjestelyä kutsutaan ortogonaaliseksi.

kuva 4.2 : kamerakonfiguraatio tuulitunnelikokeessa [7].

Kokeessa seurattiin jäykän kappaleen liikettä, eli pommin nopeutta eri akselien suunnassa

sekä sen asentoa valittujen pisteiden avulla.

Vaikka koejärjestelyn hyvällä suunnittelulla saatiin matemaattisesti yksinkertainen malli

kohteen mittaukselle, koeasetelmaan sisältyy myös riski, koska mitään kontrollia

orientoinnin säilymiselle ei ole kuvamittauksin havaittavissa kokeen aikana.

30

4.2.2 Aramis 3D-mittausjärjestelmä

Modernimpi lähestymistapa kahdella kameralla on esimerkiksi Gom gmbh:n aramis 3-d

mittaustyöasema jossa erilaisilla kameravaihtoehdoilla voidaan rakentaa erilaisia

paketteja tarpeen mukaan. Teknisiä tietoja [39]:

Perusmalleissa ei ole standardi videonopeusoptiota ( 6 – 24 fps ), mutta vaihtamalla

kameraa päästään jo suurnopeuksiin [39]:

31

Periaatteessa kamerat voidaan korvata tarpeen mukaan vielä nopeammilla tai muuten

suorituskykyisemmillä kameroilla. Lisäämällä kameroita ja optimoimalla niiden välisiä

konvergenssikulmia voidaan myös spatiaalista tarkkuutta parantaa

1 : 5000 tasolta.

4.2.3 Jäykän kappaleen liikkeen 3D-seuranta kuvamittauksella

Kamera Kamera

40 m

40 m

30 m 22,5 m

VTT:n laivatekniikan laboratoriossa toteutettiin tutkimusjärjestelmä vesialtaassa

liikkuvien jäykkien kohteiden – alusten pienoismallien – seurantaan tähysten avulla [3].

Järjestelmässä on kaksi PC-työasemaa, kaksi Pentax TM 560 videokameraa ja

videokaappauskorttia sekä kameroiden synkronointia säätävä ulkoinen voimanlähde.

Järjestelmän ohjelmisto rakennettiin Mapvision- ohjelman pohjalle. Ohjelmisto koostui

kalibrointiosasta sekä kuvankaappausosasta, jolla myös annettiin likiarvot tähyksille

kuvasarjan alussa. Varsinaiselle laskennalle kohteen 3D-liikkeen määrittämiseksi luotiin

oma ohjelmamoduuli.

Kamerat kalibroitiin liikuttelemalla kahta tähystä kolmiulotteisella 40m x 40m

koealueella tähysten korkeuden vaihdellessa välillä 0.5 – 2 m. Tähysten paikat

määritettiin EPLA-teodoliittimittauksin.

32

Koejärjestelyssä mitattiin koko 40 m x 40m aluetta, mutta paras mittausalue oli kooltaan

22,5 m x 30 m. Tällä alueella mittaustarkkuudeksi tuli stabiilille kohteelle

σx = 1.1 cm

σy = 0.8 cm

σz = 0.4 cm

ja liikkuvalle kohteelle

σx = 2.2 cm

σy = 1.8 cm

σz = 1.0 cm

4.3 3D-mittaus kolmella kameralla

4.3.1 Epipolaarigeometria

Yleinen kuvien automaattisessa yhteensovituksessa käytetty malli perustuu

epipolaarigeometriaan. Yhdellä kuvalla oleva piste kuvautuu jonnekin kameroiden

keskinäisestä orientoinnista ja kyseessä olevasta pisteestä määräytyvän epipolaaritason ja

toisen kuvatason leikkauksessa syntyvälle epipolaarisuoralle, jolloin vastinpisteen haku

toiselta kuvalta rajoittuu 1-ulotteiseksi [17]. Suoralla kuitenkin voi löytyä useita

ehdokkaita vastinpisteeksi, ja näin yksikäsitteistä ratkaisua ei löydy. Lisäämällä

konfiguraatioon kolmas kamera saadaan toisella kuvalla oleville kandidaateille

kolmannella kuvalla uudet suorat, joiden leikkauksia tutkimalla voidaan löytää

yksikäsitteinen ratkaisu.

33

kuva 4.3 : epipolaarigeometria kuvan 1 pisteen P paikantamisessa kuvilla 2 ja 3 [28].

4.3.2 Virtauksen määritys kolmella kameralla epipolaarigeometriaa hyödyntäen

Artikkelissa [28], Maas esitteli uudenlaisen järjestelmän virtauksen tutkimiseen.

Kokeessa virtaavaan, läpinäkyvään aineeseen lisättiin kooltaan 50 mikronin hiukkasia,

jotka olivat riittävän pieniä ollakseen muuttamatta virtausta, mutta valaistaessa tulivat

näkyviin. Ylipäästösuodatuksella kolmen kameran aikasynkronoidut kuvasarjat

muokattiin pistejoukoksi, jonka liikettä mitattiin.

Kolmella, keskenään n. 60° konvergenssikulmaan asetetulla Aqua TV HR 480 - ½”

frame-transfer ccd-videolla kuvattiin 15 x 15 x 2 cm aluetta 25 Hz taajuudella.

Kalibroinnissa, ennen ja jälkeen kuvauksen, käytettiin kahteen tasoon jaettuja 85

tunnettua tähystä virtauskanavassa. Kuvauslaite liikkui virtauksen mukana,

kuvausjärjestelyllä tutkittiin poikkeamaa normaalista suorasta virtauksesta.

Noin 900 löytyneen pisteen joukosta seuranta onnistui n. 700:lle hiukkaselle koko ajan.

Yksittäisen hiukkasen sijainnin määrityksen tarkkuus oli:

σx = 0.08 mm

σy = 0.09 mm (virtauksen suunta)

σz = 0.22 mm (syvyyssuunta)

34

Koska peräkkäiset mittaukset korreloivat keskenään, vektorien RMS-variaatio oli

pienempi, 0.028 mm, 0.055 mm ja 0.042 mm X,Y,Z suunnissa. Y-suunnan suurempi

virhe johtui luultavasti hieman epätasaisesti kulkevasta kuvauskelkasta.

Yhden kuvakolmikon laskentaan kului SUN 4 – työasemalla 30-40 sekuntia, käsittäen

kaikki vaiheet kuvankäsittelystä vektorien laskentaan. Polssonin työasemakronologia [33]

antaa SUN 4 työasemalle nopeudeksi 10 MIPS ( Million Instructions Per Second) ja

uudemmille vastaaville nopeudeksi annetaan 696 Specint2000- yksikköä joka vastaa ( 4 x

696 = ) likimain 2800 MIPSiä. Vaikka MIPS-arvo ei kerro suoraan suorituskykyä, Maasin

koejärjestelyn kaltainen mittaus reaaliaikaisena saattaa olla pian mahdollista.

4.4 Neljä kameraa ja enemmän

4.4.1 kameroiden määrän vaikutus mittaustarkkuuteen

Fraser [21] esittelee graafisesti useamman kameran konfiguraation vaikutusta

mittaustarkkuuteen kameroiden määrän ja niiden välisten konvergenssikulmien suhteen.

Neljän kameran optimaalisella asettelulla päästään 1 : 240 000 suhteelliseen tarkkuuteen

kun kuvamittauksen keskivirheenä pidetään 1.5 mikrometriä, ja kuvakoko 230 x 230 mm.

Laskelmassa on käytetty kameroita joissa on 240 mm polttoväli.

Digitaalikameroissa on yleisesti käytössä pienempi polttoväli ja kuvamittauksen

keskivirheen määräävä resoluutio on heikompi. Mapvision4D-lähifotogrammetria

järjestelmän neljän 756 x 576 pikselin CCD kameran konfiguraatiolla saadaan 200 x 200

x 100 mm kappaleelle 5 mikrometrin tarkkuus [32].

Kameroiden lisääminen parantaa tarkkuutta kameroiden määrän neliöjuuren suhteessa.

Konvergenssikulman suurentaminen parantaa tarkkuutta nopeasti Z-suunnassa, mutta

samalla uhrataan XY-suunnan tarkkuutta [21]. Lisäksi automaattisen piirteiden

tunnistuksen hankaloituminen kuvien geometrisesti erotessa paljon toisistaan ei kannusta

käyttämään voimakkaasti konvergoivia konfiguraatioita automaattisissa järjestelmissä .

35

4.5 Kameroiden synkronointi

Kameroiden määrän kasvaessa varsinkin suurnopeuskameroilla kameroiden

temporaalinen kalibrointi ja yhteensovitus tulee tärkeäksi. Vision Researchin Phantom

6.2e on esimerkki valmiista ratkaisusta 2-4 suurnopeuskameran synkronoituun käyttöön.

kuva 4.4 : phantom 6.2e multihead [36]

teknisiä tietoja phantom 6.2e:stä [36]:

36

4.6 Matemaattisia malleja ja laitteistoja tietokoneavusteiseen liikkeen

havainnollistamiseen

Tässä mainitut menetelmät, laitteet ja alustat eivät kaikki ole erityisesti

suurnopeuslaitteille sovitettuja. Laskennallisten menetelmien kannalta on kuitenkin

merkityksetöntä, onko kuvausnopeus 30 fps vai 1000 fps, laskenta tapahtuu peräkkäisten

kuvien välillä tai kokonaisten kuvasarjojen avulla. Reaaliaikaisuuskaan ei ole este

suurnopeuksissa, esimerkkinä Ishikawa-laboratorion sensor-fusion-projektin baseball-

robotti [42].

Hager ja Toyama [ 13] esittelevät X-visionin, alustan jonka päälle voi rakentaa

reaaliaikaisia konenäkösovelluksia. Käytännössä on toteutettu mm. eleisiin ja liikkeisiin

perustuva piirto-ohjelma ja liikkeen seurantaa.

4.6.1 Liikkeen määritys havaintomatriisin faktorisointimenetelmällä

Tan et al. ,[ 34], esittelee parannetun version Tomasin & Kanaden

singulaariarvohajotelmaan perustuvasta faktorisointimenetelmästä, jolla pystytään

määrittämään jäykän kohteen 3-d muoto ilman ennakkotietoa kameraparametreistä.

Parannettu menetelmä on iteratiivinen, spatiotemporaalista kuvahavaintomatriisia svd-

faktorisointimenetelmällä käsittelevä, ja se pystyy seuraamaan muotoaan muuttavaa

kappaletta ilman kamerakalibrointia.

kuva 4.5 : täyttyvä ja tyhjenevä tähyksillä varustettu ilmapallo kuvattuna kolmella

kameralla ja siitä spatiotemporaalisen havaintomatriisin faktorisoinnilla laskettu

muodonmuutos [36].

37

kuva 4.6 : faktorisointimenetelmällä luotu tikku-ukko malli makuulta nousevasta

ihmisestä [36].

38

4.6.2 DSS - Dynamic surfel sampling

Carceroni et al. ,[5], esittelevät menetelmää jota kutsuvat nimellä Dynamic Surfel

Sampling. Pikseleistä muodostetaan sijainnin, liikkeen, muodon, heijastuksen ja

näkyvyyden kautta yksiköitä joita kutsutaan nimellä ”surfel”. Näiden pintaelementtien

rekonstruoinnin ja yhteen liittämisen kautta syntyy koko järjestelmä dynaamiseen

pintaelementtien rekonstruointiin – dynamic surfel sampling. Menetelmä on kehitetty

matemaattiseksi pohjaksi liikkeen ja muodon määrittämiseksi elastisesti liikkuvasta

kohteesta ilman ennakkotietoa kohteesta.

kuva 4.7 : kaulan pintamalli päätä kääntävällä ihmisellä, rekonstruoitu DSS-menetelmällä

[5].

4.6.3 Kalman-suodatin

Lineaarisen prosessin seurannan avuksi kehitettiin 60-luvun alussa rekursiivinen,

prosessien stokastisen luonteen huomioiva laskentamenetelmä. Täyttä selvyyttä

laskentamallin ensimmäisestä kehittäjästä ei ole, mutta yleisesti viitataan R.E.Kalmanin

1960 julkaisemaan artikkeliin [20] ensimmäisenä esityksenä aiheesta.

Kalman esitti laskentamallin, jossa prosessin tilaa seurataan mittauksin, ennustaen

prosessin tulevaa tilaa edellisen havainnon ja tilansiirtomatriisin avulla. Kalman-suodatin

yhdistää mittausdatan ja mallin antaman informaatioin niiden luotettavuuteen suhteuttaen.

39

Koska suodattimen laskennassa käytetään vain edellisen laskentakierroksen lopullista

estimaattia, uutta havaintoa ja näiden variansseja, sekä vakiona pysyvää tilansiirtoa,

laskutoimitusten ja muistissa pidettävien muuttujien määrä pysyy pienenä. Tämä tekee

laskennasta nopeaa ja on-line -mittauksiin hyvin soveltuvaa.

Kuva 4.8 : Prosessin dynaaminen malli.

Tilaa seurataan havaintovektorin l avulla. Havaintomallin muodostaa yhdessä tilavektorin

ja havaintovektorin kanssa niiden välistä riippuvuutta kuvaava matriisi A. Todellisessa

prosessissa sekä prosessiin että havaintoon liittyy satunnaista virhettä, joita kuvaavat

vektorit w ja v. Näistä johtuen havaittu havainto lk poikkeaa prosessin ennustetusta

havainnosta Axk|k-1.

Kuva 4.9 : Dynaaminen malli ja havaintomalli sekä niiden erotus l. Innovaatiovektori.

lk on innovaatiovektori, joka edustaa havainnossa sitä osuutta, jota edellisen ennusteen

xk|k-1 avulla ei voi määrittää. Lopullista, a posteriori -estimaattia xk|k laskiessa pitää vielä

päättää, kuinka suurella painolla uutta havaintoa käytetään a priori -estimaatin

korjaamiseen. Korjauksen määrittävä päivitysmatriisi K voidaan määrittää tunnettujen

varianssien ja havaintomallin avulla:

K = (Σee k|k-1AkTAkΣee k|k-1Ak

T + Σvv k)-1

40

Φx

k-1

xk

++

(x0)

lk

Φxk-1

xk|k-1

+ +

(x0) wk

+

vk

A

Axk|k-1– lk= lk|k-1 – lk = lk

ja päivitetty estimaatti xk|k sekä varianssit Σee k|k lasketaan K-matriisin avulla:

xk|k = xk|k-1 + Kk(lk – Akxk|k-1)

Σee k|k = ( I – KkAk)) Σee k|k-1

K-matriisin laskennan työmäärä riippuu lähinnä havaintojen määrästä, joka määrää

käännettävän matriisin koon. Varianssimatriisit ja havaintomalli ovat jo tunnettuja.[17].

Kun dynaaminen malli, havaintomalli tai molemmat ovat epälineaarisia, puhutaan

laajennetusta Kalman-suodattimesta [35]. Vaikka alkuperäinen teoria perustui lineaarisiin

malleihin, on merkittävimmät sovellukset toteutettu epälineaarisilla malleilla. Yleensä

mallit pyritään linearisoimaan käyttäen mahdollisimman hyviä likiarvoja. Tässäkin

asiassa “small motion assumption” helpottaa hyvien likiarvojen löytämistä, eli

mahdollisimman tiheä havaintoväli mahdollistaa suuremman yksinkertaistamisen ja sitä

kautta kevyemmän laskennan [17].

41

5 ESPI : pienten dynaamisten muutosten mittaus holografialla

5.1 Perusteet

ESPI on lyhenne termistä Electronic Speckle Pattern Interferometry [38]. Se on

kontaktiton mittausmenetelmä staattisten ja dynaamisten deformaatioiden määritykseen.

Kohteen heijastaman säteilyn vaiheen muutoksista syntyvien intensiteettikuvioiden

vertailulla ennen deformaatiota ja sen jälkeen, tai kuvasarjalla deformaation aikana,

voidaan mitata jännityksiä, värähtelyiden amplitudia ja rakenteellisia energian siirtymisiä.

Mittaustarkkuus on riippuvainen kohteen valaisuun käytetyn (yleensä) laservalon

aallonpituudesta ollen sen murto-osia [38], [15]. Sovelluksia on käytetty erityisesti muun

muassa mekaniikan, materiaalitekniikan ja lujuusopin tutkimuksessa.

Alunperin koejärjestelmissä toistettiin yhtä kuvaa ottavaa mittausta, joka suoritettiin

useita kertoja peräkkäin aina eri viiveellä kokeen alkuhetkestä. On ilmeistä, että

tämänkaltainen koejärjestely ei sopinut kaikille kohteille. Toinen merkittävä tekijä oli

laskennallisella puolella, pelkästään spatiaalinen vaiheen purku kahden kuvan välillä ei

aina ole yksiselitteisesti tulkittavissa. Vaiheen purku voidaan suorittaa myös

temporaalisesti, kuvalta toiselle edeten, jolloin tarkkuus ja luotettavuus paranee.

Temporaaliseen vaiheen purkamiseen tarvitaan vähintään neljän kuvan sarja.

spatiaalinen vaiheen purku : kaksi kuvaa

temporaalinen vaiheen purku : vähintään neljä kuvaa

t

kuva 5.1 : spatiaalinen ja temporaalinen vaiheen purku.

42

5.2 Temporaalinen vaiheen purku

Yhdistämällä temporaalinen vaiheen purku ja vaiheen muuttaminen ( lisäämällä tunnettu

vaiheen siirto jokaiselle kuvalle) synkronoituna kuvauslaitteen kuvaustaajuuteen voidaan

jokaista kuvapikseliä käsitellä itsenäisenä ”havaintolaitteena” [15].

Yhden pikselin intensiteetti riippuu kohteesta tulevan ja referenssiaallon vaihe-erosta

seuraavasti:

I t =I rI o2 I r⋅I o⋅cosΦ t (5.1)

Kun jokaiselle kuvavälille luodaan ylimääräinen, tunnettu vaiheen siirto intensiteetti

muodostuu seuraavasti:

I t =I rI o2 I r⋅I o⋅cosΦ t φ t (5.2)

Kaavoissa 5.1 ja 5.2 I(t) on pikselin intensiteetti hetkellä t, Ir on referenssisäteen

intensiteetti, I0 kohteesta tulevan säteen intensiteetti, Φ(t) vaihe-ero Ir:n ja I0:n välillä ja φ

(t) lisätty vaiheen siirto.

kuva 5.2 : ESPI kuvausjärjestely temporaaliseen vaiheenpurkuun sovitettuna.

43

CCD

Laser

Peili

peili

Säteen hajoitus

kohde

Säteen jako Säteen hajoitus

Ir I0

vaiheensiirto

Vaihe pikselissä, jonka koordinaatit ovat x,y voidaan ratkaista kolmen kuvan sarjasta

seuraavasti [8]:

φ x , y =tan−1[ I 3 x , y −I 2 x , y I 1 x , y −I 2 x , y ] , (5.3)

missä In (x,y) on kuvien n,n+1 ja n+2 intensiteettiarvo kohdassa x,y.

5.3 Spatiaalinen vaiheen purku

Muuttamalla kuvausjärjestelyä voidaan vaiheen purku suorittaa myös spatiaalisesti.

Herkkää mekaanista vaiheensiirtotoimintoa ei tarvita, sen sijaan käännetään viimeistä

säteet yhdistävää puolipeiliä, jotta referenssisäde osuisi kameraan eri kulmassa kuin

kohteesta heijastuva.

Säteen jako Ir

I0

CCD Säteen yhdistäminen

Laser

Säteen hajoitus

kohde

kuva 5.3 : kuvausjärjestely spatiaaliseen vaihepurkuun sovitettuna

Pikseli

CCD

Referenssi säde Kohteesta

heijastuva säde

- 120 °

+120 ° 0 °

edestä päin:

Speckle

kuva 5.4 : Säteiden muodostaman aaltorintaman peruskuvio.

44

Lisäksi kamera on tarkennettu siten, että yhden specklen koko on kolme pikseliä tai

enemmän. Näillä järjestelyillä pikselin xn,y vaiheeksi saadaan [4]:

φ xn , y =tan−1[3I xn−1 , y −I xn1 , y

2 I xn , y −I xn1 , y −I xn−1 , y ]mod π (5.4)

laskemalla vaihe kolmen vierekkäisen pikselin intensiteettiarvoista, kun aaltorintamien

välinen kulma on 120°.

5.4 Vaihepuretun aineiston käsittely

kuva 5.4: Esimerkki vaihepuretusta kuvasarjasta

Vaihepuretulle kuvalle suoritetaan lopuksi tulkinta, jossa vaihepuretun kuvan arvot

muunnetaan vastaamaan aallonpituudesta laskettavaa muutosta. Jatkuvilla,

aallonpituuden määrityskyvyn rajoissa pysyvillä kohteilla tulkinta on laskettavissa, mutta

epäjatkuvuudet tai liian suuret muutosnopeudet vaikeuttavat tulkintaa. Erityisesti

temporaalinen vaiheenpurku on hyvin herkkä ympäristön muutoksille, kuten ilman

väreilylle lämpötilojen muuttuessa.

Taulukossa on spatiaalisen ja temporaalisen vaiheenpurkumenetelmän vertailua:

Temporaalinen vaiheen purku Spatiaalinen vaiheen purku• Tarkka • Vähemmän tarkka• vähintään neljän kuvan sarja • kaksi kuvaa• ei juuri kohinaa • runsaasti kohinaa• hyvin herkkä ympäristön muutoksille • stabiilimpi• parempi erotuskyky • huonompi erotuskyky• sisältää herkkää mekaniikkaa • vain optiikka

45

X

-2.44 18.80

40.04 61.28

82.51 103.75

Y

122.02 92.32

62.62 32.91

3.21 -26.49

Z

0.00 0.70 1.41 2.12 2.83 3.53

Fringe-kuva

-

Tulkittu 3d-muoto

6. Johtopäätökset

Suurnopeusfotogrammetria on olemassa. Sen voi löytää useistakin konenäön ja 3D-

kuvamittauksen sovelluksesta. Ishikawa-laboratorioiden sensor-fusion projekteissa on jo

rakennettu robottijärjestelmiä, joissa koko laitteen vasteaika visuaaliseen ärsykkeeseen –

kohteen kolmiulotteiseen liikkeeseen – on millisekunnin luokkaa.

Erikseen määriteltynä suurnopeusfotogrammetriaa ei varsinaisesti kirjallisuudesta

löytynyt. Kuva-aineistosta suoritettavien mittausten periaate säilyy samana riippumatta

kuvanottotiheydestä. Nopeampien kameroiden avulla voidaan tutkia nopeampia ilmiöitä,

tai helpottaa automaattisen mittauksen suorittamista ja ohjelmistojen laatimista, mutta

3D-mittauksen keskeiset lainalaisuudet ovat voimassa.

Liikkeen tyyppien taksonomian kautta löytyy mielenkiintoinen ajatus lähes jäykän

kappaleen liikkeestä: kasvattamalla kuvaustiheyttä voidaan periaatteessa mikä tahansa

liike saattaa tämän oletuksen piiriin. Tuloksena on ”small motion assumption”-ehdon

täyttymisen mahdollistaminen kuvausnopeutta kasvattamalla. Vaikka itse tutkittava ilmiö

ei välttämättä nopeutensa puolesta vaadi erityisen nopeaa kuvausta, voi automaattisen

liikkeentunnistuksen ja mittauksen kannalta olla edullista kuvata tutkittava ilmiö suurella

nopeudella, varsinkin tutkittavan liikkeen ollessa tyypiltään jäykän kappaleen liikettä

monimutkaisempaa.

Osaa tässä työssä esitellyistä rtp- ja muiden mittausten esimerkeistä voidaan pitää

vanhentuneina. Ongelmat siirrettäessä laitteistojen suorituskyvyn rajoja automaattisessa

mittauksessa ovat tekniikan kehittyessä kuitenkin usein samankaltaisia, kuin aiemmin

alaa tutkineiden jo kertaalleen taklaamat. Rajoitukset muistissa, datan siirtonopeudessa,

levytilassa ja prosessointinopeudessa ovat edelleenkin olemassa, suuruusluokka on vain

toinen.

Suurnopeusfotogrammetrian voi erottaa omaksi osa-alueeksi lähifotogrammetriassa, yhtä

lailla kuin suurella nopeudella toimivat kamerat ja videot erotetaan normaaleista

kameroista ja videoista.

46

7. Lähdeluettelo

[1] Aggarwal, J. K. Nonrigid Motion Analysis: Articulated and Elastic Motion,

COMPUTER VISION AND IMAGE UNDERSTANDING

Vol. 70, No. 2, May 1998.

[2] Bengtsson, M Luentomateriaali : Digital Bildalstrande System, 2004.Centrum för bildanalys, UppsalaUniversitet.http://www.cb.uu.se/~ewert/kurs.html

sivulla käyty 13.12.2004

[3] Broman, H Tredimensionell positionsbestämning av ett rörligt föremål,

Diplomityö, Fotogrammetrian ja kaukokartoituksen

laboratorio, Teknillinen Korkeakoulu 1997.

[4] Burke, J et al. Messung schnell veränderlicher Verformungen mit

räumlich phasenschiebender elektronischer Specklemuster-

Interferometrie (ESPI). Z. Angew. Math. Mech. 78, 1998.

[5] Carceroni, R et al. From Video Streams to Non-Rigid 3D-Motion, Shape and

Reflectance, International Journal of Computer Vision 49

(2/3) 2002.

[6] Chen, C. W. et al Surface modeling in heart motion analysis, Proceedings of

SPIE Vol 1610,1991.

[7] Chen, J. et al. Three-dimensional high speed photographic survey for

bomb dropping in wind tunnel, Proceedings of SPIE Vol.

1032 part 1, 1988.

[8] Creath, K Phase-measurement interferometry: Beware these errors,

Proceedings of SPIE Vol. 1553, 1992.

47

[9] El Gamal, A. Trends in CMOS Image Sensor Technology and Design,

Invited Talk at IEDM 2002, Dec. 2002.

[10] El-Hakim, S.F. A Real Time system for object measurement with CCD

cameras, International Archives of Photogrammetry and

Remote sensing Vol. 26, part 5 1986.

[11] EtherLynx PRO http://www.finishlynx.com/, sivulla käyty 13.12.2004

[12] Gilblom, D.L. et al. Infrared and ultraviolet imaging with a CMOS sensor

having layered photodiodes. SPIE/ISA Electronic Imaging

2004 - January 18-22, 2004 - San Jose California, USA .

[13] Hager,G. et al. A Portable Substrate for Real-Time Vision Applications,

Computer Vision and Image Understanding, Vol 69. No.

1,1998.

[14] Haggrén, H. On System Development of Photogrammetric Stations for

On-Line Manufacturing Control. Acta Polytecnica

Scandinavia Ci 97. Helsinki 1992.

[15] Huntley, J. et al. Phase Shifted Dynamic Speckle Pattern Interferometry at 1

kHz, Applied Optics Vol 38 No. 31, Nov. 1999.

[16] Hyzer, W.G. The Eye, The Film, and Video In High Speed Motion

Analysis, Proceedings of SPIE Vol. 674 part 1, 1986.

[17] Inkilä, K Analyyttinen fotogrammetria, luentomateriaali, TKK/M

Otaniemi, 2004.

48

[18] Jain, R. et al. Machine vision. McGraw-Hill, 1995.

[19] Kagami et al. A Software-Controlled Pixel-Level A-D Conversion

Method for Digital Vision Chips, 2003 IEEE Workshop on

Charge-Coupled Devices and Advanced Image Sensors

Elmau, Germany - May 2003.

[20] Kalman, R. E. A New Approach to Linear Filtering and Prediction

Problems. Transactions of the ASME – Journal of Basic

Engineering, 82 (Series D), March 1960.

[21] Karara,M et al. Non-Topographic Photogrammetry, 2nd edition, American

society for photogrammetry and remote sensing, 1989.

[22] Kilpatrick, J.M. et al. Measurement of Complex Surface Deformation by High-

Speed Dynamic Speckle Pattern Interferometry, Optics

Letters Vol. 25 No. 15, 2000.

[23] Kraus, K Photogrammetry Vol. 1, 4th edition, Ferd. Dummlers

Verlag, Bonn 1993.

[24] Li, W et al. Determination of the deformation of the bridge model in

real time with CCD solid state camera, Proceedings of

SPIE Vol. 1395 part 2. 1990.

[25] Li, Z. et al. Design and Implementation of a Smart Image Sensor with

2D Motion Vector Estimation, Procedings of SPIE vol.

3649, 1999.

49

[26] Litwiller, D CCD vs. CMOS:Facts and Fiction, PHOTONICS

SPECTRA,January 2001,Laurin Publishing Co. Inc.

[27] Lunn, G.H. High Speed Photography in The United Kingdom,

Proceedings of SPIE vol.1032 part 2, 1988.

[28] Maas, H Digital Photogrammetry for Determination of Trace

Particle Coordinates in Trbulent Flow Research,

Proceedings of SPIE Vol. 1395 part 1, 1990.

[29] Maas, H. High-Speed Solid State Camera Systems for Digital

Photogrammetry, The International Archives of

Photogrammetry and Remote Sensing, Vol. XXIX, 1992.

[30] Meynants G. et al. CMOS active pixel image sensor with CCD performance,

proceedings of SPIE, vol. 3410, 1998.

[31] Namiki A. et al High Speed Grasping Using Visual and Force Feedback,

Proc. IEEE Int. Conf. on Robotics and Automation, Detroit,

Proceedings, 1999.

[32] Niini, I On The Calibration of Mapvision 4D System, The

International Archives of Photogrammetry and

RemoteSensing and Spatial Information Sciences, Vol. 34,

Part 3A, Graz, Austria 2002.

[33] Polsson, K Chronology of Workstation Computers,

http://www.islandnet.com/~kpolsson/workstat/

sivulla käyty 13.12.2004

50

[34] Schenk,T Digital photogrammetry 1 : Background, fundamentals,

automatic orientation procedures, Laurelville (OH) :

TerraScience, 1999.

[35] Sorenson, H. W. Least Squares Estimation: From Gauss to Kalman. IEEE

Spectrum, vol 7, July 1970.

[36] Tan, J et al. Deformable Shape Recovery by Factorization Based on a

Spatiotemporal Measurement Matrix, Computer Vision and

Image Understanding 82, 2001.

[37] Vision Research Inc. www.visiblesolutions.com, Phantom v9.0 esite, 2004.

[38] Wykes & Jones Holographic and Speckle Interferometry, 2nd edition,

Cambridge University Press 1989.

[39] www.gom.com, sivulla käyty 13.12.2004

[40] www.trilion.com, sivulla käyty 13.12.2004

[41] http://www.jyvaskyla.fi/historia/nakymat/muuttuva.htm

sivulla käyty 13.12.2004

[42] High-Speed Batting Using a Multi-Jointed Manipulator,

http://www.k2.t.u-

tokyo.ac.jp/fusion/HighspeedBatting/index-e.html

sivulla käyty 13.12.2004

51

[43] Using remote sensing technology as a tool for hazards

planning and damage assessment :

http://www.csc.noaa.gov/products/nchaz/htm/ccap2.htm

sivulla käyty 13.12.2004

[44] www.arielnet.com, sivulla käyty 13.12.2004

52