aineistojen käsittely ja jalostaminen · 2016. 6. 15. · kansalliskirjasto – digitointi- ja...
TRANSCRIPT
KANSALLISKIRJASTO – Digitointi- ja konservointikeskus
Aineistojen
käsittely ja jalostaminen
Tuula Pääkkönen
Tietojärjestelmäasiantuntija
Liikearkistopäivät 30.9.-1.10.2015, Mikkeli
http://urn.fi/URN:NBN:fi-fe2015092714084
orcid.org/0000-0003-3958-9732
KANSALLISKIRJASTO – Digitointi- ja konservointikeskus
Turun akatemia
Keisarillinen Aleksanterin yo
1640
1828
1990 Digitointi- ja
Konservointi-
keskus
Lähde: http://www.kansalliskirjasto.fi/yleistieto/kirjastotietoutta/historia.html
2015 #KK375
1707 Vapaakappalelaki
Kansalliskirjasto, Helsingin Yliopiston
erillislaitos
KANSALLISKIRJASTO – Digitointi- ja konservointikeskus
Sisältö
1. Aineistot
2. Käsittely
3. Jalostaminen
THE NATIONAL LIBRARY OF FINLAND
KANSALLISKIRJASTO – Digitointi- ja konservointikeskus
Moninaiset aineistot
Timo Honkela, 11.3.2014, Digitaalisen humanismin tutkimuksesta ja uusista
liiketoimintamahdollisuuksista
KANSALLISKIRJASTO – Digitointi- ja konservointikeskus
http://digi.kansalliskirjasto.fi
Digitaaliset aineistot
3,2M sivua,
60% vapaassa
verkkokäytössä 6M, 20% 130k, 100%
KANSALLISKIRJASTO – Digitointi- ja konservointikeskus
Käsittely
KANSALLISKIRJASTO – Digitointi- ja konservointikeskus
Raakadatasta viisaudeksi
Data
Informaatio
Tietämys
Viisaus
Kuka,
Mitä,
Milloin
Missä? Kuinka? Miksi?
Käännetty alkuperäisestä Lähde (Forsythe,
Implementing KM, Part I: Concepts & Approach)
Konte
ksti
Ymmärrys
KANSALLISKIRJASTO – Digitointi- ja konservointikeskus
Moninaiset käyttäjäryhmät
Kansalaiset
Taiteilijat
Opettajat
Tutkijat
Toimittajat
Informaatikot
Päätöksen-
tekijät
Digitaaliset
aineistot
Museot
Arkistot
Kirjastot
Yliopistot
Yhdistykset
Media
Kunnat
Valtio
Yritykset
Timo Honkela, 11.3.2014, Digitaalisen humanismin tutkimuksesta ja uusista liiketoimintamahdollisuuksista
THE NATIONAL LIBRARY OF FINLAND
Lähde: Kohti avointa kulttuuria, Sanna Marttila & Laura Sillanpää, http://avoinglam.fi/opas.pdf
KANSALLISKIRJASTO – Digitointi- ja konservointikeskus
Joukkoistaminen
THE NATIONAL LIBRARY OF FINLAND
Kuvaaja: Tuula Pääkkönen, 2015
KANSALLISKIRJASTO – Digitointi- ja konservointikeskus
Miksi digitoida?
Vaikuttavuus
Monikanavaisuus
Datan rikastaminen *
Brändi
Uudenlaiset rahoitusmallit
Löydettävyys *
Uudet asiakkaat
Julkinen tehtävä *
Osaamisen kasvattaminen
Onnekkaat sattumat
Lähde: Benefits of open data (image by
JAM/Europeana. CC BY via
http://mw2013.museumsandtheweb.com/p
aper/open-culture-data-opening-glam-data-
bottom-up/
KANSALLISKIRJASTO – Digitointi- ja konservointikeskus
Tekstinlouhinta
“Sehän on tiedon hakua algoritmilla”
Kyllä, ja…
Keino löytää merkityksiä suurista tekstimassoista
automaattisesti
Käytetään yleensä tilastollisia ohjelmia, jotka etsivät
tekstimassoista toistuvia hahmoja tai malleja
Luokittelu
Tapahtumat, henkilöt, paikat -> Linkitetty data!
Sentimenttianalyysi
…
KANSALLISKIRJASTO – Digitointi- ja konservointikeskus
Haku tekstimassasta/lähiluku
Kirjoita hakutermi, ja hae
• julkaisuaika
• Sanomalehden nimi
• fraasi
• Etc.
“Tehokkuusero
digitoitujen hakujen ja
paperihakujen välillä
on todella
päätähuimaava!”
KANSALLISKIRJASTO – Digitointi- ja konservointikeskus
Haaste: sivutekstimöykky
mt'">6>? * * *? " ». »*.Tm?'^?mffmmraor-N:o 0^* HELSINGIN SANOMATVastaava toimitta ia: Paavo Warén.Kuudesti viikossa ilmestyvä aamulehti.Helsingissä, torstaina heinäkuun 7 p.PälvällBt2.Helsingin posti immlstot pidetään»voin! a : r äanostikor.ttoriiiläklevien postien toimisto: arkipäivinäklo II) a. p. ? « i, p., aimn- ja juhlapiiiv. klo 9?ll a. p.Tulevien postien toimislo: arki/iiivinäklo 8 a. p. ? (? i. p., sunii -ja juulapäiv. klo o? ll a. p.Postiosotusten ja po>tis:i;istöpankin Kmi.it ii, arkipäivinä klo 10 a. p. ? 7p., sunn.- ja juhlapäivinä klo il ? 11a. p.Frankkomorkkcjä myydään arkipäivinäklo 7 a. p. ? 10 i. p., suun.- ja juhla{.uv. klu 7 a. p. 11 a. p ja ?>,?><?> -7,30 i, p.POStiuV MGtBulevardinkatu 28, arkipäivinä klo 10a. p, ? 3 i, p. 4 G i. p., tunnun,- jajuhlapäiv. klo B?lo8 ? 10 a. p.Vuorimiehenkatu 1, arkipäivinä klo 10a. p, ? i, p. 4 ? li i. p,, sunn- jajuhlapäiv. klo ? 10 a. p.Kaivokatu (i, yksinkertaisten ja sis.liinkirj. lälietysten sekä vakuuttainaUomien pakettien vastaanottamista varten: arkipäivinä klo 7,3(J 'J,3H a. p.2-3 ja 4,30? K,10 i. p., sunn.- ja juhlapäiv. klo 7.30? i),30 a. p.Frankkoincrkkicn myymistä vartiMi. arkipäivinä klo 7,:)0 a. p.? 8.10 i. p.sunn.- ja juhlapäivinä klo I,'M) 'J,30
Mikä tämä on?
Mistä lehdestä?
Mikä on lehden rakenne?
KANSALLISKIRJASTO – Digitointi- ja konservointikeskus
Sanojen analysointia
ja [WORD_ID=ja][POS=PARTICLE][SUBCAT=CONJUNCTION][SUBCAT=COORDINATING]
Vwerst +?
Lumantin +?
armosa +?
ollen
[WORD_ID=olla][POS=VERB][VOICE=ACTIVE][INFINITIVE=E][NUMBER=SI
NGULAR][CASE=INSTRUCTIVE]
Herran
[WORD_ID=Herra][POS=NOUN][SUBCAT=PROPER][NUMBER=SINGULAR][CASE=GENITIVE]
Kiitos!
https://github.com/flammie/omorfi
KANSALLISKIRJASTO – Digitointi- ja konservointikeskus
Jalostaminen tuotteita &
sovelluksia
Lähde: Accessibility by public transport predicts
residential real estate prices
Fig 5. http://ceur-ws.org/Vol-1392/paper-09.pdf
KANSALLISKIRJASTO – Digitointi- ja konservointikeskus
Tuotteita
Source: https://pbs.twimg.com/media/CPf3S1EWIAADz6t.jpg:large
Source:
http://melissaterras.blogspot.fi/20
14/10/reuse-of-digitised-content-
2-heres-one.html
KANSALLISKIRJASTO – Digitointi- ja konservointikeskus
Sanoitusten analyysiä
Lähde: http://mining4meaning.com/2015/02/13/raplyzer/
Shakespeare
Eminem
KANSALLISKIRJASTO – Digitointi- ja konservointikeskus
Kettunen, Honkela, Linden, Kauppinen, Pääkkönen & Kervinen 2014
Fraktuuramerkit itseorganisoivalla kartalla
KANSALLISKIRJASTO – Digitointi- ja konservointikeskus
Datasta eteenpäin
Talletettua, digitoitua aineistoa voi
jalostaa eteenpäin
Käsittelyn ja jalostamisen vaatimukset
Aineisto
Digitointi/digitaalisuus
Standardit (esim. METS/ALTO)
Analyysi (yksityiskohdat/massa)
Lähiluku & tiedonlouhinta
KANSALLISKIRJASTO – Digitointi- ja konservointikeskus
Tulevia tapahtumia / EU koodiviikko
Kansalliskirjasto osallistuu EU:n Koodiviikko-tapahtumaan
viikonloppuna: 10.-11.10.2015
Paikka : MAMK/Xinno, Mikkeli