samla samfunnsdokumentasjon digital bevaring og ... · både archivematica og atom er basert på...

39
Arne-Kristian Groven SAMDOK-konferansen 2017 Samdok samla samfunnsdokumentasjon DELPROSJEKT Privatarkiv Digital bevaring og tilgjengeliggjøring Erfaringer med AtoM og Archivematica

Upload: others

Post on 20-May-2020

6 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: samla samfunnsdokumentasjon Digital bevaring og ... · Både Archivematica og AtoM er basert på internasjonale standarder!! •Pakkestruktur –ISO 14721:2012, Open Archival Information

Arne-Kristian Groven SAMDOK-konferansen 2017

Samdok

samla samfunnsdokumentasjon

DELPROSJEKT

Privatarkiv

Digital bevaring og tilgjengeliggjøring Erfaringer med AtoM og Archivematica

Page 2: samla samfunnsdokumentasjon Digital bevaring og ... · Både Archivematica og AtoM er basert på internasjonale standarder!! •Pakkestruktur –ISO 14721:2012, Open Archival Information

Litt om meg selv…

• Seniorrådgiver på Riksarkivet, siden 2011.

• Bakgrunn fra Universitetet i Oslo (IT/informatikk), Norsk Regnesentral, Institutt for energiteknikk/Halden Reactor Project.

• Har nå arbeidet med digital «records management» og langtidsbevaring av digitalt arkivmateriale i ca. 10 år.

• Var i 2014 kursansvalig i kurset ARK2000, Digitalt depot, ved Høgskolen i Oslo og Akershus

Arne-Kristian Groven, 2017

Page 3: samla samfunnsdokumentasjon Digital bevaring og ... · Både Archivematica og AtoM er basert på internasjonale standarder!! •Pakkestruktur –ISO 14721:2012, Open Archival Information

Prosjekt-gruppa

• Oppgave PRIV 10_Metodikk for høsting og langtidslagring av privatarkiv • Ellen Røsjø (leder) (Riksarkivet) – [email protected] • Arne Kristian Groven, RA (Riksarkivet / fagressurs) –

[email protected] • Martin Ellingsrud (Arbark) – [email protected] • Pål Mjørlund (Fylkesarkivet i Oppland i samarb. m OPAM) –

[email protected] • Stig Brunstad (Bergen byarkiv) – [email protected] • Torkel Thime (Statsarkivet i Stavanger/NOGA Norsk olje- og gassarkiv) –

[email protected] • Per Kristian Ottersland (Riksarkivet) – [email protected] • Jørgen Ø. Vik-Strandli (Riksarkivet) – [email protected] • Rolf Petter Waage (Stokke AS / referanseressurs) – [email protected]

Arne-Kristian Groven, 2017

Page 4: samla samfunnsdokumentasjon Digital bevaring og ... · Både Archivematica og AtoM er basert på internasjonale standarder!! •Pakkestruktur –ISO 14721:2012, Open Archival Information

Digital bevaring og tilgjengeliggjøring: Hvor står vi i dag?

• Fremdeles umodent fagområde internasjonalt

– Men gode faglige nettverk og stadig bedre løsninger

• Liten kompetanse i arkiv-Norge

– Men samarbeid igangsatt, eksempelvis i SAMDOK

• Få løsninger i produksjon i Norge

– Selv om gode løsninger finnes internasjonalt

Arne-Kristian Groven, 2017

Page 5: samla samfunnsdokumentasjon Digital bevaring og ... · Både Archivematica og AtoM er basert på internasjonale standarder!! •Pakkestruktur –ISO 14721:2012, Open Archival Information

Kvalitetsutfordringer ved mangelfull/feil verktøystøtte

• Tradisjonelt mye manuelt arbeid, “klipp og lim”

– Stor feilrisiko

• Dårlig sporbarhet, logging av manipulasjonene på materialet

– Dette svekker tillit!

– Hvordan kan opprinnelse (autentisitet) dokumenteres?

– Hvordan kan uautoriserte manipulasjoner forhindres?

Arne-Kristian Groven, 2017

Page 6: samla samfunnsdokumentasjon Digital bevaring og ... · Både Archivematica og AtoM er basert på internasjonale standarder!! •Pakkestruktur –ISO 14721:2012, Open Archival Information

Andre kvalitets- og tidsutfordringer

• Tidsforbruket er (for) høyt

– Dager og uker ofte

• Større variasjon i tilnærming

– Klarer skjelden manuelt å gjenta operasjonene

• Liten tid til tilgjengeliggjøring

– Bevaring tar all tid

– Mangler gode verktøy som er enkle å bruke

Arne-Kristian Groven, 2017

Page 7: samla samfunnsdokumentasjon Digital bevaring og ... · Både Archivematica og AtoM er basert på internasjonale standarder!! •Pakkestruktur –ISO 14721:2012, Open Archival Information

Prosjekt-mål: Bli kjent med to presumptivt gode verktøy-kandidater

Arne-Kristian Groven, 2017

Page 8: samla samfunnsdokumentasjon Digital bevaring og ... · Både Archivematica og AtoM er basert på internasjonale standarder!! •Pakkestruktur –ISO 14721:2012, Open Archival Information

Hva jeg nå vil vise dere

• Bevaring og tilgjengeliggjøring av et bildearkiv fra Union i Skien

• Vi vil først vise hvordan det ser ut i visningsomgivelsen AtoM

• Deretter hvordan det kom dit, via Archivematica

• Til slutt vil vi oppsummere noen av våre erfaringer

Arne-Kristian Groven, 2017

Page 9: samla samfunnsdokumentasjon Digital bevaring og ... · Både Archivematica og AtoM er basert på internasjonale standarder!! •Pakkestruktur –ISO 14721:2012, Open Archival Information

ATOM (ACCESS TO MEMORY): ARKIVBESKRIVELSER OG VISNING AV DIGITALT ARKIVMATERIALE

Arne-Kristian Groven, 2017

Page 10: samla samfunnsdokumentasjon Digital bevaring og ... · Både Archivematica og AtoM er basert på internasjonale standarder!! •Pakkestruktur –ISO 14721:2012, Open Archival Information

AtoM (Access to Memory)

• Web-basert grensesnitt

• Arena for arkivbeskrivelser og visning

• Visningspakker, kan importeres til AtoM fra Archivematica

Arne-Kristian Groven, 2017

Page 11: samla samfunnsdokumentasjon Digital bevaring og ... · Både Archivematica og AtoM er basert på internasjonale standarder!! •Pakkestruktur –ISO 14721:2012, Open Archival Information

Basert på beskrivende standarder

• Depotinstitusjoner

– ISDIAH standarden

• Arkivskaper (“authority records”)

– ISAAR(CPF) standarden

• Arkivmaterialet

– ISAD(G) standarden

• DC osv.

Arne-Kristian Groven, 2017

Page 12: samla samfunnsdokumentasjon Digital bevaring og ... · Både Archivematica og AtoM er basert på internasjonale standarder!! •Pakkestruktur –ISO 14721:2012, Open Archival Information

Beskrivelse av arkivinstitusjon, ISDIAH

Arne-Kristian Groven, 2017

Page 13: samla samfunnsdokumentasjon Digital bevaring og ... · Både Archivematica og AtoM er basert på internasjonale standarder!! •Pakkestruktur –ISO 14721:2012, Open Archival Information

Beskrivelse av arkivskaper, ISAAR(CPF)

Arne-Kristian Groven, 2017

Page 14: samla samfunnsdokumentasjon Digital bevaring og ... · Både Archivematica og AtoM er basert på internasjonale standarder!! •Pakkestruktur –ISO 14721:2012, Open Archival Information

Oversikt over bildesamlingen

Arne-Kristian Groven, 2017

Page 15: samla samfunnsdokumentasjon Digital bevaring og ... · Både Archivematica og AtoM er basert på internasjonale standarder!! •Pakkestruktur –ISO 14721:2012, Open Archival Information

Deler av bildesamlingen

Arne-Kristian Groven, 2017

Page 16: samla samfunnsdokumentasjon Digital bevaring og ... · Både Archivematica og AtoM er basert på internasjonale standarder!! •Pakkestruktur –ISO 14721:2012, Open Archival Information

Visning med arkivbeskrivelse, ISAD(G)

Arne-Kristian Groven, 2017

Page 17: samla samfunnsdokumentasjon Digital bevaring og ... · Både Archivematica og AtoM er basert på internasjonale standarder!! •Pakkestruktur –ISO 14721:2012, Open Archival Information

Visning av bilder

Arne-Kristian Groven, 2017

Page 18: samla samfunnsdokumentasjon Digital bevaring og ... · Både Archivematica og AtoM er basert på internasjonale standarder!! •Pakkestruktur –ISO 14721:2012, Open Archival Information

ARCHIVEMATICA: BEARBEIDELSE AV DIGITALT ARKIVMATERIALE FOR LANGTIDSBEVARING OG VISNING

Arne-Kristian Groven, 2017

Page 19: samla samfunnsdokumentasjon Digital bevaring og ... · Både Archivematica og AtoM er basert på internasjonale standarder!! •Pakkestruktur –ISO 14721:2012, Open Archival Information

Både Archivematica og AtoM er basert på internasjonale standarder!!

• Pakkestruktur

– ISO 14721:2012, Open Archival Information System (or OAIS)

• Struktur av innhold

– METS

• Strukturert logg

– PREMIS

• Dublin Core m.m.

Arne-Kristian Groven, 2017

Page 20: samla samfunnsdokumentasjon Digital bevaring og ... · Både Archivematica og AtoM er basert på internasjonale standarder!! •Pakkestruktur –ISO 14721:2012, Open Archival Information

Last inn digitalt innhold

Arne-Kristian Groven, 2017

Page 21: samla samfunnsdokumentasjon Digital bevaring og ... · Både Archivematica og AtoM er basert på internasjonale standarder!! •Pakkestruktur –ISO 14721:2012, Open Archival Information

Fjerner fil- «rusk», unike identifikatorer, sjekksummer, METS fil, karantene, virussjekk…

METS:

• Metadata Encoding and Transmission Standard

• Beskriver struktur

• Kan inneholde PREMIS:

• Preservation metadata maintainence activity

• Strukturert logg

Arne-Kristian Groven, 2017

Page 22: samla samfunnsdokumentasjon Digital bevaring og ... · Både Archivematica og AtoM er basert på internasjonale standarder!! •Pakkestruktur –ISO 14721:2012, Open Archival Information

METS-XML koden

Arne-Kristian Groven, 2017

Page 23: samla samfunnsdokumentasjon Digital bevaring og ... · Både Archivematica og AtoM er basert på internasjonale standarder!! •Pakkestruktur –ISO 14721:2012, Open Archival Information

Filtype identifikasjon

• Velg program for å identifisere filtyper

Arne-Kristian Groven, 2017

Page 24: samla samfunnsdokumentasjon Digital bevaring og ... · Både Archivematica og AtoM er basert på internasjonale standarder!! •Pakkestruktur –ISO 14721:2012, Open Archival Information

Avleveringspakken er klar

• SIP – En informasjonsstruktur definert i ISO 14721:2012, Open Archival

Information System (OAIS)

– SIP= Submission Information Package

– På norsk «avleveringspakke» eller «mottakspakke»

Arne-Kristian Groven, 2017

Page 25: samla samfunnsdokumentasjon Digital bevaring og ... · Både Archivematica og AtoM er basert på internasjonale standarder!! •Pakkestruktur –ISO 14721:2012, Open Archival Information

Forbered materialet for visning og/eller langtidsbevaring

Arne-Kristian Groven, 2017

Page 26: samla samfunnsdokumentasjon Digital bevaring og ... · Både Archivematica og AtoM er basert på internasjonale standarder!! •Pakkestruktur –ISO 14721:2012, Open Archival Information

Regelstyrt filkonvertering

Arne-Kristian Groven, 2017

Page 27: samla samfunnsdokumentasjon Digital bevaring og ... · Både Archivematica og AtoM er basert på internasjonale standarder!! •Pakkestruktur –ISO 14721:2012, Open Archival Information

Gjennomgang av resultatene før endelig godkjenning…

Arne-Kristian Groven, 2017

Page 28: samla samfunnsdokumentasjon Digital bevaring og ... · Både Archivematica og AtoM er basert på internasjonale standarder!! •Pakkestruktur –ISO 14721:2012, Open Archival Information

Kan integreres med mange ulike «content management» systemer, inklusiv AtoM (Access to Memory)

Arne-Kristian Groven, 2017

Page 29: samla samfunnsdokumentasjon Digital bevaring og ... · Både Archivematica og AtoM er basert på internasjonale standarder!! •Pakkestruktur –ISO 14721:2012, Open Archival Information

ERFARINGER

Arne-Kristian Groven, 2017

Page 30: samla samfunnsdokumentasjon Digital bevaring og ... · Både Archivematica og AtoM er basert på internasjonale standarder!! •Pakkestruktur –ISO 14721:2012, Open Archival Information

Det store bildet

• AtoM:

– Ser et stort potensiale hva gjelder arkivbeskrivelser og visning på samme flate

• Archivematica:

– Ser store tidsbesparelser i forhold til dagens praksis,

– og har større tillit til sluttproduktet grunnet verktøyets kontroll og sporbarhet

Arne-Kristian Groven, 2017

Page 31: samla samfunnsdokumentasjon Digital bevaring og ... · Både Archivematica og AtoM er basert på internasjonale standarder!! •Pakkestruktur –ISO 14721:2012, Open Archival Information

Positive erfaringer

• Programmene gjør depotinstitusjoner ikke avhengig av proprietære systemer og leverandører.

• Selv om installering kan koste (litt) penger, er programmene gratis å bruke. Dette er et viktig poeng for arkivinstitusjoner med begrensede budsjetter.

• Programmene lette og intuitive å bruke. • Programmene har mange brukere, noe som gjør at flere kan snakke

sammen om felles utfordringer. • Institusjonene kan altså selv være med å påvirke utviklingen. • Programmer (generelt) er i konstant utvikling, med stadig nye

versjoner, noe som gjør at programmene forbedres kontinuerlig. Det er stor åpenhet fra leverandør, Artefactual Systems, om hva som kommer.

• Artefactual Systems er svært løsningsorienterte og gode å samarbeide med.

Arne-Kristian Groven, 2017

Page 32: samla samfunnsdokumentasjon Digital bevaring og ... · Både Archivematica og AtoM er basert på internasjonale standarder!! •Pakkestruktur –ISO 14721:2012, Open Archival Information

Flere positive erfaringer

• Programmene følger OAIS-rammeverket; Hele ISAD(G)-standarden er implementert i AtoM, noe som legger til rette for rikere arkivbeskrivelser enn det som er vanlig i norsk kontekst.

• Flere andre standarder er implementert i AtoM, også biblioteksstandarder. Vi anser dette som et gode, siden det kan medføre at ulike typer materiale kan presenteres for brukeren i samme system (Arbark er også et bibliotek).

• Det er mulig å fange den opprinnelige orden til et fil- og mappearkiv, for så å bevaringsvurdere og ordne arkivet senere.

• Det er mulig å utvikle egen bevaringspolitikk (det vil si handlinger i programmet, for eksempel formatkonvertering).

• Altså er Archivematica høyst konfigurerbart. • - Det skal være mulig å innarbeide integritetssjekker

Arne-Kristian Groven, 2017

Page 33: samla samfunnsdokumentasjon Digital bevaring og ... · Både Archivematica og AtoM er basert på internasjonale standarder!! •Pakkestruktur –ISO 14721:2012, Open Archival Information

Negative erfaringer

• Integrasjonen mellom Archivematica og AtoM – Litt spredt dokumentasjon på dette området – Noen slet og lykkes til slutt, andre søkte hjelp: 7,5 times teknisk

support fra Artefactual Systems

• Tekniske kompetansebehov – Dette henger sammen med at programmene kun er kjørbare på

Ubuntu/Linuxplattform

• Norske bokstaver/tegn inngår (foreløpig) ikke i tegnsettingsstandarden i standardversjonen i Archivematica, – Noe som skapte problemer for oss i vår testfase.

• Rapporteringsfunksjonene i Archivematica er dårlige. – Rapporter kan være svært praktiske i bevaringssammenheng

Arne-Kristian Groven, 2017

Page 34: samla samfunnsdokumentasjon Digital bevaring og ... · Både Archivematica og AtoM er basert på internasjonale standarder!! •Pakkestruktur –ISO 14721:2012, Open Archival Information

Hvordan redusere de negative momentene

• Archivematica og Atom er fri programvare/åpen kildekode

• Med noe teknisk kompetanse kan en løse problemer selv, og spille det inn til leverandør

• Eller, betale litt for at leverandør utvikler ønsket funksjon

Arne-Kristian Groven, 2017

Page 35: samla samfunnsdokumentasjon Digital bevaring og ... · Både Archivematica og AtoM er basert på internasjonale standarder!! •Pakkestruktur –ISO 14721:2012, Open Archival Information

Aksess og gjenfinning

• AtoM har mange forskjellige predefinerte roller for tilgang: forsker, bidragsyter, redaktør, oversetter og administrator. – En bruker kan ha ulike roller, eksempelvis administrator og

oversetter – AtoM. Det er mulig å lage egne brukergrupper også

• Emnetilgangen via emneord og geografi er spesielt godt integrert i portalen. – Begge disse er på portalen like fremtredende som

provenienstilgang (altså søk i arkivbeskrivelser/-kataloger).

• I AtoM er det mulig å finne fram til materiale ved å søke etter funksjoner. Etter vår mening er – dette et interessant alternativ til tradisjonelle søkeinnganger

som emne og navn.

Arne-Kristian Groven, 2017

Page 36: samla samfunnsdokumentasjon Digital bevaring og ... · Både Archivematica og AtoM er basert på internasjonale standarder!! •Pakkestruktur –ISO 14721:2012, Open Archival Information

Kvalitet og tidsbesparelser

• Tradisjonelt har enhver deloperasjon foregått ved manuelt arbeid, og mye “klipp og lim”

• Her skjer det automatisert, med bruk av internasjonale standarder og strukturert logging

• Tillit til materialet skapes, gjennom denne sporbarheten som dokumenterer manipulasjonene gjort på materialet

• Tidsforbruket blir redusert fra dager og uker til timer og minutter

Arne-Kristian Groven, 2017

Page 37: samla samfunnsdokumentasjon Digital bevaring og ... · Både Archivematica og AtoM er basert på internasjonale standarder!! •Pakkestruktur –ISO 14721:2012, Open Archival Information

En utfordring til dere

• Last ned og test disse verktøy selv!

• Bygg kompetanse på standarder i eget hus!

– METS, PREMIS, OAIS, DC, ISAD(G), ISAAR(CPF), ISDIAH

• Arkiv-Norge kan ikke vente på at Riksarkivet finner gode løsninger for dere

• Men vi kan samarbeide om å finne dem!

Arne-Kristian Groven, 2017

Page 38: samla samfunnsdokumentasjon Digital bevaring og ... · Både Archivematica og AtoM er basert på internasjonale standarder!! •Pakkestruktur –ISO 14721:2012, Open Archival Information

Hva vi konkret vil gjøre videre

• Vi skal arbeide videre med disse teknologiene i 2017, i regi av SAMDOK og med fokus på privatarkiv

• Først og fremst skal Access to Memory, AtoM, utforskes videre

• Vi vil også sammenligne AtoM med andre løsninger, eksempelvis Arkivportalen

• Dersom noen av dere vil være med på dette så meld deres interesse!

Arne-Kristian Groven, 2017

Page 39: samla samfunnsdokumentasjon Digital bevaring og ... · Både Archivematica og AtoM er basert på internasjonale standarder!! •Pakkestruktur –ISO 14721:2012, Open Archival Information

Takk for meg!

[email protected]

Arne-Kristian Groven, 2017