illustrationer fra digitalbevaring.dk kulturarv i petabytes · • de enkelte ben – kender deres...

KLAUS KJÆRGAARD | BJARNE [email protected] | [email protected]

Kulturarv i Petabytes

”Det Nationale Bitmagasin”Bjarne Andersen, sektionsleder IT-bevaring

Klaus Kjærgaard, sektionsleder IT-drift

Illustrationer fra digitalbevaring.dk

mailto:[email protected]�



Agenda

• Introduktion til Statsbiblioteket• Bitbevaring – er det backup ?• Bitmagasin-projektet• Teknisk infrastruktur på Statsbiblioteket• Bitbevaring som forretningsområde• Spøgsmål




Statsbiblioteket

• Institution under Kulturministeriet• Ca. 230ÅV – heraf ca. 45ÅV i IT (20%)

• Nationalbibliotek sammen med KB– Statens Mediesamling– Statens Avissamling– Netarkivet (med KB)

• Pligtaflevering




Digital kulturarv

• Statens Mediesamling– Radio/TV

• ca. 1.150 Tbytes – tilvækst på 350 Tbytes/år

• Netarkivet: • ca. 300Tbytes – tilvækst på 70Tbytes/år

• Statens Avissamling:• Tilvækst på ca. 250Tbytes/år de næste 3 år

• Totalt• Ca. 1.600 Tbytes – tilvækst på 6-700 Tbytes/år




Bitbevaring – er det backup ?• Vi kræver mere en storage/backup

– Autenticitet• Vi skal kunne garantere at materialet er 100% identisk

– Flere kopier af al materiale• Normalt 3 kopier – fordelt på forskellige teknologier

– Adskilte kopier• På fysisk adskilte lokationer• Organisatorisk adskilt

– Løbende tjek af alle kopier– Løbende migrering til nye systemer

• Trusted repository (ISO 16363)– Kræver god dokumentation af alle facetter / rutiner /

opgaver




Det Nationale Bitmagasin

• Strategiprojekt i 2008-2009 mellem SA, KB og SB– Finansieret af Kulturministeriet

• Afdækning af overordnede krav– Kilder & mængder– Integritet– Tilgængelighed– Fortrolighed




Integritet

• Handler primært om sikkerhed

• Men handler ret hurtigt også om økonomi




Tilgængelighed

• Handler primært om performance

• Men ret hurtigt også om økonomi




Fortrolighed

• Handler også om sikkerhed

• Kan også blive dyrt• Der kan være lovkrav hos organisationer




Implementeringsprojektet

• Overordnet arkitektur baserer sig på koncept om ”ben med kopier”

• Mange typer• Flere lokationer




Arkitektur

• Ben• Koordinerende lag• Protokol• Klienter• Services




Ben-karakteristika• De enkelte ben

– kender deres eget indhold– har autoritativ og komplet viden om deres eget indhold. – kun kender til deres eget indhold– er ”interne” i forhold til bitmagasinet

• 3 typer af ben– Basal storage – kan være disk, bånd, optiske medier, …..– Processing storage – tilknyttet CPU-kraft til databehandling– Afledt storage – indeholder kun checksummer

• På de 3 institutioner findes der allerede flere forskellige typer




Koordinerende lag

• Valg faldet på JMS– Java Message Service– Afprøvet Standard– Simpel logik– Klient-libraries i mange teknologier– Asynkron kommunikation

• Konkret bruges ActiveMQ




Protokol

• Basalt set en XML-besked-definition• Input / Output mellem alle operationer• Hvilke ben kan hvad• Minimums API til fx ben• Sikkerhed vha. certifikater• Collection-settings – per samling• Kan udvides efter behov




Services

• Status service– Overvåger et bitmagasins komponenter

• Alarm service– Komponenter (fx ben) kan rapportere alarmer

• Integrity service– Tjekker indhold på ben - automatisk

• AuditTrail service– Opsamler information på alle ben om alle

operationer




Klienter

• Applikationer der snakker med bitmagasin• Snakker altid over det koordinerende lag• Vil blive udviklet til forskellige formål

– Get– Put– AuditTrail– Integrity– Processing– Kommandolinje / Web-services

• Kan udvikles i mange forskellige miljøer




Det Nationale Bitmagasin

• Tages i brug November 2012 på SB• Open Source projekt

– https://sbforge.org/display/BITMAG• 3 partnere fortsætter samarbejdet

– Udviklingsprojekt– Styregruppe– Ressourcer

• Flere interesser fra både ind- og ud-land



https://sbforge.org/display/BITMAG�


Teknisk infrastruktur på Statsbiblioteket

Bitbevaring som forretningsområde




Teknisk infrastruktur på Statsbiblioteket




Maskinstuen i SkejbyDen ene del af vores magasin befinder sig i vores magasin i Skejby

Vi har en 10 Gbit fiberforbindelse, der forbinder maskinstuen i Skejby med maskinstuen på SB

Argumenterne for Skejby er geografisk og organisatorisk spredning

Kan rumme både on-line, near-line ben og off-line ben




Magasindele i maskinstuen i SkejbyNitrogenslukning - aspirationsaktiveretBåndrobot fra ADIC segmenteret i 2, så den kan indeholde både off-line ben og produktionsbackup på hhv. LTO5 og LTO3Diske fra EMC




Oracle SC3000Vores nyeste robot5 TB bånd med løfte om 10 TB Near-line ben




BrandslukningenVi valgte nitrogen fordi det er naturligt forekommende og ufarligt for menneskerIltindholdet i luften sænkes til 5%




Maskinstuen på Statsbiblioteket

Kælderplacering bagved bibliotekets skalsikringKun adgang for udvalgte medarbejdere med kort og pinkodeAPC-kube med varm/kold gadeFrikøling ved temperaturer under 14 graderNitrogenslukningAspirationsalarmeringDiske fra EMC til on-line benSUN-robot LTO3 til off-line benSAN10 Gbit forbindelse til maskinstuen i SkejbyUPS til ca. 40 minutter ved 100%

Statsbiblioteket




APC-kubenAlt er skruet i kuben bortset fra robotten




BåndrobotL700 opgraderet til LTO3-teknikOff-line ben




RumslukningNitrogenbaseret




UPSEaton Powerware80 stk. bilbatterier




Brandskabe til off-line ben5 skabe på Statsbiblioteket3 skabe i Skejby




Brandskab

Der er 13 hylder med 6 rækker á 15 bånd1170 LTO3- eller LTO5 bånd468 TB ved LTO31755 TB ved LTO5




Opsummering i principtegning af bitmagasinet




Bitbevaring som forretningsområde




Realiseret og prognose for unikke dataVækst

til og med 2010 2011 2012 2013 2014 2015 2016 2017

Radio/TV 790 250 292 307 322 338 355 373Netarkivet 180 75 90 108 130 156 187 224SB andet (musik, eventide, cd, reklamefilm, retro,..) 141 30 30 30 30 30 30 30Aviser 0 100 200 200 260 0 0KB 12 8 8SA 35 20 20LARM De hvide programmer 0 10DR DAT-samling 0 22I alt vækst 1158 415 540 645 682 784 572 627

Akkumuleret

til og med 2010 2011 2012 2013 2014 2015 2016 2017

Radio/TV 790 1040 1332 1639 1961 2299 2653 3026Netarkivet 180 255 345 453 583 738 925 1149SB andet (musik, eventide, retro,..) 141 171 201 231 261 291 321 351Aviser 0 0 100 300 500 760 760 760KB 12 20 28 28 28 28 28 28SA 35 55 75 75 75 75 75 75LARM De hvide programmer 0 10 10 10 10 10 10 10DR DAT-samling 0 22 22 22 22 22 22 22I alt akkumuleret 1158 1573 2113 2758 3439 4223 4794 5421




• Der kommer flere og flere eksterne kunder

• Statens Arkiver og Det Kgl. Bibliotek var de første

• Aalborg Stadsarkiv, Københavns Stadsarkiv og Museum Sønderjylland blev de næste

• Lige nu laver vi tilbud til Dansk Filminstitut om at tage 435 TB ind efterfulgt af en årlig tilvækst på 315 TB




PrislistePriserne på near-line er faldet, hvilket endnu ikke er afspejlet på vores hjemmeside, hvor dette indhold er sakset fra.http://www.statsbiblioteket.dk/produkter/Facts_Bitbevaring.pdf




Spørgsmål



illustrationer fra digitalbevaring.dk kulturarv i petabytes · • de enkelte ben – kender deres...

Documents