illustrationer fra digitalbevaring.dk kulturarv i petabytes · • de enkelte ben – kender deres...

KLAUS KJÆRGAARD | BJARNE ANDERSENkk@statsbiblioteket.dk | bja@statsbiblioteket.dk

Kulturarv i Petabytes

”Det Nationale Bitmagasin”Bjarne Andersen, sektionsleder IT-bevaring

Klaus Kjærgaard, sektionsleder IT-drift

Illustrationer fra digitalbevaring.dk

Agenda

• Introduktion til Statsbiblioteket• Bitbevaring – er det backup ?• Bitmagasin-projektet• Teknisk infrastruktur på Statsbiblioteket• Bitbevaring som forretningsområde• Spøgsmål

Statsbiblioteket

• Institution under Kulturministeriet• Ca. 230ÅV – heraf ca. 45ÅV i IT (20%)

• Nationalbibliotek sammen med KB– Statens Mediesamling– Statens Avissamling– Netarkivet (med KB)

• Pligtaflevering

Digital kulturarv

• Statens Mediesamling– Radio/TV

• ca. 1.150 Tbytes – tilvækst på 350 Tbytes/år

• Netarkivet: • ca. 300Tbytes – tilvækst på 70Tbytes/år

• Statens Avissamling:• Tilvækst på ca. 250Tbytes/år de næste 3 år

• Totalt• Ca. 1.600 Tbytes – tilvækst på 6-700 Tbytes/år

Bitbevaring – er det backup ?• Vi kræver mere en storage/backup

– Autenticitet• Vi skal kunne garantere at materialet er 100% identisk

– Flere kopier af al materiale• Normalt 3 kopier – fordelt på forskellige teknologier

– Adskilte kopier• På fysisk adskilte lokationer• Organisatorisk adskilt

– Løbende tjek af alle kopier– Løbende migrering til nye systemer

• Trusted repository (ISO 16363)– Kræver god dokumentation af alle facetter / rutiner /

opgaver

Det Nationale Bitmagasin

• Strategiprojekt i 2008-2009 mellem SA, KB og SB– Finansieret af Kulturministeriet

• Afdækning af overordnede krav– Kilder & mængder– Integritet– Tilgængelighed– Fortrolighed

Integritet

• Handler primært om sikkerhed

• Men handler ret hurtigt også om økonomi

Tilgængelighed

• Handler primært om performance

• Men ret hurtigt også om økonomi

Fortrolighed

• Handler også om sikkerhed

• Kan også blive dyrt• Der kan være lovkrav hos organisationer

Implementeringsprojektet

• Overordnet arkitektur baserer sig på koncept om ”ben med kopier”

• Mange typer• Flere lokationer

Arkitektur

• Ben• Koordinerende lag• Protokol• Klienter• Services

Ben-karakteristika• De enkelte ben

– kender deres eget indhold– har autoritativ og komplet viden om deres eget indhold. – kun kender til deres eget indhold– er ”interne” i forhold til bitmagasinet

• 3 typer af ben– Basal storage – kan være disk, bånd, optiske medier, …..– Processing storage – tilknyttet CPU-kraft til databehandling– Afledt storage – indeholder kun checksummer

• På de 3 institutioner findes der allerede flere forskellige typer

Koordinerende lag

• Valg faldet på JMS– Java Message Service– Afprøvet Standard– Simpel logik– Klient-libraries i mange teknologier– Asynkron kommunikation

• Konkret bruges ActiveMQ

Protokol

• Basalt set en XML-besked-definition• Input / Output mellem alle operationer• Hvilke ben kan hvad• Minimums API til fx ben• Sikkerhed vha. certifikater• Collection-settings – per samling• Kan udvides efter behov

Services

• Status service– Overvåger et bitmagasins komponenter

• Alarm service– Komponenter (fx ben) kan rapportere alarmer

• Integrity service– Tjekker indhold på ben - automatisk

• AuditTrail service– Opsamler information på alle ben om alle

operationer

Klienter

• Applikationer der snakker med bitmagasin• Snakker altid over det koordinerende lag• Vil blive udviklet til forskellige formål

– Get– Put– AuditTrail– Integrity– Processing– Kommandolinje / Web-services

• Kan udvikles i mange forskellige miljøer

Det Nationale Bitmagasin

• Tages i brug November 2012 på SB• Open Source projekt

– https://sbforge.org/display/BITMAG• 3 partnere fortsætter samarbejdet

– Udviklingsprojekt– Styregruppe– Ressourcer

• Flere interesser fra både ind- og ud-land

Teknisk infrastruktur på Statsbiblioteket

Bitbevaring som forretningsområde

Teknisk infrastruktur på Statsbiblioteket

Maskinstuen i SkejbyDen ene del af vores magasin befinder sig i vores magasin i Skejby

Vi har en 10 Gbit fiberforbindelse, der forbinder maskinstuen i Skejby med maskinstuen på SB

Argumenterne for Skejby er geografisk og organisatorisk spredning

Kan rumme både on-line, near-line ben og off-line ben

Magasindele i maskinstuen i SkejbyNitrogenslukning - aspirationsaktiveretBåndrobot fra ADIC segmenteret i 2, så den kan indeholde både off-line ben og produktionsbackup på hhv. LTO5 og LTO3Diske fra EMC

Oracle SC3000Vores nyeste robot5 TB bånd med løfte om 10 TB Near-line ben

BrandslukningenVi valgte nitrogen fordi det er naturligt forekommende og ufarligt for menneskerIltindholdet i luften sænkes til 5%

Maskinstuen på Statsbiblioteket

Kælderplacering bagved bibliotekets skalsikringKun adgang for udvalgte medarbejdere med kort og pinkodeAPC-kube med varm/kold gadeFrikøling ved temperaturer under 14 graderNitrogenslukningAspirationsalarmeringDiske fra EMC til on-line benSUN-robot LTO3 til off-line benSAN10 Gbit forbindelse til maskinstuen i SkejbyUPS til ca. 40 minutter ved 100%

Statsbiblioteket

APC-kubenAlt er skruet i kuben bortset fra robotten

BåndrobotL700 opgraderet til LTO3-teknikOff-line ben

RumslukningNitrogenbaseret

UPSEaton Powerware80 stk. bilbatterier

Brandskabe til off-line ben5 skabe på Statsbiblioteket3 skabe i Skejby

Brandskab

Der er 13 hylder med 6 rækker á 15 bånd1170 LTO3- eller LTO5 bånd468 TB ved LTO31755 TB ved LTO5

Opsummering i principtegning af bitmagasinet

Bitbevaring som forretningsområde

Realiseret og prognose for unikke dataVækst

til og med 2010 2011 2012 2013 2014 2015 2016 2017

Radio/TV 790 250 292 307 322 338 355 373Netarkivet 180 75 90 108 130 156 187 224SB andet (musik, eventide, cd, reklamefilm, retro,..) 141 30 30 30 30 30 30 30Aviser 0 100 200 200 260 0 0KB 12 8 8SA 35 20 20LARM De hvide programmer 0 10DR DAT-samling 0 22I alt vækst 1158 415 540 645 682 784 572 627

Akkumuleret

til og med 2010 2011 2012 2013 2014 2015 2016 2017

Radio/TV 790 1040 1332 1639 1961 2299 2653 3026Netarkivet 180 255 345 453 583 738 925 1149SB andet (musik, eventide, retro,..) 141 171 201 231 261 291 321 351Aviser 0 0 100 300 500 760 760 760KB 12 20 28 28 28 28 28 28SA 35 55 75 75 75 75 75 75LARM De hvide programmer 0 10 10 10 10 10 10 10DR DAT-samling 0 22 22 22 22 22 22 22I alt akkumuleret 1158 1573 2113 2758 3439 4223 4794 5421

• Der kommer flere og flere eksterne kunder

• Statens Arkiver og Det Kgl. Bibliotek var de første

• Aalborg Stadsarkiv, Københavns Stadsarkiv og Museum Sønderjylland blev de næste

• Lige nu laver vi tilbud til Dansk Filminstitut om at tage 435 TB ind efterfulgt af en årlig tilvækst på 315 TB

PrislistePriserne på near-line er faldet, hvilket endnu ikke er afspejlet på vores hjemmeside, hvor dette indhold er sakset fra.http://www.statsbiblioteket.dk/produkter/Facts_Bitbevaring.pdf

Spørgsmål

illustrationer fra digitalbevaring.dk kulturarv i petabytes · • de enkelte ben – kender deres...

Documents

folkeuniversitetet norddjurs rougsø randers10 14 18 26 27...

raktik i udlandet pingviner, havfugle, oddere og sæler i...

eget företag 2012

starta eget - uusyrityskeskus

kort fremmøde 4 - aarhus universitet...•lave swot af team...

starta eget allt du behöver veta för att starta eget...

starta eget företag,starta eget bolag, starta egen firma

unge hørehæmmede - faglig og kreativ udfordringlevelser af...

nordfyns.inst.dk · web viewvi har altid papir og...

indhold - livsstilsekspert · taler og sange og rejser ud i...

vestlandets eget kraftselskap

forlØbets indhold verdensmÅl · kendskab til de 17...

lndhold - masterpiece.dk · abc-tryk, smØrum, tlf. 44 97...

ideen om det gode samfund - aalborg...

specialets opbygning og indhold - uc viden web view(1972),...

mfc - vbg · hydraulik, har deres eget hydrauliske system...

annonce kirkenyt · men giv så også gud, hvad guds er....

ast - syddjurs kommunelille landsby lemmer mellem skørring...

starta eget!

loyalitetspligt og ytringsfrihed ved ......offentligt...