FormatEOm format för arkivbeständiga elektroniska handlingar

benjamin.yousefi@riksarkivet.se

• Jurist

― Juridisk och teknisk rådgivare och utredare

• Ofi

― [Avdelning för] Offentlig informationshantering

• Uti

― [Enhet] Utredning och utveckling

• FormatE (projektledare)

• ArkivE

• Elektroniska underskrifter

• Preforma

• PDF/A

Projektbeskrivning

FormatE ska kontextualisera grundprinciper för val

av format i föreskrifter, vägledningar, och

information som förbättrar förutsättningarna för val,

framställning, återgivning, och kontroll av format i

[ett visst tekniskt] skick, samt vid tillsyn, rådgivning

och överföring till bevarande.

Effektmål

Alla elektroniska handlingar som framställs i offentlig förvaltning ska vara beständiga.

1. Beständighet, med hänsyn till behovet,

hur (form och funktion) handlingen ska återges,

och tiden handlingen ska återges på kort eller lång sikt.

2. Kraven på materiel och metoder bestäms utifrån behovet.

3. Mätbarhet: metoder för kontroll, uppföljning och efterlevnad av denna beständighet.

Projektmål (2018)

1. Översyn av RA-FS 2009:2

― förslag till ny RA-FS

― tillsammans med författningskommentarer och allmänna råd.

2. Kriterier för att utvärdera format lämpliga för beständigheten av elektroniska handlingar

3. Vägledningar

Tidsplan vid denna tidpunkt

• Ett andra utkast färdigställs

― intern behandling

― referensgruppen

• Tidigast remiss

― december (2018) eller januari (2019)

• Något försenat

― Viktigare att författningen blir genomtänkt.

Grunden för fortsatt arbete

När föreskriften är utgiven blir det lättare att arbeta vidare med

stödjande resurser, såsom vägledningar och verktyg.

Drömbilden

• När den datatekniska grunden är lagd,

• diskutera innehåll utifrån funktionaliteter,

• och format, kodningen och avkodningen, blir som ”pappret”.

Om arbetet med att se över

RA-FS 2009:2

RA-FS om tekniska krav vid framställning av

elektroniska handlingar

• Det kommer att vara en teknisk föreskrift

― specifikationer

― funktionaliteter

― implementationer

― format

• Föreskriften gäller för hela den offentliga förvaltningen

― Alla som omfattas av arkivlagen (1-2a §§).

Bemyndigandet

Omfattar

• framställning

• form och funktion

• implementering

Omfattar inte

• Återgivning eller hantering

• innehåll eller gallring

• användning

Elektroniska handlingar som redan är

framställda

• Faller utanför författningens tillämpningsområde

• RA-FS 2009:1, och då endast för statliga myndigheter

• Vägledningar, verktyg, och liknande.

Datateknisk perspektiv

Teknikspecifikt

• Kodning av information (handling)

till binär data

• som lagras som ett format vid en

tidpunkt,

• och avkodningen av data tillbaka

till information

• som ska återges i ett visst

förväntat tekniskt skick (form och

funktion).

Teknikgenerellt

• Val av format

• Koppla [tekniska] funktionaliteter till

information [handling].

Konsekvenser

• Hur tillämpar man föreskriften?

― Man måste ju faktisk förstå den för att tillämpa den… Vem ska tillämpa den?

• Hur tar man hänsyn till alla olika intressen?

― Hur hanterar man alla användningar av program och format?

― Verksamheter skiljer sig som bekant mellan statliga myndigheter, men nu skuttar även in kommuner, landsting och andra myndigheter och organ.

Tillämpning av föreskriften

• Föreskriften reglerar eviga

sanningar.

• Magin finns i föreskriftens bilagor

och allmänna råd

Tydligare krav

Rekommenderade sätt för att uppfylla

kraven

Ges ut och ses över löpande.

Kan så småningom normeras.

Vägledningar

Introducerande (utbildande), såsom ”Om

den nya RA-FS 2019:1”.

Handledande (målorienterade), såsom ”hur

gör man”, ”hur löser man”.

Fördjupande (förklarande), såsom

författningskommentarer.

Refererande (deskriptiva), såsom

ordböcker, github.com/Riksarkivet/format/.

GitHub

Data- och informationstekniska resurser

Program, metoder för validering, verifiering

och granskning.

Balansera olika intressen

• Samarbete och kommunikation

― referensgruppen

― Mer permanenta konstellationer?

• Föreskriftens uppbyggnad

― Nyanserar kraven och tillämpning i olika fall

Styrande principer

• Behovet av beständighet

• Vad som krävs i olika fall

• Specifikationer

• Funktionaliteter

• Implementationer

• och format

Exempel

Överväganden, avvägningar, särskilt belysa

Gäller endast vid framställning

•Får inte ställa krav på

återgivningen, såsom

program, men… Program är elektroniska handlingar, så

får ställa krav på framställningen av

program (som ska användas för

återgivning)

•Allt måste alltså bli rätt vid

framställning Hur strikta krav ska ställas vid

framställning?

Tekniska hjälpmedel

•TF 2 kap. 3 § ”… upptagning

som kan läsas, avlyssnas eller

på annat sätt uppfattas endast

med tekniskt hjälpmedel. … ”

Det vill säga, inga

program.

Lämpliga format?

•Ganska strikta krav alltså…

Materiel och metoder

•Tekniskt hjälpmedel,

•men även andra hjälpmedel

för att koda och avkoda ett

format.

• Specifikationer

Dokumentation

Vägledningar

• Teknisk miljö

Programtolk

Kompilator

• Program

Algoritmer

Kodbibliotek

• Data

Databaser

Länkar till nödvändiga datafiler

Vad ska vara beständigt?

•Alla ”format” är kod

•Formatet slutar att vara

beständigt om kunskapen om

koden [avkodningen] går förlorad,

•men inte bara ställa krav på att

endast kunna avkoda:

Avkoda till vilken form och funktion?

Hur mycket måste avkodas?

•Lagrad kod förändras inte i sig

över tid under förutsättning att

koden exempelvis inte:

kodas, avkodas felaktigt,

hårdvara fallerar,

om exekverbar, kan förändra sig själv,

annan exekverbar kod förändrar.

•Förvaring, hårdvara, hantering,

och andra skyddande åtgärder

fråga om arkivvård.

Vad ska vara beständigt?

•00011111010000110000

Är det denna form som ska vara beständig?

•0x1f430

Är det denna form som ska vara beständig?

•� (glyf saknas)Är det denna form som ska vara beständig?

•🐰

Är det denna form som ska vara beständig?

Är det denna form som ska vara beständig?

•Exemplen är endast olika

representationer av samma

kod.

•Vilket tekniskt skick ska

återges?

Vilken mening ska

kunna avkodas tillbaka?

Vad ska vara beständigt?

1. 00111100 01110000 00111110 11000011 10000100 01110010 00100000 01100100 01100101 01110100 00100000 01100100 01100101 01101110 01101110 01100001 00100000 00111100 01100010 00111110 01100110 01101111 01110010 01101101 00111100 00101111 01100010 00111110 00100000 01110011 01101111 01101101 00100000 01110011 01101011 01100001 00100000 01110110 01100001 01110010 01100001 00100000 01100010 01100101 01110011 01110100 11000011 10100100 01101110 01100100 01101001 01100111 00111111 00111100 00101111 01110000 00111110 00001010

2. 3c 70 3e c3 84 72 20 64 65 74 20 64 65 6e 6e 61 20 3c 62 3e 66 6f 72 6d 3c 2f 62 3e 20 73 6f 6d 20 73 6b 61 20 76 61 72 61 20 62 65 73 74 c3 a4 6e 64 69 67 3f 3c 2f 70 3e 0a

3.

Är det denna form som ska vara beständig?

4. Är det denna form som ska vara beständig?

5. ¶ Är det denna form som ska vara beständig?(+stilmall)

Specifikationer

•Vad gör en specifikation

lämpligt och en annan

olämpligt?

•Vilken specifikation ska man

välja?

•Kriterier för att bedöma

sannolikheten att kunna återge

ett tekniskt skick utifrån en

specifikation

•Bestämd tid

•Obestämd tid

Begränsa antalet

specifikationer

Funktionaliteter

• Tekniska metoder för att

representera information

(eller tekniska egenskaper)

• Bild, text, ljud, rörlig bild, …

• Vektor, bitmap, raster, …

•Jfr pappersteknik

använda typsatser som

representerar bokstäver,

rastrering för att

representera

färgnyanserade bilder.

• Vilken funktionalitet bäst

lämpad för att representera

en viss typ av information?

Implementation

•Hur en funktionalitet kodas

och avkodas

•Kan automatiseras

•Är implementeringen i

överensstämmelse med

specifikationen?

Format – resultatet av allt

•Innebörden av format

•Informationsformat och

binärformat

•Hur något används – ett

protokoll, databasförfrågan,

programmeringsspråk, program,

och så vidare, och den form något

har vid ett visst tillstånd i datorn –

ett format.

•Kan kontrolleras (verifieras

och valideras) vara korrekt,

•men vi vet inte om

återgivningen blir som

ursprungligen förväntat,

•vilket beror helt på

implementeringen vid

återgivning.

Allt blir

ett format

SELECT kolumn FROM tabell WHERE kolumn = 'kanin'; # Är en informationsformat (“syntax”) # Kan bevaras över tid i [binär] kod (representerat här i nummer): 01010011 01000101 01001100 01000101 01000011 01010100 00100000 01110010 01100001 01100100 00100000 01000110 01010010 01001111 01001101 00100000 01110100 01100001 01100010 01100101 01101100 01101100 00100000 01010111 01001000 01000101 01010010 01000101 00100000 01110010 01100001 01100100 00100000 00111101 00100000 00100111 01101011 01100001 01101110 01101001 01101110 00100111 00111011

# Request header Accept: text/html,application/xhtml+xm…plication/xml;q=0.9,*/*;q=0.8 Accept-Encoding: gzip, deflate, br Accept-Language: en-US,en;q=0.5 Connection: keep-alive Cookie:_ga=GA... Host: riksarkivet.se Upgrade-Insecure-Requests: 1 User-Agent: Mozilla/5.0 (Windows NT 6.1; W…) Gecko/20100101 Firefox/62.0 # Syntaxen är definierat i diverse RFC. # Det binära formatet blir... 01000001 01100011 01100011 01100101 01110000 01110100 00111010 00100000 01110100 01100101 01111000 01110100 00101111 01101000 01110100 01101101 01101100 00101100 01100001 01110000 01110000 01101100 01101001 01100011 01100001 01110100 01101001 01101111 01101110 00101111 01111000 01101000 01110100 01101101 01101100 00101011 01111000 01101101 11100010 10000000 10100110 01110000 01101100 01101001 01100011 01100001 01110100 01101001 01101111 01101110 00101111 01111000 01101101 01101100 00111011 01110001 00111101 00110000 00101110 00111001 00101100 00101010 00101111 00101010 00111011 01110001 00111101 00110000 00101110 00111000 00001010 01000001 01100011 01100011 01100101 01110000 01110100 00101101 01000101 01101110 01100011 01101111 01100100 01101001 01101110 01100111 00111010 00100000 01100111 01111010 01101001 01110000 00101100 00100000 01100100 01100101 01100110 01101100 01100001 01110100 01100101 00101100 00100000 01100010 01110010 00001010 01000001 01100011 01100011 01100101 01110000 01110100 00101101 01001100 01100001 01101110 01100111 01110101 01100001 01100111 01100101 00111010 00100000 01100101 01101110 00101101 01010101 01010011 00101100 01100101 01101110 00111011 01110001 00111101 00110000 00101110 00110101 00001010 01000011 01101111 01101110 01101110 01100101 01100011 01110100 01101001 01101111 01101110 00111010 00100000 01101011 01100101 01100101 01110000 00101101 01100001 01101100 01101001 01110110 01100101 00001010 01000011 01101111 01101111 01101011 01101001 01100101 00111010 01011111 01100111 01100001 00111101 01000111 01000001 00101110 00101110 00101110 00001010 01001000 01101111 01110011 01110100 00111010 00100000 01110010 01101001 01101011 01110011 01100001 01110010 01101011 01101001 01110110 01100101 01110100 00101110 01110011 01100101 00001010 01010101 01110000 01100111 01110010 01100001 01100100 01100101 00101101 01001001 01101110 01110011 01100101 01100011 01110101 01110010 01100101 00101101 01010010 01100101 01110001 01110101 01100101 01110011 01110100 01110011 00111010 00001001 00110001 00001010 01010101 01110011 01100101 01110010 00101101 01000001 01100111 01100101 01101110 01110100 00111010 00100000 01001101 01101111 01111010 01101001 01101100 01101100 01100001 00101111 00110101 00101110 00110000 00100000 00101000 01010111 01101001 01101110 01100100 01101111 01110111 01110011 00100000 01001110 01010100 00100000 00110110 00101110 00110001 00111011 00100000 01010111 11100010 10000000 10100110 00101001 00100000 01000111 01100101 01100011 01101011 01101111 00101111 00110010 00110000 00110001 00110000 00110000 00110001 00110000 00110001 00100000 01000110 01101001 01110010 01100101 01100110 01101111 01111000 00101111 00110110 00110010 00101110 00110000 00001010

Exempel

På specifikation, funktionalitet,

implementation, och format

Behovet av beständighet

•Vilket tekniskt skick?

•För vilken tid?

Specifikation• Vilken specifikation syftar till att

implementera det tekniska skicket?

Funktionaliteter• Vilka får eller får, ska, bör eller inte

bör implementeras?

• Verifiera vilka som implementerats

FormaProjektlFormatE ska

ISO-8859-1

ÅÐÓÆ ....È..........»È..;U..ÿÿ..

%!PS-Adobe-3.1 EPSF-3.0.

%ADO_DSC_Encoding: MacOS Roman.

%%Title: Riksarkivet_rgb.eps.

%%Creator: Adobe Illustrator(R) 15.0.

%%For: Karin Keijser.

%%CreationDate: 2013-01-08.

%%BoundingBox: 0 0 152 43.

%%HiResBoundingBox: 0 0 151.8

...

ISO 8859-1

.PNG........IHDR...â...Å......µñÇ....sRGB.®Î.é....gAMA..±..

üa.....PLTE.......................#../.$:).. .. ..7..0*. 000.+F.2Q

.9].@i.GtD..R..@;.@8.`..n..{..@J.PF.PX.@X/@^;P_$`T.p

b.

pl.@@@PPP```ppp....N..V..]..d£.k®.rº.y¯`.H`.zp¢o0..

.¥@

..@..P..P...."..%¤ )²#,.p..~.À&/Í(3Û+6........2¯..¿¨.¿º...I.°Z.³

@.·O.©e.¬a¯¾D¿Â)¿Å:¿É5¿È6϶.ÏÀ.ßÄ.ÏË/ßÒ$ßÖ

...

Implementationer• Kodningen blir rätt vid framställning.

Kan valideras.

• Fråga om avkodningen blir rätt vid

återgivning?

Om inte tillgång till program,

referensimplementationer,

fråga om sannolikhet formatet

kan implementeras till det

förväntade tekniska skicket.

11000101 11010000 11010011 11000110 00100000 00000000 00000000 00000000 10011011 11001000 00000110 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000 10111011 11001000 00000110 00000000 00111011 01010101 00000000 00000000 11111111 11111111 00000000 00000000 00100101 00100001 01010000 01010011 00101101 01000001 01100100 01101111 01100010 01100101 00101101 00110011 00101110 00110001 00100000 01000101 01010000 01010011 01000110 00101101 00110011 00101110 00110000 00001010 00100101 01000001 01000100 01001111...

10001001 01010000 01001110 01000111 00001101 00001010 00011010 00001010 00000000 00000000 00000000 00001101 01001001 01001000 01000100 01010010 00000000 00000000 00001001 11100010 00000000 00000000 00000010 11000101 00001000 00000011 00000000 00000000 00000000 10010010 10110101 11110001 11000111 00000000 00000000 00000000 00000001 01110011 01010010 01000111 01000010 00000000 10101110 11001110 00011100 11101001 00000000 00000000 00000000 00000100 01100111 01000001 01001101 01000001 00000000 00000000 10110001 10001111 00001011 11111100 01100001 00000101 00000000 00000000 00000011 00000000 01010000 01001100 01010100 01000101 00000000 00000000 00000000 00000000 00000111 00001100 00001110 00000011 00000011 00000000 00001110 00010111 00010000 00001110 00000001 00011011 00000101 00000111 00010000 00010000 00010000 00000000 00010101 00100011 00000000 00011101 00101111 00000000 00100100 00111010 00101001 00001000 00001010 00100000

...

ASCII-7bit

01000110 01101111 01110010 0110110101100001 01110100 01000101 0010000001110011 01101011 01100001 0010000001101011 01101111 01101110 0111010001100101 01111000 01110100 01110101

...

FormatE ska kontextualisera grundprinciper

för val av format i föreskrifter, vägledningar,

...

UTF-8

00110100 00110110 00110110 01100110 00110111 00110010 00110110 01100100 00110110 00110001 00110111 00110100 00110100 00110101 00110000 01100001 00110101 00110000 00110111 00110010

…

ISO-8859-1

.PNG........IHDR...P.........ÿì.¿....bKGD.ÿ.ÿ.ÿ ½§.....pHYs...#...#.x

¥?v....tIME.â...#.§«1ñ....tEXtComment.Created with GIMPW.....

.IDATxÚí.Ïk#ÉÙÇ.~Ù.À»{2f0j]rÚ.fç`ä@|P+¹..+9.CÀ.V®F.É,Ù..h1

§.ìY..O£^ðu.K..ÜÂ.³.Ì).¨Å`Ì.vXò.ô{H

...

10001001 01010000 01001110 01000111 00001101 00001010 00011010 00001010 00000000 00000000 00000000 00001101 01001001 01001000 01000100 01010010 00000000 00000000 00000001 01010000 00000000 00000000 00000000 10011010 00001000 00000110 00000000 00000000 00000000 11111111 11101100 00010000 10111111 00000000 00000000 00000000 00000110 01100010 01001011 01000111 01000100 00000000 11111111 00000000 11111111 00000000 11111111 10100000 10111101 10100111 10010011 00000000 00000000 00000000 00001001 01110000 01001000 01011001 01110011 00000000 00000000 00101110 00100011 00000000 00000000 00101110 00100011 00000001

...

FormatE ska kontextualisera grundprinciper för val av format i föreskrifter, vägledningar,

FormatE ska kontextualisera grundprinciper

f?r val av format i f?reskrifter, v?gledningar,

FormatE ska kontextualisera grundprinciper för val av format i föreskrifter, vägledningar,

ASCII-7bit

01000110 01101111 01110010 0110110101100001 01110100 01000101 0010000001110011 01101011 01100001 0010000001101011 01101111 01101110 0111010001100101 01111000 01110100 01110101

...

UTF-8

00110100 00110110 00110110 01100110 00110111 00110010 00110110 01100100 00110110 00110001 00110111 00110100 00110100 00110101 00110000 01100001 00110101 00110000 00110111 00110010

…

ISO-8859-1

.PNG........IHDR...P.........ÿì.

¿....bKGD.ÿ.ÿ.ÿ ½§.....pHYs

...#...#.x¥?v....tIME.â...#.§«

1ñ....tEXtComment.Created

with GIMPW.....

.IDATxÚí.Ïk#ÉÙÇ.~Ù.À»{2f

0j]rÚ.fç`ä@|P+¹..+9.CÀ.V®

F.É,Ù..h1§.ìY..O£^ðu.K..ÜÂ

.³.Ì).¨Å`Ì.vXò.ô{H

...

10001001 01010000 01001110 01000111 00001101 00001010 00011010 00001010 00000000 00000000 00000000 00001101 01001001 01001000 01000100 01010010 00000000 00000000 00000001 01010000 00000000 00000000 00000000 10011010 00001000 00000110 00000000 00000000 00000000 11111111 11101100 00010000 10111111 00000000 00000000 00000000 00000110 01100010 01001011 01000111 01000100 00000000 11111111 00000000 11111111 00000000 11111111 10100000 10111101 10100111 10010011 00000000 00000000 00000000 00001001 01110000 01001000 01011001 01110011 00000000 00000000 00101110 00100011 00000000 00000000 00101110 00100011 00000001

...

UTF-8, ASCII, ISO-8859-1, ...

00111100 01100100 01101001 01110110 00100000 01100011 01101100 01100001 01110011 01110011 00111101 00100010 01100001 01110010 01110100 01101001 01100011 01101100 01100101 00100010 00111110 00001010 00100000 00100000 00100000 00100000 00111100 01101000 00110001 00111110 00001010 00100000 00100000 00100000 00100000 00100000 00100000 00100000 00100000 00111100 01110011 01110000 01100001 01101110 00100000 01101001 01100100 00111101 00100010 01010000 01110010 01101001 01101101 01100001 01110010 01111001 01011111 01000101 01110000 01110100 01000110 01101001 01100101 01101100 01100100 00110001 00100010 00111110 01000110 01101111 01110010 01101101 01100001 01110100 01000101 ...

• https://github.com/Riksarkivet/format/

fakta

“Wiki” förklarande

vägledande, normerande

Tack!