open data: come fare
TRANSCRIPT
Perugia, 19 maggio 2015Sonia Montegiove
DATAJOURNALISM E OPEN DATA. TRA RICERCA E INCHIESTA GIORNALISTICA
DATAJOURNALISM E OPEN DATA
Perugia, 19 maggio 2015 - Sonia Montegiove
Foto di cucchiaio, Flickr
<Open Data: come fare>
Open Data, chi?
Open cosa?
“Un contenuto o un dato si definisce aperto se chiunque è libero di usarlo, riusarlo, ridistribuirlo – soggetto, al massimo, al requisito di attribuzione e/o condivisione allo stesso modo”
Open Knowledge Foundation
<Open Data: come fare>
E soprattutto perché signora mia?
<Open Data: come fare>Foto di Anna Lena Schiller, FlickrFoto di Anna Lena Schiller, Flickr
<Open Data: come fare>Foto di Anna Lena Schiller, FlickrFoto di Anna Lena Schiller, Flickr
<Open Data: come fare>
Identikit dell'open data
Disponibili con licenza che ne permetta l'uso da parte di chiunque
Accessibili attraverso le ICT e adatti all'utilizzo automatico da software
In formato aperto
Gratuiti o a costo marginale per la loro riproduzione e divulgazione
<Open Data: come fare>
Disponibili: le licenze Creative Commons
Le licenze Creative Commons offrono […] diverse articolazioni dei diritti d'autore per […] creatori che desiderino condividere in maniera ampia le proprie opere secondo il modello "alcuni diritti riservati"
<Open Data: come fare>
Quali diritti l’autore vuole riservarsi e quali vuole condividere?
<Open Data: come fare>
E poi le licenze IODL
Italian Open Data Licenses (IODL) sono le licenze aperte sviluppate da FORMEZ PA allo scopo di dare a tutte le Amministrazioni Italiane uno strumento chiaro e certificato in grado di facilitare la diffusione e il riutilizzo dell’informazione del settore pubblico
<Open Data: come fare>
IODL: l'utente ha la libertà di...
● consultare, estrarre, scaricare, copiare, pubblicare, distribuire e trasmettere i dati
● creare un lavoro derivato, per esempio attraverso la combinazione con altre informazioni, includendole in un prodotto o sviluppando un’applicazione informatica che le utilizzi come base dati
● usare e riutilizzare gratuitamente i dati anche per finalità lucrative
<Open Data: come fare>
Accessibili? Pdf immagine anche no
<Open Data: come fare>
Formato aperto [e standard]
<Open Data: come fare>
Formato Standard
Sviluppato da un Ente Neutrale
Costruito come Standard Aperto
Implementazione Nativa Libera
Apertura/Salvataggio senza Condizioni
<Open Data: come fare>
Formato ApertoE' indipendente da un unico software (e vendor)
E' interoperabile, perché permette una condivisione trasparente dei dati tra più sistemi eterogenei
E' perenne, perché tutela il patrimonio di informazioni nel tempo di fronte all'evoluzione della tecnologia
E' neutrale, perché non costringe l'utente a usare uno specifico software, ma lascia un'ampia scelta
<Open Data: come fare>
Open ContentClosed Content
Open FormatClosed Format
<Open Data: come fare>
Non Standard: Circa 2000 AC
<Open Data: come fare>
Non Standard: Circa 2000 DC
<Open Data: come fare>
Standard: Circa 2000 DC
<Open Data: come fare>
Open Data a tavola
Foto di Karen Morgan, Flickr
ovvero come rendere appetibiliingredienti che non lo sono
<Open Data: come fare>
Ingredienti
Per l'impasto:
100 g di Open Data
400 g di altre Fonti di Informazione
1 Kg di Pazienza nella ricerca
LibreOffice e altri sw open source
Per la comprensione e il mash-up:
Passione q.b.Foto di The Hellos, Flickr
<Open Data: come fare>
Dove trovare ingredienti freschi
Portale www.dati.gov.it
Portali Open Data delle PA
Sezione Trasparenza Siti della PA
Da motore di ricerca con parola magica open data
Data scraping
Foto di Young Sok Yun, Flickr
<Open Data: come fare>
Quanti sono i dataset liberati in Italia?
Fonte: dati.gov.it
<Open Data: come fare>
Chi pubblica più dati?
Fonte: dati.gov.it
<Open Data: come fare>
Chi pubblica più dati?
noi siamo qui
Fonte: dati.gov.it
<Open Data: come fare> Foto di Bas Van Uyen, FlickrLavorare con i dati stanca?
<Open Data: come fare>
Quando i dati [buoni] sono un sogno...
<Open Data: come fare>
La via crucis dell'open data
1° mistero doloroso del dataset
● vecchio● incompleto ● troppo aggregato● poco aggregato ● grande tanto da mandare in
crash un foglio di calcolo
<Open Data: come fare>
La via crucis dell'open data
2° mistero doloroso del dataset ● in solo formato chiuso (per
esempio .xls)● in finto open data (pdf
immagine), in strafinto open data (elaborazioni pubblicate in pdf di dati grezzi)
<Open Data: come fare>
La via crucis dell'open data
3° mistero doloroso del dataset ● con nomi di colonne incomprensibili
possibilmente non descritte tramite appositi file
● con informazioni accorpate quando potrebbero essere divise
● con dati divisi quando sarebbe più utile fossero accorpati
● con colonne duplicate in italiano e inglese
● con informazioni replicate in posti diversi con nomi differenti
<Open Data: come fare>
La via crucis dell'open data
4° mistero doloroso del dataset ● con colonne dai formati non
uniformi● con numeri che risultano testi ● con date non in formato data● con percentuali scritte tra
virgolette
<Open Data: come fare>
La via crucis dell'open data
Rischio: crocifissione di chi presenta un dato rielaborato attraverso un dataset difettoso, non corretto, non pulito, pubblicato tanto per essere pubblicato, inutile
<Open Data: come fare>
La strada è ancora lunga ma non disperiamo
<Open Data: come fare>
Che fare allora?
Foto di Neil Moralee, Flickr
<Open Data: come fare>
Si parte dal download: le piattaforme cKan
Posso cercare i dati per parola o tag
per poi effettuare il download
<Open Data: come fare>
Si parte dal download: il caso Istat
Posso fare dei filtri ed esportare
Da notare il formatoExcel…
<Open Data: come fare>
Si parte dal download: il caso Inps
Posso fare ricerche dei dati (anche per Categoria) ed esportare
e anche qui l'immancabile formato chiuso...
<Open Data: come fare>
Se trovo dati .CSV
SEMPLICE!
Aprire il file con
LibreOffice e importare
il testo
<Open Data: come fare>
E se trovo un .XLS?Un formato chiuso per esporre un dato aperto? Ossimoro?
<Open Data: come fare>
E se trovo un .pdf?
1. Scarico Tabula
2. Lo installo
3. Apro Tabula.exe
4. Faccio upload del file.pdf
<Open Data: come fare>
E se trovo un .pdf?
Aspetto che arrivino i dati in forma tabellare.
L'attesa dipende dalla complessità del file.
<Open Data: come fare>
E se trovo una tabella html?
Questo non è il formato adatto a pubblicare
Il caro vecchio copia-incolla può aiutarci
Fonte: http://www.benisequestraticonfiscati.it/
<Open Data: come fare>
Un LibreOffice in “cucina”
Foto di Young Sok Yun, Flickr
<Open Data: come fare>
Decorare con i grafici
da così...
...a così
Fonte: http://www.dati.salute.gov.it/
<Open Data: come fare>
Decorare con i grafici
da così...
...a così
Fonte: http://www.dati.salute.gov.it/
<Open Data: come fare>
Decorare con i grafici
1. scaricare il dataset e aprirlo in Calc
2. selezionare i dati da rappresentare
3. Inserisci – Grafico
4. Seguire la creazione guidata
5. Rifinire modificando alcuni elementi
<Open Data: come fare>
Decorare con i grafici (in modo guidato) Da Inserisci-Grafico...
1 2
3 4
<Open Data: come fare>
Mettere in risalto alcuni dati
Fonte: http://dati.umbria.it
Per esempio se voglio evidenziare con un colore diverso i nidi aperti tutto l'anno...
<Open Data: come fare>
Come fare? Formattazione condizionata
Da:
Formato
Formattazione condizionata
Condizione
<Open Data: come fare>
Contare in base ad una condizione
Con conta.se trovo 28 scuole senza superficie esterna. Come?
CONTA.SE(intervallo celle:condizione)Fonte: http://dati.umbria.it
<Open Data: come fare>
Contare in base ad una condizione
Con somma.se trovo che i pasti erogati da strutture aperte tutto l'anno sono 6.878. Come?
SOMMA.SE(intervallo celle in cui verificare:condizione: intervallo celle in cui sommare)
Fonte: http://dati.umbria.it
<Open Data: come fare>
Selezionare tra tante informazioni
Fonte: http://www.dati.piemonte.it/catalogodati/dato/100670-.html
Per esempio se volessi evidenziare alcune tipologie di incarichi...
<Open Data: come fare>
Selezionare tra tante informazioni
Da Dati
Filtro
Filtro standard
<Open Data: come fare>
Ho così un elenco degli incarichi sopra una certa soglia
Foto di Geoff Llerena, Flickr
<Open Data: come fare>
Ottenere somme, medie, conteggi per dato
Fonte: http:/dati.lombardia.it/
<Open Data: come fare>
Ottenere somme, medie, conteggi per dato
Da Dati
Subtotali
<Open Data: come fare>
Che aria tira?
1 2
3Fonte: http://www.arpa.umbria.it/open-data.aspx
<Open Data: come fare>
E se i dati sono tanti
<Open Data: come fare>
Da così...
<Open Data: come fare>
...a così
<Open Data: come fare>
La fortuna di avere le tabelle pivot
Da Dati
Tabella Pivot
Crea
<Open Data: come fare>
Non avete capito come si usa LibreOffice?
<Open Data: come fare>
Scaricate l'ebook gratuito da Tech Economy!
<Open Data: come fare>
E se i dati sono da aggiustare?
Software prodotto da Google Finalizzato al data cleaning Interfaccia intuitiva e semplice da usare Open Source, sorgente disponibile in Github
Refine offre una serie di trasformazioni preconfezionate (trasformazioni comuni)
Refine utilizza il linguaggio GREL (Google Refine Expression Language) per trasformazioni avanzate
Supporta diversi formati: TSV, CSV, *SV, JSON, XML, RDF
<Open Data: come fare>
Open Refine Luoghi di interesse, Città di Firenze (Risorsa in CSV).
<Open Data: come fare>
Open Refine 1. Importare il file CSV in Open Refine
<Open Data: come fare>
Open Refine 2. Eliminare colonne duplicate (italiano/inglese)
<Open Data: come fare>
Open Refine 3. Rinominare intestazione colonne
<Open Data: come fare>
Open Refine 4. Trasformare celle utilizzando caratteri maiuscoli
<Open Data: come fare>
Open Refine 5. Unire due colonne ed ottenere l'indirizzo completo
<Open Data: come fare>
Open Refine 5. Unire due colonne ed ottenere l'indirizzo completo
<Open Data: come fare>
Open Refine 5. Unire due colonne ed ottenere l'indirizzo completo
6. Esportare il dataset! Formati disponibili TSV, CSV, ODS, XLS.
<Open Data: come fare>
datasets can't change the world. (people do)
Jonathan Gray
Foto di Francesca G., Flickr
