lod2 ckan workshop wien - 15.6files.meetup.com/1473264/ckan-friedrichlindenberg_okfn_15juni... ·...
TRANSCRIPT
![Page 1: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/1.jpg)
LOD2 CKAN Workshop Wien - 15.6.2011
![Page 2: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/2.jpg)
![Page 3: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/3.jpg)
![Page 4: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/4.jpg)
Warum?
![Page 5: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/5.jpg)
✓ Welche Lizenz?
✓ Welche Formate?
✓ Welche Inhalte?
✓ Dann:
✓ Aktualität
✓ Vollständigkeit
✓ Bezugsraum, ...
Kernfragen
![Page 6: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/6.jpg)
Informationsarchitektur
![Page 7: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/7.jpg)
Daten-Ökosystem
![Page 8: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/8.jpg)
Beispiel: Ausgaben UK
![Page 9: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/9.jpg)
November 2011:
Veröffentlichung Ausgaben der zentralen Regierung > £ 25.000, lokal: > £ 500
![Page 10: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/10.jpg)
![Page 11: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/11.jpg)
7 Monate später
• 557 Datenpakete
• 588 Behörden
• 3327 Tabellen (CSV, Excel, HTML)
![Page 12: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/12.jpg)
Datenbereinigung
• Abruf per CKAN-API (data.gov.uk)
• Formatkonvertierung (SQLite)
• Vereinheitlichung von Ministerien und Behörden (Google Spreadsheet)
• Verbindung mit OpenCorporates (Unternehmens-Registernummern)
• Als neues CKAN-Paket bereit gestellt (ckan.net)
![Page 13: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/13.jpg)
![Page 14: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/14.jpg)
Weiternutzung
![Page 15: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/15.jpg)
![Page 16: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/16.jpg)
Was ist CKAN? (I)
• Open Source-Projekt, etwa 12 Kernentwickler
• Nutzer: data.gov.uk, data.norge.no, hri.fi, register.data.overheid.nl, iatiregistry.org
• ckan.net und ~ 24 Community-Instanzen
![Page 17: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/17.jpg)
Was ist CKAN? (II)
• Datenkatalog, kein Repositorium
• (Archiv & Speicherung als Erweiterung)
• flexibles Metadatenschema
• Kernelemente ~ Dublin Core + Ressourcen
• Versionierung aller Metadaten
![Page 18: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/18.jpg)
Was ist CKAN? (III)• Ein Wiki für Metadaten
• Vision: GitHub/SourceForge für Datenquellen
• Community von aktiven Datennutzern einbinden (auch für Regierungsseiten)
• Verschiedene Metaphern (CPAN = Perl Packet-Verzeichnis)
![Page 19: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/19.jpg)
Beispiel: LOD Cloud
![Page 20: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/20.jpg)
Metadaten
• Kernelemente und “Extras”
• anpassbare Formulare im Webfrontend
• durch data.gov.uk: Konventionen für Extra-Felder (auch in data.norge.no, hri.fi, overheid.nl)
![Page 21: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/21.jpg)
Theming
![Page 22: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/22.jpg)
Content Management
• “Wordpresser”-Erweiterung zur Anbindung an Wordpress
• Integration mit Drupal bei data.gov.uk (Open Source)
![Page 23: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/23.jpg)
Geodaten (I)
![Page 24: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/24.jpg)
Geodaten (II)• CSW-Harvester und Endpunkt
• GEMINI 2.1 (~> INSPIRE)
• sammelt Kataloge aus England und den anghängten Ländern
• Übergabe via Ordnance Survey an EC
• Experimentelle Geo-Suche, WMS-Preview
![Page 25: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/25.jpg)
Publisher
• Institutionen-Modell
• Freischaltung von Behörden
• Nutzergruppen
![Page 26: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/26.jpg)
Moderierte Eingaben
![Page 27: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/27.jpg)
Schnittstelle
• REST-API mit JSON und RDF-Support
• Bibliotheken für Python, PHP, Ruby
• Nutzung:
• Paketimport (Excel-Sheets)
• Metadatenanreicherung
![Page 28: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/28.jpg)
Metadatenbereinigung
![Page 29: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/29.jpg)
publicdata.eu
• Portal als Forschungs-Prototyp für data.eu
• Föderierung von Datenkatalogen aus Europa
• Integration & Anreicherung der Metadaten
• Standardisierung von DCat
![Page 30: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/30.jpg)
Scraping
![Page 31: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/31.jpg)
![Page 32: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/32.jpg)
![Page 33: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/33.jpg)
DCat• Standardisierungsdiskussion läuft (Workshop
Anfang Mai)
• Partner: RPI, CTIC, LOD2, CSI Piemonte etc.
• RDF mit DC Terms und Ressourcen
• Gemeinsame Harvesting-API
• datacatalogs.org
• GLD WG im W3C neu gestartet
• SKOS?
![Page 34: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/34.jpg)
• 430 Teilnehmer aus 23 EU-Staaten
• Preisvergabe bei der Digital Assembly
![Page 35: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/35.jpg)
Apps-Katalog
![Page 36: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/36.jpg)
Ressourcen
• CKAN Projektseite - http://ckan.org
• CKAN Wiki - http//wiki.ckan.net
• PublicData.eu-Portal - http://publicdata.eu
• Open Data Manual - http://www.opendatamanual.org
• Open Defintion - http://opendefintion.org
• Allg. Informationen - http://opengovernmentdata.org/
Folien: CC-BY, Friedrich Lindenberg, genutzte Bilder: London Traffic Lights (Wikimedia Commons); Francis Maude at data.gov.uk Event (Guardian), Screenshots
![Page 37: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/37.jpg)
Teil II: Hands-on
![Page 38: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/38.jpg)
Technik
• Python-Anwendung, Pylons MVC-Framework
• PostgreSQL-Datenbank
• Apache/mod_wsgi oder uwsgi
• Optionale Abh.: Apache Solr, RabbitMQ
![Page 39: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/39.jpg)
Modularisierung
![Page 40: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/40.jpg)
Installation
• Debian Packages für Ubuntu LTS
• Extensions werden als Packages verteilt
• Solr und RabbitMQ getrennt installieren
![Page 41: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/41.jpg)
Anpassung
• ckanext-exampletheme ableiten
• Formulare als Python-Modul anpassen
• Themes sind Template-Overlays
• HTML-Struktur enspricht Wordpress
• Lokalisierung via transifex.net
![Page 42: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/42.jpg)
![Page 43: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/43.jpg)
Sicherheit
• Authentifizierung via Login, OpenID, API Key
• Authorisierung via Rollen und Aktionen
• ACL für jedes Packet, jede Gruppe
• globale Defaults sind konfigurierbar
• AuthzGroups für Nutzergruppen
![Page 44: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/44.jpg)
API
• /api/X/rest - Versioniert
• /api/2/rest/package - REST Collection (GET, POST), auf Entities: GET, PUT.
• Beispiele in ckanext-pdeu/scripts
![Page 45: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/45.jpg)
Revisionen
• Copy on Write in Spiegel-Tabelle
• Revisionen können gelöscht werden
• Quelle für RSS-Feeds
![Page 46: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/46.jpg)
Queue
• Hintergrundverarbeitung durch Queue
• Solr Index Aktualisierung
• Triple Store sync
• Archivierung
• Webhooks
![Page 47: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur](https://reader034.vdocuments.net/reader034/viewer/2022043011/5fa76d523e2a471a7d4fbd49/html5/thumbnails/47.jpg)
Speicherung
• Noch im Beta-Stadium
• Nutzt Dateisystemabstraktion (OFS)
• S3, Archive.org, Google Storage
• REST Forward, Pairtree Dateisystem