provenance of software development processes

Folie 1Using Provenance to Trace Software Development Processes > Heinrich Wendel > 23.07.2010

Using Provenance to Trace Software Development Processes

Master-Kolloquium – Universität Bonn – Institut für Informatik IIIHeinrich Wendel


DLR – Deutsches Zentrum für Luft- und Raumfahrt

Daten6500 Mitarbeiter29 Forschungsinstitute13 Standorte

AufgabenForschungseinrichtungRaumfahrt-AgenturProjektträger

ForschungsgebieteLuftfahrtRaumfahrtEnergieVerkehr

Koeln

Oberpfaffenhofen

Braunschweig

Goettingen

Berlin

Bonn

Neustrelitz

Weilheim

Bremen Trauen

Lampoldshausen

Hamburg

Stuttgart


Software-Entwicklung im DLRGrößenordnung

Über 1000 Mitarbeiter des DLR entwickeln Software

DLR ist eines der größten Software-Häuser Deutschlands

Das sind >100 Millionen EUR Personalkosten pro Jahr


Einrichtung Simulations- und SoftwaretechnikInnovatives Software-Engineering für das DLR

Rolle und AufgabenErarbeitung neuer SW-Technologien und Untersuchung der Relevanz für DLR, Einführung in DLR Instituten

Forschungsgebiete: Software Engineering, Verteiltes Rechnen, Integration, Daten- und Wissensmanagement, High-Performance Computing, Concurrent Engineering, VR

Software Engineering NetzwerkSoftware KatalogWerkzeugsuiteSchulungenSoftware Standards

Mitarbeiter: ca. 30


Motivation

„Warum schlägt ein Unit Test fehl?“


Vorgehen


Software-Entwicklungsprozesse


Software-Entwicklungsprozesse

„ein für die Softwareentwicklung angepasstes Vorgehensmodell bei der professionellen Anwendungsentwicklung“ (Wikipedia)

NATO Konferenz über Software Engineering 1968Steigende Komplexität von Software

HistorieStatisch, Wasserfall Modell, 80er JahreIterativ, Rational Unified Process, 90er JahreAgile, Flexibel, aktuell

FazitDer Prozess muss individuell angepasst werden


Typischer DLR Prozess

Grafik

DLR Software Projekt- und Entwicklerhandbuch, M. Bock, A. Hermann, T. Schlauch, 22.10.2009


AnwendungsfallRemote Component Environment (RCE)

RCE ist ein allgemein verwendbares Integrations-FrameworkBasierend auf Eclipse / OSGi

AnwendungsfälleSchiffsentwurfsystemConcurrent Engineering FacilityIntegration von Strömungslöser

Daten + FaktenLaufzeit: 5 JahreMitarbeiter: 44 (17 Entwickler)Issues: 1034 / 4914Wiki Seiten: 589 / 4155Commits: ~ 10.000Releases: 15 + 42 Snapshots


RCE Entwicklung

Grafik


Mantis / Jour Fix


RCE Entwicklung

Grafik


Issue zu Version zuordnen


RCE Entwicklung

Grafik


Design Meetings, Protokoll auf Homepage (Wiki)


RCE Entwicklung

Grafik


Eclipse / Maven / Junit / Powermock / Checkstyle / Cobertura / Doc in Wiki


RCE Entwicklung

Grafik


Branch Konzept / Repoguard / Zugriffsrechte / Mantis ID


RCE Entwicklung

Grafik


Hudson / Nightly Builds (Different Platforms) / Unit

Tests / Code Coverage


RCE Entwicklung

Grafik


API Doc / Documentation in Wiki


RCE Entwicklung

Grafik


Code Reviews / Neue Issues in Mantis / Wiki Protokoll


RCE Entwicklung

Grafik


Administrator Guide / User Guide


RCE Entwicklung

Grafik


Bash Script / Tagging / Versions-Schema / Sourceforge / Mailinglist


Tool Unterstützung


Fragen & Probleme


Fragen und Probleme

Fehlerbehebung Welches Changeset war dafür verantwortlich, dass ein UnitTest nicht mehr funktioniert?

Qualitätssicherung Wie viele Releases wurden dieses Jahr gemacht?

Prozess Validierung Von welcher Revision wurde ein bestimmtes Release gebaut?

Monitoring Wie lange hat es gedauert um einen bestimmten Fehler zu beheben?

Statistische Analysen Welche Entwickler haben zu einem Release beigetragen?

Entwickler Bewertung Welcher Entwickler hat am meisten Dokumentation geschrieben?

Informativ Welche Features sind in Release X neu?


Fragen und ProblemeKategorisierung

Single Tool

Einfach Wie ist die aktuelle CodeCoverage vom gesamten Projekt?

Aggregiert Wie hat sich die Anzahl der UnitTests im letzten Monat verändert?

Multi Tool

Entwickler Wie viele Fehler wurde von einem bestimmten Entwickler für ein Release behoben?

Anforderungen Wie viel Zeit wurde gebraucht um eine bestimmte Anforderungen zu implementieren?

Fehler Welche Version von Maven wurde benutzt als der Build fehlgeschlagen ist?


Provenance


ProvenanceDefinition

DudenProvenienz, die; -, -en [zu lat. provenire = hervorkommen, entstehen], Herkunft, Ursprung

InformatikAufzeichnung von Prozessdaten zur Laufzeit des Prozesses zum Zweck

Ermittlung des Ursprung der DatenÜberprüfung der Konformität des (Daten-) erzeugenden Prozess

Die Provenienz einer Information ist die Geschichte ihrer Erzeugung


Provenance

Forschungsgebiet seit ca. 2002Luc Moreau. The foundations for provenance on the web. Foundations and Trends in Web Science, November 2009. Simmhan, Yogesh L., Beth Plale, and Dennis Gannon: A survey of data provenance in e-science.


ProvenanceAnwendungsgebiete

MedizinÜberblick über alle früheren Behandlungen von Patienten

IngenieurwissenschaftenNachvollziehbarkeit der Entstehungsgeschichte einer Berechnung

KlimaforschungUrsprung eines Klimamodells

BioinformatikNachvollziehbarkeit der Effizienz von Protein Sequences

PharmazieNachvollziehbarkeit von Produktentwicklung

FinanzwirtschaftNachvollziehbarkeit von Finanztransaktionen


ProvenanceKonzept


ProvenanceOpen Provenance Modell

Artifact (A): Beliebige nicht änderbare Zustände, z.b. Daten, Dateien, …Process (P): Aktionen die zu einem Artifact geführt habenAgent (Ag): Entität kontrolliert oder startet Ausführung eines Prozesses


Provenance PRiME + Adaption


Modell Schema

Actors (Sub-Prozesse)Issue TrackingEntwicklungContinuous IntegrationDokumentationRelease

InteraktionenUserIssueRevisionRelease


Implementierung und Integration


Prototyp


Datenspeicherung

NoSQL Trend (no:sql(east), 2009)Key-Value StoresBig Table ClonesDocument DatabasesGraph Databases

„Choosing a Data Model and Query Language for Provenance“Relationale DatenbankenXML & XPathRDF & SPARQLSemistructural


Neo4j

Java Graph Datenbank7 Jahre im produktiven EinsatzTransaction ManagementUnterstützt Domain ModelleGraph Traversal FrameworkDual lizensiert: AGPLv3/CommerziellMehrere Milliarden Knoten/Kanten/PropertiesSupport für Python, Ruby, Lisp, Scala, GroovySemantic Web Technologien: RDF/SPARQLIndizierung durch LuceneEinfach zu benutzen und Klein (<500kb)


Neoclipse


Graph DatenbankProperty Graph Model

GraphGerichtetMulti-RelationalKey-Value basiert

KnotenEindeutiger IdentifierEin-/Ausgehende KantenProperties

KantenEindeutiger IdentifierEin-/Ausgehender KnotenLabelProperties


Gremlin

Graphen ProgrammierspracheNicht „nur“ Abfragesprache

XPath 1.0 basierend

Turing-Vollständig

Erweiterbar durch eigene Funktionen (Java / Gremlin)

Unterstützt verschiedene BackendsNeo4jMemory…


Beispiel


Beispiel QueryWieviele Commits hat Entwickler X zu Release Y beigetragen?


Beispiel QueryWieviele Commits hat Entwickler X zu Release Y beigetragen?

$release := g:key($_g, 'string', string($release))

$commits := $release/outE/inV/inE/outV[@type='commit']

$relevant := $commits[outE/inV[@type='user' and @name=string($developer)]]

$count := count($relevant)


Komplexität

QueryIndex -> LogarithmischTraversal -> Linear

Insertion•Index -> Logarithmisch•Einfügen -> Linear

Query Insertion

Erste Avg. 10 Erste Avg. 10

Leer 782ms 303ms 47ms 0ms

Halb-Voll 1047ms 345ms 1110ms 204ms

Voll 1297ms 350ms 3890ms 415ms

Datenbank Größe:114102 Knoten / 177261 Kanten / 364931 Properties


Demo


To be continued…

Was wurde gemachtNeuer Anwendungsfall für ProvenanceAllgemeine Vorgehensweise gezeigtNeue Technologien zur Speicherung und Abfrage von Daten

Es existiert ein funktionierender Prototyp -> Einbindung in den Prozess

Offene Punkte / Weitere IdeenModell/Index/Query Strukturen optimierenVisualisierung / Grafische Queries / TimelineProzess ValidierungProzess OptimierungEinsatz in anderen ProzessenDatenschutz


Fragen?

provenance of software development processes

Technology