Themen

Zielstellung: Nachvollziehbarkeit und Reproduzierbarkeit

Voraussetzung: vollständiger Parametersatz und Archivierung von Daten und Routinen

Umsetzung in einem Gesamtsystem zur Datenverarbeitung

Offensichtliche Vorteile bei Verwendung des Systems

Folien

PDF

Glossar

PDF

• Nachvollziehbarkeit ist essentiell für Wissenschaftlichkeit.
  Trotzdem ist sie in den seltensten Fällen real gegeben.
• Jeder Verarbeitungsschritt sollte vollständig mit Parametern
  und Version der Routine dokumentiert werden.
• Nur Automatisierung kann eine lückenlose Dokumentation
  aller Verarbeitungsschritte gewährleisten.
• Nachvollziehbarkeit setzt die Archivierung sowohl der Rohdaten
  als auch der Verarbeitungsroutinen voraus.
• Eine lückenlose, automatisierte Selbstdokumentation lässt sich
  nur in einem modularen Gesamtsystem realisieren.

Diese Fragen dienen der persönlichen Beschäftigung mit der Thematik, werden aber nicht separat in der Vorlesung besprochen.

• Was ist der Unterschied zwischen Reproduzierbarkeit und Replizierbarkeit? Was lässt sich einfacher sicherstellen bzw. liegt in der Verantwortung \emph{jedes} Wissenschaftlers?
• Warum sind ein Versionsnummernschema und ein Versionsverwaltungssystem wesentliche Voraussetzung für die Reproduzierbarkeit von Auswertungen?
• Wie lässt sich die unvermeidbare Komplexität eines Systems zur wissenschaftlichen Datenauswertung in der Praxis angehen? Welche Aspekte eines solchen Systems sind für seinen Erfolg essentiell?
• Warum spielt das Paradigma der Objektorientierten Programmierung gerade bei einem Gesamtsystem zur Datenverarbeitung und -Analyse seine Stärken aus?
• Welche Möglichkeiten zur Verarbeitung und Analyse mehrerer Datensätze lassen sich unterscheiden? Diskutieren Sie Vor- und Nachteile der einzelnen Lösungen. Was setzen alle diese Lösungen zwingend voraus?

Eine kommentierte und handverlesene Liste mit weiterführender Literatur zum Thema. Die Auswahl ist zwangsläufig subjektiv.

Die Wichtigkeit der Reproduzierbarkeit von Auswertungen ist ein Thema, das immer mal wieder durch die wissenschaftliche Öffentlichkeit geistert, oftmals im Zusammenhang mit aufgedecktem Betrug durch Datenfälschung {[croc-sci-334-1182,jasn-sci-334-1225,peng-sci-334-1226]}.

Ein lesenswerter Artikel, der sich mit der Reproduzierbarkeit rechnergestützter Datenauswertung befasst und zehn einfache Regeln aufstellt, ist {[sand-ploscb-9-e1003285]}. Die behandelten Themen reichen über die dieses Kapitels hinaus. Manches dort behandelte wird erst im folgenden Kapitel behandelt werden.

Komplette Systeme zur Datenverarbeitung und -Analyse wurden mehrfach in der Literatur für unterschiedliche Disziplinen vorgestellt. Mesirov {[mesi-sci-327-415]} spricht in diesem Kontext von einem „System zur reproduzierbaren Wissenschaft“ (Reproducible Research System, RRS). Wie ein solches System umgesetzt wird, dazu gibt es in unterschiedlichen Disziplinen unterschiedliche Ansätze. Beispiele wären das „Pegasus Framework“ {[deel-sprog-13-219]}, Galaxy {[goec-gb-11-r86]} und GenePatterns {[mesi-sci-327-415,reic-ngen-38-500]}. Vermutlich historisch der erste funktionierende und publizierte Ansatz (ReDoc), basierend auf freier Software und dem GNU-make-Werkzeug, stammt aus dem „Stanford Exploration Project“ um Jon Claerbout {[schw-compse-2-61]}. Eine gute Überblicksdarstellung sowohl grundlegender Aspekte als auch konkreter Systeme liefert {[stodden-v-2014]}.

<bibtex bibliography> sort=true </bibtex>