Themen

Zielstellung: Nachvollziehbarkeit und Reproduzierbarkeit

Voraussetzung: vollständiger Parametersatz und Archivierung von Daten und Routinen

Umsetzung in einem Gesamtsystem zur Datenverarbeitung

Offensichtliche Vorteile bei Verwendung des Systems

Glossar

PDF

Kapitel bei Springer

https://link.springer.com/chapter/10.1007/978-3-662-71607-6_31

• Nachvollziehbarkeit ist essentiell für Wissenschaftlichkeit.
  Trotzdem ist sie in den seltensten Fällen real gegeben.
• Jeder Verarbeitungsschritt sollte vollständig mit Parametern
  und Version der Routine dokumentiert werden.
• Nur Automatisierung kann eine lückenlose Dokumentation
  aller Verarbeitungsschritte gewährleisten.
• Nachvollziehbarkeit setzt die Archivierung sowohl der Rohdaten
  als auch der Verarbeitungsroutinen voraus.
• Eine lückenlose, automatisierte Selbstdokumentation lässt sich
  nur in einem modularen Gesamtsystem realisieren.

Nachvollziehbarkeit ist ein essentieller Aspekt aller Wissenschaften, auch wenn sie in der Realität in den seltensten Fällen ausreichend gegeben ist. Für eine rechnergestützte (digitale) Datenauswertung bedeutet das, dass jeder Verarbeitungsschritt vollständig mit allen impliziten und expliziten Parametern sowie dem Namen und der Versionsnummer der verwendeten Routine dokumentiert werden sollte. Eine lückenlose Dokumentation aller Verarbeitungsschritte, wie sie für die Nachvollziehbarkeit und damit letztlich Wissenschaftlichkeit notwendig ist, lässt sich nur durch Automatisierung dieser Protokollierung und eine entsprechende Disziplin bei der Erstellung und Verwendung von Auswertungssoftware erreichen.

Nachvollziehbarkeit und Wissenschaftlichkeit setzt darüber hinaus die Archivierung sowohl der einer Auswertung zugrundeliegenden Rohdaten oder Ausgangsdaten als auch der Verarbeitungsroutinen, also der verwendeten Software und aller real eingesetzten Versionen voraus. Je nach betrachtetem zeitlichem Rahmen lässt sich das nur in einem institutionellen Kontext sicherstellen, der die notwendige Infrastruktur langfristig bereitstellt. Für den Einsatz entsprechender Werkzeuge sind aber die einzelnen Wissenschaftlerinnen und Wissenschaftler selbst verantwortlich. Aufgrund der Größe und Komplexität der Aufgabe lässt sich eine lückenlose und automatisierte Selbstdokumentation der Datenverarbeitung und -Analyse nur in einem modularen Gesamtsystem realisieren. Die Modularität ermöglicht dabei die reale Umsetzbarkeit.

Diese Fragen dienen der persönlichen Beschäftigung mit der Thematik, es werden aber keine Antworten zur Verfügung gestellt.

• Was ist der Unterschied zwischen Reproduzierbarkeit und Replizierbarkeit? Was lässt sich einfacher sicherstellen bzw. liegt in der Verantwortung \emph{jedes} Wissenschaftlers?
• Warum sind ein Versionsnummernschema und ein Versionsverwaltungssystem wesentliche Voraussetzung für die Reproduzierbarkeit von Auswertungen?
• Wie lässt sich die unvermeidbare Komplexität eines Systems zur wissenschaftlichen Datenauswertung in der Praxis angehen? Welche Aspekte eines solchen Systems sind für seinen Erfolg essentiell?
• Warum spielt das Paradigma der Objektorientierten Programmierung gerade bei einem Gesamtsystem zur Datenverarbeitung und -Analyse seine Stärken aus?
• Welche Möglichkeiten zur Verarbeitung und Analyse mehrerer Datensätze lassen sich unterscheiden? Diskutieren Sie Vor- und Nachteile der einzelnen Lösungen. Was setzen alle diese Lösungen zwingend voraus?

Eine kommentierte und handverlesene Liste mit weiterführender Literatur zum Thema. Die Auswahl ist zwangsläufig subjektiv.

Die Wichtigkeit der Reproduzierbarkeit von Auswertungen ist ein Thema, das immer mal wieder durch die wissenschaftliche Öffentlichkeit geistert, oftmals im Zusammenhang mit aufgedecktem Betrug durch Datenfälschung [Crocker, 2011Crocker, Jennifer; Cooper, M. Lynne (2011): Addressing scientific fraud, Science 334:1182, Jasny, 2011Jasny, Barbara R.; Chin, Gilbert; Chong, Lisa; Vignieri, Sacha (2011): Again, and again, and again..., Science 334:1225, Peng, 2011Peng, Roger D. (2011): Reproducible research in computational science, Science 334:1226-1227].

Ein lesenswerter Artikel, der sich mit der Reproduzierbarkeit rechnergestützter Datenauswertung befasst und zehn einfache Regeln aufstellt, ist [Sandve, 2013Sandve, Geir Kjetil; Nekrutenko, Anton; Taylor, James; Hovig, Eivind (2013): Ten simple rules for reproducible computational research, PLoS Comput. Biol. 9:e1003285]. Die behandelten Themen reichen über die dieses Kapitels hinaus. Manches dort behandelte wird erst im folgenden Kapitel behandelt werden.

• Crocker, Jennifer; Cooper, M. Lynne (2011): Addressing scientific fraud, Science 334:1182
• Jasny, Barbara R.; Chin, Gilbert; Chong, Lisa; Vignieri, Sacha (2011): Again, and again, and again..., Science 334:1225
• Peng, Roger D. (2011): Reproducible research in computational science, Science 334:1226-1227
• Sandve, Geir Kjetil; Nekrutenko, Anton; Taylor, James; Hovig, Eivind (2013): Ten simple rules for reproducible computational research, PLoS Comput. Biol. 9:e1003285