Abstract: Können wir Rankings vertrauen? Eine systematische Analyse biomedizinischer Challenges hinsichtlich Reporting und Design

Im Bereich der biomedizinischen Bildanalyse werden vermehrt öffentliche Wettbewerbe (Challenges) durchgeführt, die den Vergleich von Methoden unter denselben Bedingungen ermöglichen. Ergebnisse aus solchen Challenges gewinnen zur Bewertung von Forschungsresultaten – z.B. im Reviewprozess von Publikationen– immer mehr an Bedeutung. Demgegenüber steht eine mangelnde Qualit ätskontrolle im Challengedesign. Dieser Beitrag beruht auf der Hypothese, dass eine unzureichende Qualitätskontrolle zu einer geringen Aussagekraft der Challengeergebnisse führen kann. Basierend auf dem Validierungsprotokoll von Jannin et al. [1] wurden sämtliche biomedizinischen Challenges des Kollektivs Grand Challenges in Biomedical Image Analysis“ [2] bis zum Jahr 2016 erfasst und systematisch analysiert. Wir präsentieren die Analyseergebnisse hinsichtlich der Vollständigkeit des Reportings und des Einflusses verschiedener Entscheidungen im Challengedesign auf das finale Ranking der Teilnehmer. Unsere Analyse demonstriert die Notwendigkeit einer Qualitätskontrolle, welche dazu beitragen sollte, dass Rankings nachvollziehbar sowie reproduzierbar sind und die Aussagef ähigkeit erhöht wird.

Authors and Affiliations

1. DKFZ Heidelberg, Computer-assistierte medizinische Interventionen, Heidelberg, Deutschland

   Matthias Eisenmann, Patrick Scholz, Marko Stankovic & Lena Maier-Hein

2. Universität Rennes 1, MediCIS, UMR 1099 LTSI, INSERM, Fakultät für Medizin, Rennes, France

   Pierre Jannin

3. Universitätsklinikum Heidelberg, Institut für Medizinische Biometrie und Informatik, Heidelberg, Deutschland

   Christian Stock

Corresponding author

Correspondence to Matthias Eisenmann .

Editors and Affiliations

1. Deutsches Krebsforschungszentrum, Juniorgruppe Medizinische Bildverarbeitung, Heidelberg, Germany

   Klaus Hermann Maier-Hein, geb. Fritzsche

2. Uniklinik RWTH Aachen, Institut für Medizinische Informatik, Aachen, Germany

   Thomas Martin Deserno, geb. Lehmann

3. Universität zu Lübeck, Institut für Medizinische Informatik, Lübeck, Germany

   Heinz Handels

4. Charité – Universitätsmedizin Berlin, Institut für Medizinische Informatik, Berlin, Germany

   Thomas Tolxdorff

Reprints and permissions

© 2017 Springer-Verlag GmbH Deutschland

Policies and ethics