Metrics reloaded: recommendations for image analysis validation
Lena Maier-Hein
(1)
,
Annika Reinke
(1)
,
Patrick Godau
(1)
,
Minu Tizabi
(1)
,
Florian Buettner
(1)
,
Evangelia Christodoulou
(1)
,
Ben Glocker
(2)
,
Fabian Isensee
(1)
,
Jens Kleesiek
(3)
,
Michal Kozubek
(4)
,
Mauricio Reyes
(5)
,
Michael Riegler
(6)
,
Manuel Wiesenfarth
(1)
,
A Emre Kavur
(1)
,
Carole Sudre
(7)
,
Michael Baumgartner
(1)
,
Matthias Eisenmann
(1)
,
Doreen Heckmann-Nötzel
(1)
,
Tim Rädsch
(1)
,
Laura Acion
(8)
,
Michela Antonelli
(7)
,
Tal Arbel
(9)
,
Spyridon Bakas
(10)
,
Arriel Benis
(11)
,
Matthew Blaschko
(12)
,
M Jorge Cardoso
(13)
,
Veronika Cheplygina
(14)
,
Beth Cimini
(15)
,
Gary Collins
(16)
,
Keyvan Farahani
(17)
,
Luciana Ferrer
(18)
,
Adrian Galdran
(19)
,
Bram van Ginneken
(20)
,
Robert Haase
(21)
,
Daniel Hashimoto
(10)
,
Michael Hoffman
(22)
,
Merel Huisman
(20)
,
Pierre Jannin
(23, 24)
,
Charles Kahn
(10)
,
Dagmar Kainmueller
(25)
,
Bernhard Kainz
(26)
,
Alexandros Karargyris
(27)
,
Alan Karthikesalingam
(28)
,
Florian Kofler
(29)
,
Annette Kopp-Schneider
(1)
,
Anna Kreshuk
(30)
,
Tahsin Kurc
(31)
,
Bennett Landman
(32)
,
Geert Litjens
(20)
,
Amin Madani
(33)
,
Klaus Maier-Hein
(1)
,
Anne Martel
(22)
,
Peter Mattson
(34)
,
Erik Meijering
(35)
,
Bjoern Menze
(36)
,
Karel Moons
(37)
,
Henning Müller
(38)
,
Brennan Nichyporuk
(39)
,
Felix Nickel
(40)
,
Jens Petersen
(1)
,
Nasir Rajpoot
(41)
,
Nicola Rieke
,
Julio Saez-Rodriguez
(42)
,
Clara Sánchez
(43)
,
Shravya Shetty
(44)
,
Maarten van Smeden
(45)
,
Ronald Summers
(17)
,
Abdel Taha
(46)
,
Aleksei Tiulpin
(47)
,
Sotirios Tsaftaris
(48)
,
Ben van Calster
(49)
,
Gaël Varoquaux
(50)
,
Paul Jäger
(1)
1
DKFZ -
German Cancer Research Center - Deutsches Krebsforschungszentrum [Heidelberg]
2 Imperial College London
3 Universität Duisburg-Essen = University of Duisburg-Essen [Essen]
4 MUNI - Masaryk University [Brno]
5 UNIBE - Universität Bern = University of Bern = Université de Berne
6 UiT - The Arctic University of Norway [Tromsø, Norway]
7 UCL - University College of London [London]
8 CONICET - Consejo Nacional de Investigaciones Científicas y Técnicas [Buenos Aires]
9 McGill University = Université McGill [Montréal, Canada]
10 University of Pennsylvania
11 HIT - Holon Institut of Technology
12 KU Leuven - Catholic University of Leuven = Katholieke Universiteit Leuven
13 King‘s College London
14 ITU - IT University of Copenhagen
15 BROAD INSTITUTE - Broad Institute of MIT and Harvard
16 University of Oxford
17 NCI-NIH - National Cancer Institute [Bethesda]
18 CONICET-UNC Córdoba Argentina
19 UPF - Universitat Pompeu Fabra [Barcelona]
20 RadboudUMC - Radboud University Medical Center [Nijmegen]
21 TU Dresden - Technische Universität Dresden = Dresden University of Technology
22 University of Toronto
23 LTSI - Laboratoire Traitement du Signal et de l'Image
24 Centre Hospitalier Universitaire de Rennes [CHU Rennes] = Rennes University Hospital [Pontchaillou]
25 University of Potsdam = Universität Potsdam
26 FAU - Friedrich-Alexander Universität Erlangen-Nürnberg = University of Erlangen-Nuremberg
27 IHU Strasbourg - L'Institut hospitalo-universitaire de Strasbourg
28 DeepMind [London]
29 Helmholtz AI
30 EMBL - European Molecular Biology Laboratory
31 SBU - Stony Brook University [SUNY]
32 Vanderbilt University [Nashville]
33 University Health Network [Toronto, ON, Canada]
34 Google Inc [Mountain View]
35 University of New South Wales [Kensington]
36 UZH - Universität Zürich [Zürich] = University of Zurich
37 Universiteit Utrecht / Utrecht University [Utrecht]
38 UNIGE - Université de Genève = University of Geneva
39 Mila - Institut québécois d’intelligence artificielle = Quebec Artificial Intelligence Institute
40 UKE - Universitaetsklinikum Hamburg-Eppendorf = University Medical Center Hamburg-Eppendorf [Hamburg]
41 University of Warwick [Coventry]
42 Universität Heidelberg [Heidelberg] = Heidelberg University
43 UvA - University of Amsterdam [Amsterdam] = Universiteit van Amsterdam
44 Google Inc.
45 UMCU - University Medical Center [Utrecht]
46 TU Wien - Fakultät für Mathematik und Geoinformation [Wien]
47 University of Oulu [Finland] = Oulun yliopisto [Suomi] = Université d'Oulu [Finlande]
48 Edin. - University of Edinburgh
49 LUMC - Leiden University Medical Center
50 SODA - Méthodes computationnelles et mathématiques pour comprendre la société et la santé à partir de données
2 Imperial College London
3 Universität Duisburg-Essen = University of Duisburg-Essen [Essen]
4 MUNI - Masaryk University [Brno]
5 UNIBE - Universität Bern = University of Bern = Université de Berne
6 UiT - The Arctic University of Norway [Tromsø, Norway]
7 UCL - University College of London [London]
8 CONICET - Consejo Nacional de Investigaciones Científicas y Técnicas [Buenos Aires]
9 McGill University = Université McGill [Montréal, Canada]
10 University of Pennsylvania
11 HIT - Holon Institut of Technology
12 KU Leuven - Catholic University of Leuven = Katholieke Universiteit Leuven
13 King‘s College London
14 ITU - IT University of Copenhagen
15 BROAD INSTITUTE - Broad Institute of MIT and Harvard
16 University of Oxford
17 NCI-NIH - National Cancer Institute [Bethesda]
18 CONICET-UNC Córdoba Argentina
19 UPF - Universitat Pompeu Fabra [Barcelona]
20 RadboudUMC - Radboud University Medical Center [Nijmegen]
21 TU Dresden - Technische Universität Dresden = Dresden University of Technology
22 University of Toronto
23 LTSI - Laboratoire Traitement du Signal et de l'Image
24 Centre Hospitalier Universitaire de Rennes [CHU Rennes] = Rennes University Hospital [Pontchaillou]
25 University of Potsdam = Universität Potsdam
26 FAU - Friedrich-Alexander Universität Erlangen-Nürnberg = University of Erlangen-Nuremberg
27 IHU Strasbourg - L'Institut hospitalo-universitaire de Strasbourg
28 DeepMind [London]
29 Helmholtz AI
30 EMBL - European Molecular Biology Laboratory
31 SBU - Stony Brook University [SUNY]
32 Vanderbilt University [Nashville]
33 University Health Network [Toronto, ON, Canada]
34 Google Inc [Mountain View]
35 University of New South Wales [Kensington]
36 UZH - Universität Zürich [Zürich] = University of Zurich
37 Universiteit Utrecht / Utrecht University [Utrecht]
38 UNIGE - Université de Genève = University of Geneva
39 Mila - Institut québécois d’intelligence artificielle = Quebec Artificial Intelligence Institute
40 UKE - Universitaetsklinikum Hamburg-Eppendorf = University Medical Center Hamburg-Eppendorf [Hamburg]
41 University of Warwick [Coventry]
42 Universität Heidelberg [Heidelberg] = Heidelberg University
43 UvA - University of Amsterdam [Amsterdam] = Universiteit van Amsterdam
44 Google Inc.
45 UMCU - University Medical Center [Utrecht]
46 TU Wien - Fakultät für Mathematik und Geoinformation [Wien]
47 University of Oulu [Finland] = Oulun yliopisto [Suomi] = Université d'Oulu [Finlande]
48 Edin. - University of Edinburgh
49 LUMC - Leiden University Medical Center
50 SODA - Méthodes computationnelles et mathématiques pour comprendre la société et la santé à partir de données
Lena Maier-Hein
Connectez-vous pour contacter l'auteur
- Fonction : Auteur correspondant
- PersonId : 1122285
- ORCID : 0000-0003-4910-9368
Connectez-vous pour contacter l'auteur
Annika Reinke
Connectez-vous pour contacter l'auteur
- Fonction : Auteur correspondant
- PersonId : 1356965
- ORCID : 0000-0003-4363-1876
Connectez-vous pour contacter l'auteur
Patrick Godau
- Fonction : Auteur
- PersonId : 1356966
- ORCID : 0000-0002-0365-7265
Ben Glocker
- Fonction : Auteur
- PersonId : 764547
- ORCID : 0000-0002-4897-9356
- IdRef : 183524535
Michal Kozubek
- Fonction : Auteur
- PersonId : 1356967
- ORCID : 0000-0001-7902-589X
Michael Riegler
- Fonction : Auteur
- PersonId : 1356968
- ORCID : 0000-0002-3153-2064
Matthias Eisenmann
- Fonction : Auteur
- PersonId : 1356969
- ORCID : 0000-0002-0713-8761
Tim Rädsch
- Fonction : Auteur
- PersonId : 1356970
- ORCID : 0000-0003-3518-0315
Laura Acion
- Fonction : Auteur
- PersonId : 1356971
- ORCID : 0000-0001-5213-6012
Michela Antonelli
- Fonction : Auteur
- PersonId : 807399
- ORCID : 0000-0002-3005-4523
Tal Arbel
- Fonction : Auteur
- PersonId : 1356972
- ORCID : 0000-0001-8870-3007
Spyridon Bakas
- Fonction : Auteur
- PersonId : 1356973
- ORCID : 0000-0001-8734-6482
Arriel Benis
- Fonction : Auteur
- PersonId : 1356974
- IdHAL : arriel-benis
- ORCID : 0000-0002-9125-8300
Veronika Cheplygina
- Fonction : Auteur
- PersonId : 798684
- ORCID : 0000-0003-0176-9324
- IdRef : 258368004
Beth Cimini
- Fonction : Auteur
- PersonId : 1356975
- ORCID : 0000-0001-9640-9318
Robert Haase
- Fonction : Auteur
- PersonId : 1157563
- ORCID : 0000-0001-5949-2327
Daniel Hashimoto
- Fonction : Auteur
- PersonId : 1356976
- ORCID : 0000-0003-4725-3104
Michael Hoffman
- Fonction : Auteur
- PersonId : 1356977
- ORCID : 0000-0002-4517-1562
Pierre Jannin
- Fonction : Auteur
- PersonId : 740200
- IdHAL : pierre-jannin
- ORCID : 0000-0002-7415-071X
- IdRef : 116295848
Charles Kahn
- Fonction : Auteur
- PersonId : 1356978
- ORCID : 0000-0002-6654-7434
Bernhard Kainz
- Fonction : Auteur
- PersonId : 1086610
- ORCID : 0000-0002-7813-5023
Alexandros Karargyris
- Fonction : Auteur
- PersonId : 1191628
- ORCID : 0000-0002-1930-3410
Annette Kopp-Schneider
- Fonction : Auteur
- PersonId : 1356979
- ORCID : 0000-0002-1810-0267
Anna Kreshuk
- Fonction : Auteur
- PersonId : 1349391
- ORCID : 0000-0003-1334-6388
Bennett Landman
- Fonction : Auteur
- PersonId : 793140
- ORCID : 0000-0001-5733-2127
Geert Litjens
- Fonction : Auteur
- PersonId : 1356980
- ORCID : 0000-0003-1554-1291
Peter Mattson
- Fonction : Auteur
- PersonId : 1356982
- ORCID : 0000-0002-5984-238X
Erik Meijering
- Fonction : Auteur
- PersonId : 1356983
- ORCID : 0000-0001-8015-8358
Bjoern Menze
- Fonction : Auteur
- PersonId : 727
- IdHAL : bjoern-menze
- ORCID : 0000-0003-4136-5690
- IdRef : 191610844
Henning Müller
- Fonction : Auteur
- PersonId : 772505
- ORCID : 0000-0001-6800-9878
Brennan Nichyporuk
- Fonction : Auteur
- PersonId : 1356984
- ORCID : 0009-0006-8087-6089
Nasir Rajpoot
- Fonction : Auteur
- PersonId : 1356985
- ORCID : 0000-0001-6760-1271
Nicola Rieke
- Fonction : Auteur
- PersonId : 1356986
- ORCID : 0000-0003-0241-9334
Julio Saez-Rodriguez
- Fonction : Auteur
- PersonId : 769094
- ORCID : 0000-0002-8552-8976
Ronald Summers
- Fonction : Auteur
- PersonId : 1356987
- ORCID : 0000-0001-8081-7376
Abdel Taha
- Fonction : Auteur
- PersonId : 1356988
- ORCID : 0000-0002-7604-9041
Aleksei Tiulpin
- Fonction : Auteur
- PersonId : 1356989
- ORCID : 0000-0002-7852-4141
Gaël Varoquaux
- Fonction : Auteur
- PersonId : 5878
- IdHAL : gael-varoquaux
- ORCID : 0000-0003-1076-5122
- IdRef : 126239894
Paul Jäger
- Fonction : Auteur
- PersonId : 1356990
- ORCID : 0000-0002-6243-2568
Résumé
Increasing evidence shows that flaws in machine learning (ML) algorithm validation are an underestimated global problem. In biomedical image analysis, chosen performance metrics often do not reflect the domain interest, and thus fail to adequately measure scientific progress and hinder translation of ML techniques into practice. To overcome this, we created Metrics Reloaded, a comprehensive framework guiding researchers in the problem-aware selection of metrics. Developed by a large international consortium in a multistage Delphi process, it is based on the novel concept of a problem fingerprint-a structured representation of the given problem that captures all aspects that are relevant for metric selection, from the domain interest to the properties of the target structure(s), dataset and algorithm output. On the basis of the problem fingerprint, users are guided through the process of choosing and applying appropriate validation metrics while being made aware of potential pitfalls. Metrics Reloaded targets image analysis problems that can be interpreted as classification tasks at image, object or pixel level, namely image-level classification, object detection, semantic segmentation and instance segmentation tasks. To improve the user experience, we implemented the framework in the Metrics Reloaded online tool. Following the convergence of ML methodology across application domains, Metrics Reloaded fosters the convergence of validation methodology. Its applicability is demonstrated for various biomedical use cases.
Origine | Fichiers produits par l'(les) auteur(s) |
---|