http://simri.it/
2020 29 GEN
Tipologia di contenuto: news
Registro comunicativo: professionale
Area di interesse: Medico

ROC analisi in assenza di un test set: evidenze da uno studio di simulazione e dalla validazione in lingua italiana del CARATkids

L'uso di curve ROC a supporto delle decisioni è diventata una pratica abbastanza comune nella ricerca biomedica. Sebbene la necessità di valutare le prestazioni predittive di un classificatore su un campione di test indipendente dal campione che ha generato la regola sia stata ben dimostrata, ad esempio nel contesto del machine learning, questo argomento sembra essere stato trascurato nella ricerca clinica.

In un recente studio, Cilluffo et al. hanno mostrato le implicazioni inferenziali della suddivisione (o meno) dell’intero set di dati in training e test set attraverso uno studio di simulazione.

La corretta procedura di splitting è stata applicata in un caso studio al fine di valutare la validità discriminante della versione italiana del questionario sul controllo della rinite e dell'asma (CARATkids) per i bambini con asma e rinite. I dati analizzati nell'articolo riguardavano n = 112 bambini di età compresa tra 6 e 11 anni, con diagnosi medica di rinite e asma, arruolati consecutivamente da marzo 2015 a dicembre 2016.

Lo studio di simulazione ha mostrato che sia il singolo splitting che la cross-validation (CV) hanno fornito stimatori non distorti di sensibilità, specificità e tasso di errata classificazione. Il CARATkids ha mostrato un tasso di errata classificazione di 0.22, indicando una validità discriminante accettabile.

In conclusione, gli autori suggeriscono che la suddivisione in training e test set evita di sovrastimare le prestazioni di un test nell'analisi ROC. Il CARATkids è risultato essere un valido strumento per valutare il controllo di rinite e asma in bambini.

Fonte:
Cilluffo G, Fasola S, Ferrante G, Montalbano L, Baiardini I, Indinnimeo L, Viegi G, Fonseca JA, La Grutta S. Overrating Classifier Performance in ROC Analysis in the Absence of a Test Set: Evidence from Simulation and Italian CARATkids Validation. Methods Inf Med. 2019;58(S 02):e27-e42.

Articolo a cura di Giovanna Cilluffo