ROC-kõvera alune pindala

ROC-kõvera alune pindala (ingl. area under the curve, AUC) on üks testi /mudeli headuse mõõte. Kui uuritava sündmuse toimumist ennustada näiteks kulli ja kirja viskamise teel, on ennustuse täpsus 0,5 (50%) - seega vastab AUC = 0,5 juhule, kus mudeli argument mingit rolli ei mängi, ehk mingit seost ei ole. Mida enam erineb AUC 0,5-st, seda täpsemini antud mudel ennustab ehk prognoosib (seda parem on mudel).

Kokkuleppelised piirid, hindamaks testi/mudeli headust on järgmised:

• kui AUC≥0,9, siis on testi/mudeli täpsus suurepärane (ingl. excellent),
• AUC≥0,8 puhul hea (ingl. good),
• AUC≥0,7 puhul rahuldav (ingl. fair),
• AUC≥0,6 puhul kasin (ingl. poor) ja alla selle ei ole erilist mõtet ennustuse/prognoosi täpsusest rääkida.

Kui statistiliste analüüside teostamisel kasutatav tarkvara väljastab lisaks ROC-kõvera aluse pinna suurusele ka selle 95%-lise usaldusaintervalli 95%CI_AUC, on viimane kasutatav otsustamaks mudeli statistilise olulisuse üle:

• kui argumenttunnuse ja prognoositava sündmuse sõltumatuse juhule (nullhüpoteesile) vastav arv 0,5 jääb usaldusintervalli sisse, ei ole mudel statistiliselt oluline (0,5Î95%CI_AUC -> p>0,05),
• kui aga usaldusintervall arvu 0,5 ei sisalda, on prognoosimudel statistiliselt oluline (0,5Ï95%CI_AUC -> p<0,05).

Tudengite näites tuleb ROC-kõvera aluse pinna suuruseks AUC = 0,878, mistap võib tudengite soo prognoosimise täpsust nädalase keskmise õlletarbimise alusel lugeda heaks.

Et ROC-kõvera aluse pindala 95%-line usaldusintervall 95%CI_AUC = (0,785; 0,970) ei sisalda arvu 0,5, võib seose tudengite õlletarbimise ja soo vahel lugeda ka statistiliselt oluliseks (p<0,05).