Alarm eşiği için precision ve recall nasıl hesaplanır?

Dört sayı: TP, FP, FN, TN

Her uyarı, ya da her zaman dilimi, gerçekte ne olduğuyla karşılaştırılarak sınıflandırılır. Doğru uyarı (TP), gerçek bir olayla eşleşen uyarıdır. Yanlış alarm (FP), arkasında olay bulunmayan uyarıdır. Kaçırılan olay (FN), hiçbir uyarı üretmeyen gerçek bir olaydır. Doğru sessizlik (TN) ise olay yokken alarmın olmamasıdır.

Precision = TP / (TP + FP) uyarılara bakar: alarmlara ne kadar güvenilir? Recall = TP / (TP + FN) olaylara bakar: olayların ne kadarı yakalandı? Eşik, ikisi arasındaki dengeyi kaydırır. F1 = 2PR / (P + R) ikisini tek sayıda birleştirir, ama hangi hatanın daha pahalı olduğunu söylemez.

Hipotetik örnek: iki eşik

Varsayımsal bir hatta bir ayda 10 gerçek olay olsun. Eşik A’da model 12 alarm veriyor ve bunların 8’i gerçek: TP = 8, FP = 4, FN = 2.

• Precision = 8/12 = 0,667
• Recall = 8/10 = 0,80
• F1 = 2 × 0,667 × 0,80 / (0,667 + 0,80) ≈ 0,727

Eşik B’de, daha yüksek bir eşikle, model 7 alarm veriyor ve bunların 6’sı gerçek: TP = 6, FP = 1, FN = 4.

• Precision = 6/7 ≈ 0,857
• Recall = 6/10 = 0,60
• F1 = 2 × 0,857 × 0,60 / (0,857 + 0,60) ≈ 0,706

Eşik yükselince precision 0,667’den 0,857’ye çıkar; ama recall 0,80’den 0,60’a düşer ve F1 de 0,727’den 0,706’ya geriler. B’nin daha iyi olup olmadığı, kaçırılan bir olayın maliyetine bağlıdır.

Sık yapılan hatalar

Birinci hata sayım birimidir. 30 dakika boyunca her dakika eşiğin üzerinde kalan tek bir olay, 30 alarm değil tek bir olay sayılmalıdır. Örnek düzeyinde ve olay düzeyinde hesaplanan precision çok farklı çıkabilir; hangisini raporladığınızı belirtin.

İkinci hata doğruluk (accuracy) kullanmaktır. Olayların nadir olduğu veride hiç alarm üretmeyen bir model bile yüksek doğruluk verir. Üçüncü hata eşiği test verisine göre seçmektir. Eşik ayrı bir doğrulama döneminde seçilmeli, test dönemi en sonda yalnızca bir kez kullanılmalıdır. Bir alarmın olayla eşleşmesi için de kural gerekir: olaydan kaç dakika önce ya da sonra gelen uyarı isabet sayılacak?

Sık sorulanlar