KutupASP Dijital
ENNQ’yu aç
ML

Alarm eşiği: precision, recall ve işletme maliyeti

Tek bir doğruluk yüzdesi, seyrek arızalarda neden yanıltıcıdır?

13 Eylül 20262 dkKutup · ASP Dijital
Kısaca
  • Yalnızca on arıza olan bin gözlemde her zaman normal diyen model yüzde 99 doğruluk gösterir ama hiçbir arızayı yakalamaz.
  • Precision verilen uyarıların ne kadarının doğru olduğunu, recall ise gerçek olayların ne kadarının yakalandığını gösterir.
  • Tek bir arıza etrafında üretilen otuz ardışık uyarı otuz bağımsız başarı sayılmaz, bu yüzden uyarılar olay pencerelerinde gruplanmalıdır.

Paydayı görünür yapın

Bin gözlemin yalnızca onunda arıza varsa, her zaman normal diyen model yüzde 99 doğruluk gösterir ve bütün arızaları kaçırır. Bu örnek gerçek bir saha ölçümü değildir; sınıf dengesizliğinin etkisini açıklayan bir hesap örneğidir. Kabul tablosunda gerçek pozitif, yanlış pozitif, yanlış negatif ve gerçek negatif sayıları bulunsun.

İki soruyu ayırın

Precision, verilen uyarıların ne kadarının doğru olduğunu; recall ise gerçek olayların ne kadarının yakalandığını sorar. Payda sıfırsa sonuç tanımsızdır; yüzde sıfır veya yüz yazmak yerine hesaplanamadığını gösterin. F1 bu iki değeri tek sayıda birleştirir, fakat operasyonel maliyeti kendiliğinden içermez.

Eşiği doğrulamada seçin

Eşiği düşürmek daha çok uyarı üretir; bunun yararı ve maliyeti beraber değerlendirilmelidir. Önerilen pilotta bakım kapasitesi ve kaçırılan olayın etkisi için iki ayrı maliyet yazın. Seçilen eşiği son test dönemine dokunmadan sabitleyin. Kalibre edilmemiş model skorunu arıza ihtimali diye adlandırmayın.

Olay düzeyini raporlayın

Tek arıza için 30 ardışık uyarı üretmek 30 ayrı başarı değildir. Uyarıları olay pencerelerinde gruplayın ve tekrar bildirim politikasını belirtin. Vardiya başına yanlış alarm ve olay başına ilk uyarı zamanı, bakım ekibinin kullanabileceği ölçülerdir. Nokta düzeyi metrikleri de koruyun; iki görünüm farklı soruları yanıtlar.

Sık sorulanlar

Alarm eşiği nasıl seçilir ve precision recall ile nasıl ölçülür?

Eşiği doğrulama verisinde seçin ve son test öncesinde sabitleyin. Eşiği düşürmek genellikle daha çok uyarı üretir, bu yüzden yararı ve maliyeti birlikte değerlendirin. Bakım kapasitesi ile kaçırılan bir olayın etkisini ayrı ayrı yazın. Kalibre edilmemiş model skoru arıza olasılığı diye adlandırılmamalıdır.

Bir arıza için birden fazla uyarı üretildiğinde model nasıl değerlendirilir?

Tek bir arıza etrafındaki ardışık uyarılar bağımsız başarılar olarak sayılmamalıdır. Uyarıları olay pencerelerinde gruplayın ve tekrar bildirim kuralını belgeleyin. Vardiya başına yanlış alarm ve olay başına ilk uyarı süresi kullanışlı ölçülerdir. Nokta düzeyi metrikleri de saklayın, çünkü bunlar farklı bir soruyu yanıtlar.

Kaynaklar ve ileri okuma

Bu rehberdeki pilot adımları önerilen mühendislik iş akışlarıdır. Örnekler saha performansı iddiası içermez.

Bu konuda sık sorulan sorular

Alarm seli nedir, nasıl önlenir?Shewhart, CUSUM ve EWMA: hangisini ne zaman kullanmalıyım?Anomali tespiti nedir ve sensör verisinde nasıl yapılır?Anomali modelinde yanlış alarm nasıl azaltılır?Zaman serisi verisinde eğitim ve test ayrımı nasıl yapılır?Alarm eşiği için precision ve recall nasıl hesaplanır?

Okumaya devam edin.

Tüm kütüphane