Metrikleri karara bağlayın
Ölçünün hangi kararı değiştireceğini baştan açıklayın. Başlangıç değeri, örneklem ve karşılaştırma dönemini kaydedin. Ortalama kadar uç durumları da inceleyin; olumlu görünen bir sayının başka bir kaliteyi bozmadığını kontrol edin.
Yapay Zekâ için bu kararın somut karşılığı: Yüksek etkili işlemler doğrudan model kararına bırakılmamalıdır. Yanlış sınıflandırmaların maliyeti her kategoride aynı değildir.
Yapay zekâda insan onayı
Yüksek etkili işlemler doğrudan model kararına bırakılmamalıdır.
Öneri ile uygulama yetkisini ayırın ve onay ekranında dayanak gösterin. Örnek senaryo: İade önerisi temsilci tarafından onaylanmadan ödeme yapılmaz.
Onay düğmesi arkasında değişmiş içerik çalıştırmak kontrolü anlamsızlaştırır. Kontrol: Onaylanan yük ile çalıştırılan yükün aynı olduğunu test edin.
Sınıflandırma eşikleri
Yanlış sınıflandırmaların maliyeti her kategoride aynı değildir.
Kararsız örnekleri manuel incelemeye yönlendiren eşikler belirleyin. Örnek senaryo: Acil destek talebi belirsizse düşük önceliğe otomatik düşürülmez.
Tek doğruluk oranı kritik sınıftaki hatayı gizleyebilir. Kontrol: Sınıf bazlı kesinlik ve duyarlılığı inceleyin.
Model seçimi için görev matrisi
En büyük model her iş için en uygun seçenek değildir.
Doğruluk, gecikme, maliyet ve veri şartlarını görev bazında puanlayın. Örnek senaryo: Basit etiketleme küçük modelle, karmaşık inceleme ayrı modelle denenir.
Genel kıyaslama puanını ürün başarısıyla eşitlemek yanıltıcıdır. Kontrol: Kendi veri kümenizde modelleri aynı koşullarda karşılaştırın.
Karar ve kabul kaydı
Bu rehberin çıktısını üç ayrı kabul maddesine dönüştürün: Onaylanan yük ile çalıştırılan yükün aynı olduğunu test edin. Sınıf bazlı kesinlik ve duyarlılığı inceleyin. Kendi veri kümenizde modelleri aynı koşullarda karşılaştırın.
Öncelik, çıktı yerine iş etkisini gösteren metrikleri izleme için en belirsiz noktayı görünür kılmaktır. Her kontrolün sorumlusunu, kullanılan örneği ve sonucunu kaydedin. Başarısız bir denemeyi gizlemek yerine hangi varsayımın değiştiğini açıklayın; kapsamı bu kanıta göre yeniden değerlendirin.