Makine öğrenmesinde confusion matrix nedir sorusunun karşılığı, modelin tahmin ettiği sınıflarla örneklerin bilinen sınıflarını karşılaştıran sayım tablosudur. Türkçede karışıklık matrisi denir. İki sınıflı bir işte doğru kararları ve iki ayrı hata türünü dört hücrede gösterir. Böylece toplam başarı oranının içinde hangi yanlışların saklandığını görebilirsiniz.
Hayalî bir dikiş grubunun düğme fotoğraflarını ayırdığını düşünün. Aradığımız sınıf iki delikli düğmeler olsun. Yirmi düğmenin dördü iki delikli, kalan on altısı dört delikli. Bir modelin bunları nasıl ayırdığını göstermek için aşağıdaki sonuçları biz seçtik; sayılar gerçek bir deneyden veya uygulamadan alınmadı.
Pozitif sınıfı ve tablonun yönünü belirleyin
Bu görevde "pozitif", iki delikli demek. "Negatif" ise iki delikli olmayan demek. Sözcükler düğmenin iyi veya kötü olduğunu anlatmıyor. Aynı parçaların rengini sınıflandırmak isteseydik hedefi baştan değiştirmemiz gerekirdi.
Her fotoğraf için düğmenin delik sayısını önceden kontrol edip kaydedelim. Modelin tahminiyle karşılaştıracağımız gerçek sınıf bu kayıt olsun. Denetimli öğrenme yazısında girdiyi ve bilinen hedefi ayırmıştık. Burada o hedefi, yapılmış tahminlerin hangi hücreye gireceğini bulmak için kullanıyoruz.
Satırlara gerçek sınıfı, sütunlara tahmini yerleştirelim:
Tahmin
Gerçek sınıf İki delik Diğer
İki delik 3 1
Diğer 2 14
Başka bir kaynakta satır ve sütunlar yer değiştirebilir. Bu yüzden yalnızca sol üst hücrenin adına güvenmeyin; iki eksenin başlığını okuyun. Google'ın karışıklık matrisi dersinde aynı karşılaştırma, tahminler satırlarda olacak biçimde kuruluyor.
Yanlış alarm ile kaçırılan düğme nasıl ayrılır?
İki delikli olduğu hâlde diğer gruba gönderilen tek düğme yanlış negatiftir. Model aradığımız özelliği kaçırmıştır. İki delikli olmadığı hâlde seçilen iki düğme ise yanlış pozitiftir. Seçilen kutuya bakınca fazladan kontrol etmemiz gereken parçalar bunlardır.
Doğru hücreleri de aynı mantıkla okuyabiliriz. Aradığımız sınıftan üç düğme doğru seçilmiş; diğer sınıftan on dört düğme doğru biçimde dışarıda kalmıştır. İngilizce raporlarda doğru pozitif için TP, yanlış pozitif için FP, yanlış negatif için FN ve doğru negatif için TN kısaltmalarıyla karşılaşabilirsiniz.
Tabloyu doldururken her fotoğrafı bir kez sayın. Dört hücrenin toplamı yirmi olmalı. İlk satır dört, ikinci satır on altı eder; bunlar gerçek sınıfların sayılarıdır. İlk sütunun toplamı beştir; modelin seçtiği düğme sayısını gösterir. İki delikli düğmelerin gerçek sayısını beş sanmak, tahmini doğrulanmış bilgi yerine koymak olur.
Doğruluk, kesinlik ve duyarlılık neyi böler?
Doğruluk, bütün doğru kararların bütün örneklere oranıdır. Bizim tabloda 3 + 14 = 17 doğru karar var. 17'yi 20'ye bölünce yüzde 85 buluruz.
Kesinlik, modelin pozitif diye seçtiklerinin ne kadarının gerçekten pozitif olduğunu sorar. Seçilen beş düğmenin üçü iki delikli. Hesap 3/5, yani yüzde 60'tır. Duyarlılık ise gerçek pozitiflerin ne kadarını yakaladığımızı sorar. Gerçekte iki delikli olan dört düğmenin üçünü bulduk: 3/4, yani yüzde 75.
Bu terimler İngilizcede sırasıyla accuracy, precision ve recall olarak geçer. Bazı Türkçe kaynaklar precision için hassasiyet, recall için geri çağırma der. Adlar değişse de bölünen grupları kontrol edin. Google'ın ölçüm açıklaması formülleri bu pay ve paydalarla veriyor.
Hiçbir düğmeyi seçmeyen bir sistem, aynı yirmi örnekte on altı doğru negatif elde eder. Doğruluğu yüzde 80 görünürken iki delikli düğmelerin hiçbirini bulamaz. Ayrıca hiç pozitif tahmin üretmediği için kesinlik hesabının paydası sıfırdır; buraya kendiliğinden yüzde 100 yazamayız.
Bu sayılarla hangi soruyu sorabilirsiniz?
Grubun işi seçilen düğmeleri elle kontrol etmekse iki yanlış alarm ek iş çıkarır. Amaç kutudaki bütün iki deliklileri bulmaksa dışarıda kalan tek düğme de önemlidir. Hangi hataya daha çok dikkat edeceğiniz, düğmelerin sonraki işte nasıl kullanılacağına bağlıdır.
Sonuçları karşılaştırırken aynı kayıtları ve aynı sınıf tanımını kullanın. Daha kolay fotoğraflardan oluşan başka bir grubun yüksek puanı, ilk gruptaki hataların düzeldiğini göstermez. Aşırı uyum rehberinde anlattığımız veri ayrımı da sürer: model seçiminde kullandığınız kayıtlarla son değerlendirme kayıtlarının görevleri farklıdır.
Hesabı çalışmak için Yapay Zeka'ya "Üç doğru pozitif, iki yanlış pozitif, bir yanlış negatif ve on dört doğru negatif var. Kesinlik ve duyarlılıkta hangi toplamı paydaya koyarım?" diye sorabilirsiniz. Verilen işlemleri kendiniz hesaplayın, yanıtın altındaki kaynakları açın. Bu küçük örnekteki oranları uygulamanın kendi başarı ölçüsü gibi kullanmayın.
