Makine öğrenmesinde overfitting nedir diye soruyorsanız, modelin eğitim örneklerine fazla uyup yeni örneklerde aynı başarıyı gösterememesidir. Türkçede aşırı uyum veya aşırı öğrenme diye de geçer. Eğitimdeki hatanın küçülmesi tek başına modelin daha kullanışlı olduğunu göstermez; daha önce görmediği verideki hatasına da bakmak gerekir.

Hayalî bir kâğıt atölyesinin rüzgârgülü hazırlama süresini tahmin ettiğini düşünün. Girdiler kâğıdın boyutu ve kalınlığı, hedef ise ölçülmüş katlama süresi olsun. Aşağıdaki sayılar konuyu anlatmak için seçildi. Gerçek bir deneyin veya uygulamanın başarı sonuçları değiller.

Aynı kayıtlarda iyi sonuç almak neden yetmez?

Atölyede tamamlanan işlerin kayıtlarıyla bir model eğittiğimizi varsayalım. Model, kâğıt özellikleriyle süre arasındaki ilişkiyi öğrenmeye çalışır. Denetimli öğrenme rehberinde girdi ile bilinen hedefi nasıl ayıracağımızı anlatmıştık. Burada sorumuz, öğrendiği ilişkinin başka işlere taşınıp taşınmadığı.

Kayıt sayısı azsa esnek bir model, o küçük gruptaki rastlantısal ayrıntılara da uyabilir. Örneğin aynı boy kâğıtlarla yapılan iki işten biri, hazırlayan kişi kısa süreliğine masadan kalktığı için uzun sürmüş olsun. Modelin bu farkı kâğıdın özelliğiyle açıklamaya çalışması sonraki işlerde yardımcı olmayabilir. Süreyi nasıl ölçtüğümüzü baştan tutarlı belirlememiz de bu yüzden gerekir.

AWS'nin aşırı uyum açıklaması, az veya temsili zayıf veriyle fazla karmaşık modelleri olası nedenler arasında sayıyor. Yeni işlerde başarı ararken eski kayıtları çok iyi hatırlayan bir modelle karşılaşabiliriz. Buna yalnızca eğitim puanından karar vermek güçtür.

Eğitim ve doğrulama hatasını birlikte okuyun

Kayıtların bir bölümünü eğitimden ayırdığımızı düşünelim. Eğitim sürerken modelin bu doğrulama grubundaki tahminlerini de ölçelim. İki grupta aynı hata hesabını kullanırız: Tahmin edilen süreyle ölçülen sürenin farkını işaretsiz alıp ortalamasını bulmak.

Örneğin bir rüzgârgülü için tahmin 12, ölçülen süre 15 dakikaysa hata 3 dakikadır. Bu tek kaydın hatasıdır. Grubun ortalaması için bütün kayıtların farklarını aynı biçimde hesaplamak gerekir; yalnızca en iyi çıkan işi seçemeyiz.

Hayalî eğitimimizin bir aşamasında ortalama eğitim hatası 2 dakika, doğrulama hatası 3 dakika olsun. Daha uzun eğitimden sonra ilk değer 1 dakikaya inerken ikincisi 5 dakikaya çıksın. Eski örneklerdeki iyileşmeye rağmen ayrılan işlerde tahminler kötüleşiyor. Bu, aşırı uyum açısından incelenecek bir işarettir.

Google'ın Türkçe dersinde eğitim kaybı azalırken doğrulama kaybının yükselmesi bu amaçla gösteriliyor. Tek bir sıçramayla hüküm vermeyin. Eğitim boyunca oluşan gidişe, örnek sayısına ve iki grubun benzer işleri içerip içermediğine bakın. Yalnızca küçük kâğıtlarla eğitip bambaşka malzemelerde denemek de karşılaştırmayı değiştirir.

Görülmemiş örneği gerçekten ayrı tutun

Aynı iş kaydının bir kopyası eğitimde, öbürü doğrulamada kalırsa yeni bir işi sınadığımızı sanabiliriz. Atölye örneğinde kayıt kimliklerini kontrol edip aynı katlama işine ait tekrarları birlikte tutalım. Dosyanın adını değiştirmek onu yeni bir gözlem yapmaz.

Model seçeneklerini doğrulama sonuçlarına bakarak seçeriz. Son değerlendirme için ayrıca tuttuğumuz test kayıtlarını her değişiklikte açıp en iyi görünen sürümü seçersek, seçimimizi o kayıtlara da uydurmaya başlarız. Google'ın veri ayırma rehberi, eğitim, doğrulama ve test kümelerinin bu ayrı görevlerini açıklıyor.

İki grupta da yüksek hata varsa yetersiz uyum olasılığını da düşünün. Model, gerekli ilişkiyi henüz yakalayamamış olabilir. Eğitimde iyi, yeni örneklerde kötü sonuçla her yerde kötü sonucu aynı sorun diye adlandırmayın. Eksik ölçüm veya yanlış hedef kaydı da ayrıca araştırılmalıdır.

Daha çok eğitim yerine ne denenebilir?

Önce atölye kayıtlarını inceleyin. Süreler aynı başlangıç ve bitişe göre mi tutulmuş? Kullanılacak kâğıtların çeşitleri yeterince temsil ediliyor mu? Hatalı süreyi çoğaltmak veya aynı kaydı tekrar eklemek yeni bilgi sağlamaz.

Daha basit bir model denemek, karmaşıklığı sınırlamak ve doğrulama sonucu kötüleşmeden eğitimi durdurmak kullanılabilen yaklaşımlardır. Erken durdurma, son eğitim adımını otomatik olarak en iyi sürüm saymamayı sağlar. Uygun durma noktası probleme ve doğrulama verisine bağlıdır; herkes için geçerli bir eğitim turu sayısı yoktur.

Kavramı Yapay Zeka'da çalışırken kendi cümlenizle sorun: "Eğitim hatası 2'den 1'e inerken doğrulama hatası 3'ten 5'e çıktı. Bu örnekte hangi sonucu ayrıca incelemeliyim?" Yanıtın altındaki kaynakları açın ve gerekçeyi kontrol edin. Tek bir yanlış sohbet cevabı, asistanın eğitiminde aşırı uyum olduğunu saptamak için yeterli değildir.