Öğrenme Problemi

Eğitim, örnek görüp sayıları kaydırmaktır. Asıl mesele ezber ile henüz görmediği girdide işe yaramak arasındaki farktır. Kayıp bu farkı görünür kılan sayıdır. Yeni bir derleyici yoktur; aynı döngünün nasıl ölçüldüğüdür.

Parçalar

Özellik x: modelin gördüğü girdi. Etiket y: istenen çıktı. Örnek (x, y) çifti. Hipotez sınıfı fθ, parametreleri θ olan aday fonksiyonlar. Kayıp ℓ(fθ(x), y) bir örnekteki hatadır. Deneysel risk eğitim kümesinin ortalama kaybıdır:

R̂(θ) = (1/N) Σᵢ ℓ(fθ(xᵢ), yᵢ)

Öğrenme, R̂’yi (artı çoğu zaman bir düzenlileştirme terimini) θ üzerinden küçültmektir. İstediğimiz şey R̂ değildir. İstediğimiz, aynı dağılımdan gelecek yeni (x, y) üzerindeki beklenen kayıptır: gerçek risk R(θ) = E[ℓ]. Genelleme, R̂ ile R’nin yakın durmasıdır.

Gözetimli: etiket var. Gözetimsiz: yalnızca x (küme, gömme). Pekiştirmeli: etiket yerine ödül. Dil modeli “sonraki token” etiketiyle gözetimlidir.

iid ve üç küme

Varsayım: örnekler iid — bağımsız ve aynı dağılımdan. Bağımsız değilse (zaman serisi, aynı kullanıcının iki satırı) test skoru iyimser kalır. Dağılım eğitimden saparsa (kayma) R̂ düşerken üretim bozulur. Model “bozulmaz”; dünya değişir.

Veri üç parçaya ayrılır.

• Eğitim: θ güncellenir.
• Doğrulama: öğrenme oranı, erken durdurma, mimari. Eğitime karışmaz; çok sık kullanırsanız ona da uydurursunuz.
• Test: en sonda bir kez. Teste bakıp θ düzeltmek, sınav sorusunu ezberlemektir.

30 örnekte 10’unu teste saklayıp kuralı 20’ye bakarak yazmak bir deneydir. 10’a bakıp kuralı “düzeltmek” aynı deney değildir; test, eğitim olmuştur.

Ezber ve kapasite

Eğitim kaybı düşer, doğrulama kaybı yükselirse aşırı uydurma: gürültü ezberlenir. İkisi de yüksekse eksik uydurma: kapasite veya eğitim yetmez.

Kapasite, fθ’nın esnekliğidir. Daha geniş ağ, daha yüksek kapasite; otomatik daha iyi genelleme değil. Düzenlileştirme kapasiteyi cezalandırır: L2 ağırlık karesini kayba ekler, dropout birimleri rastgele keser, erken durdurma doğrulama yükselince durur. Daha çok veri, aynı kapasitede ezberi zorlaştırır.

Sapma–varyans: katı model sistematik hata yapar (sapma). Esnek model eğitim gürültüsüne sıçrar (varyans). Toplam hata ikisinin artı gürültüdür. Denge, doğrulama eğrisinde okunur; tek eğitim kaybında değil.

Kayıp ≠ metrik

Eğitim ℓ’yi (çapraz entropi, MSE) türevlenebilir diye kullanır. Raporlanan metrik başka olabilir: doğruluk, F1, kalibrasyon. Dengesiz sınıfta %99 doğruluk, her şeye çoğunluk demekle gelir. Metriği kayba çevirmeden “öğrenmesini” beklemeyin; model ℓ’yi küçültür, hayalinizdeki tabloyu değil.

type Example = { x: number[]; y: number };

function empiricalRisk(f: (x: number[]) => number, data: Example[]): number {
  const total = data.reduce((sum, { x, y }) => {
    const e = f(x) - y;
    return sum + e * e;
  }, 0);
  return total / data.length;
}

Bu R̂ kare hata içindir. Sınıflandırmada ℓ = −log q_y olur. Sonraki yazı, en sade fθ’yı (doğru) bu ℓ ile birleştirir.

Alıştırma

İki özellikli 20 noktayı kâğıda koyun; 5’ini daire içine alıp test deyin. Eğitime bakarak bir eşik çizin, sonra teste uygulayın. Eşiği teste bakarak 1 mm kaydırmak neden R tahmini değildir?