Lineer Modeller ve Kayıp

En sade öğrenilebilir fonksiyon bir doğrudur: sayıları çarp, kaydır, skor al. Mimari kodun her katmanında bu işlem durur. Yeni bir derleyici yoktur. Anlamazsanız sonraki katmanlar da kara kutu kalır.

Affine skor

Tek özellik: ŷ = w x + b. w eğim, b kayma (bias). x = 0 iken çıktı b’dir; w girdinin 1 birim artışında ŷ’nin değişimidir.

d özellikte nokta çarpım:

ŷ = w · x + b = Σⱼ wⱼ xⱼ + b

function linear(x: number[], w: number[], b: number): number {
  return x.reduce((sum, value, i) => sum + value * w[i], 0) + b;
}

wⱼ, j. özelliğin katkısıdır. Özellikler farklı ölçekteyse (m² binler, oda sayısı birler) aynı w anlamsızlaşır. Eğitimden önce ortalama 0, varyans 1’e çekmek (standardizasyon) gradyanı karşılaştırılabilir kılar.

Sınıflandırmada ŷ ham skordur (logit). Sigmoid σ(z) = 1/(1+e^{-z}) onu (0, 1)’e ezer. σ(0) = 0.5, σ tekdüze artar, z → ∞ iken 1’e yaklaşır. Karar eşiği genelde 0.5’tir; bu bir kayıp değil, sonradan konan kuraldır. Dengesiz sınıfta eşik kaydırılır.

σ'(z) = σ(z)(1 − σ(z)). Uçlarda türev ≈ 0: model “çok emin”ken sigmoid gradyanı ölür. Bu, derinlikte sigmoid yerine ReLU tercihinin nedenlerinden biridir.

MSE

Regresyonda ortalama kare hata:

L = (1/N) Σᵢ (ŷᵢ − yᵢ)²

veya türevi sade tutmak için ½ ile. Bir örnekte ℓ = ½(ŷ − y)², ∂ℓ/∂ŷ = ŷ − y. Hata doğrudan gradyandır. Aykırı değer karesiyle şişer; o zaman mutlak hata veya Huber kullanılır.

Beş ev: x m², y fiyat. w, b elle denenip L hesaplanır. x’i “bin m²” yazmak w’yi ~1000 kat küçültmeden aynı ŷ’yi vermez: ölçek, parametrenin anlamını taşır.

Kare hata ve tam batch ile w bazen normal denklemle kapalı çözülür: w = (XᵀX)⁻¹ Xᵀ y. XᵀX tekilse (bağlı özellikler) ters yok; ridge (+ λI) eklenir. Veri büyükse veya kayıp kare değilse yineleme gerekir.

Çapraz entropiye köprü

İki sınıfta q = σ(w·x + b), y ∈ {0,1}. Bernoulli log-olabilirlik y log q + (1−y) log(1−q)’nun eksisi ikili çapraz entropidir. Türev, q − y ile x’in çarpımına iner: MSE’deki ŷ − y yapısının akrabası. Yanlış ve emin olmak (y = 1, q = 0.01) −log 0.01 ≈ 4.6 eder; q = 0.5 iken 0.69. Kayıp, eşiği değil olasılığı cezalandırır.

“Doğruluk %99” dengesiz veride yalan söyleyebilir. 99 ham / 1 spam varsa her şeye ham diyen model %99 doğru, spam’i hiç görmez. Kayıp sınıf ağırlığı veya eşik, bu asimetriyi açık yazar.

XOR: tek düzlem yetmez

| x₁ | x₂ | XOR | | 0 | 0 | 0 | | 0 | 1 | 1 | | 1 | 0 | 1 | | 1 | 1 | 0 |

(0,0) ve (1,1) sınıf 0, diğerleri 1. Bir doğru bu dört noktayı ayıramaz. w·x + b bir hiper düzlemdir; XOR doğrusal ayrılabilir değildir. Çözüm, x’i doğrusal olmayan φ(x) ile başka uzaya taşıyıp orada doğru çizmektir. Gizli katman tam bunu öğrenmeye çalışır.

Alıştırma

x = [2, 1], w = [0.5, −1], b = 0.2, y = 1 (regresyon) için ŷ ve ½(ŷ−y)² yazın. ∂ℓ/∂w₁ nedir? (ŷ − y çarpı x₁.) Sonra XOR tablosunda bir w, b arayın; neden dört noktayı birden doğru sınıflandırmadığını geometriyle söyleyin.