Türev ve Zincir Kuralı
Eğim, kısmi türev, gradyan ve zincir kuralı.
Eğitim yazısında kayıp “hoşnutsuzluk sayısı”ydı. Ağırlığı biraz oynatınca bu sayı nasıl değişir? O değişim hızına türev denir. Ortaokul formülü yeni bir altyapı değildir; 4. adımdaki “hangi tarafa kaydırayım?” sorusunun cevabıdır. Geri yayılım, bu hesabı katman katman uygulamaktır. Bu yazı sayıyla gösterir.
Eğim
Tek değişkende L(w). w’yi Δw kadar oynatınca ΔL ≈ L'(w) Δw. L'(w) o noktadaki eğimdir. Pozitifse sağa gitmek L’yi artırır; azaltmak için sola gidilir.
Tanım: L'(w) = lim_{h→0} [L(w+h) − L(w)] / h. Pratikte h = 10⁻⁵ ile sayısal kontrol yapılır: analitik gradyan ile bu farkın uyması, geri yayılımın birim testidir (grad-check).
Örnek: L(w) = (w − 3)². (u)²’nin türevi 2u, içerisi w−3, zincir: L' = 2(w − 3). w = 0 iken L' = −6. w’yi artırmak kaybı düşürür; gerçekten de hedef 3 sağdadır.
Sabit çarpan: d(cL)/dw = c L'. Toplam: (L₁ + L₂)' = L₁' + L₂'. Çarpım: (uv)' = u'v + uv'. Bunlar, kayıp bir toplam (batch ortalaması) ve çarpım (ağırlık × girdi) olduğu için yeter.
Kısmi türev ve gradyan
L(w, b). Kısmi türev ∂L/∂w, b sabitken w’ye göre eğimdir. Gradyan ∇L = (∂L/∂w, ∂L/∂b) vektördür. Yön, L’nin en hızlı arttığı yerdir. Azaltmak için −∇L yönüne adım atılır. Bu, bir sonraki yazıdaki iniş kuralıdır; burada yalnızca yönün anlamı vardır.
L = (2w + b − 1)² olsun. İçerisi u = 2w + b − 1, L = u², ∂L/∂u = 2u. ∂u/∂w = 2, ∂u/∂b = 1. Zincir:
∂L/∂w = 2u · 2 = 4u, ∂L/∂b = 2u · 1 = 2u.
w = 0, b = 0 → u = −1, ∂L/∂w = −4, ∂L/∂b = −2. Her iki ağırlığı da artırmak u’yu 0’a, kaybı 0’a çeker.
Zincir kuralı
L = f(g(w)) ise dL/dw = f'(g(w)) · g'(w). İçerideki değişim, dışarıdaki eğimle çarpılır. Üç halka: L = f(g(h(w))) → çarpım üç türevin.
Sinir ağında x → z = w x + b → h = ReLU(z) → L = ½(h − y)².
x = 2, w = 0.3, b = 0.1, y = 1:
z = 0.7h = max(0, 0.7) = 0.7L = ½(0.7 − 1)² = 0.045
Geri:
∂L/∂h = h − y = −0.3∂h/∂z = 1çünküz > 0(ReLU’nun türevi pozitif yarıda 1, negatif yarıda 0)∂L/∂z = −0.3∂z/∂w = x = 2,∂z/∂b = 1∂L/∂w = −0.6,∂L/∂b = −0.3
w’yi η = 0.1 ile güncellersek w ← 0.3 − 0.1(−0.6) = 0.36. z biraz büyür, h 1’e yaklaşır. Hesap grafiği: ileri değerleri sakla, geriden çarpa çarpa akıt. z < 0 olsaydı ∂h/∂z = 0, gradyan orada ölürdü: ölü ReLU.
Ne unutulur?
Türev, yerel ve doğrusal yaklaşımdır. Büyük adımda ΔL ≈ L' Δw bozulur. Ayrıca L dışbükey değilse sıfır gradyan eyer veya yerel çukur olabilir. Zincir kuralı hâlâ doğrudur; indiğiniz yer global en iyi olmak zorunda değildir.
Alıştırma
h = ReLU(0.5 x), x = −2, L = ½(h − 1)² için ∂L/∂x nedir? (ReLU kapalı, gradyan 0.) x = 2 için aynı türevi yazın ve işaretin neden h’yi 1’e iter olduğunu söyleyin.