Entropi ve Bilgi

Kayıp neden çoğu zaman “eksi log”? Seyrek gördüğün şeye model düşük skor verirse ceza büyüsün diye. O cezanın ortalamasına giden yol entropiden geçer. Yeni bir dosya biçimi değildir; olasılık listesinin ne kadar sivri (veya yayvan) olduğunun ölçüsüdür. Dil modeli kaybı tam bu ölçüden gelir.

Adil bir yazı-turada sonuç 1 bit bilgi taşır: iki eşit seçenek. P(yazı) = 0.99 ise sonuç neredeyse bellidir; şaşırma küçüktür.

Şaşırma

Olay x gelsin, P(x) = p. Bilgi içeriği (şaşırma) I(x) = −log₂ p bittir. p = 1/2 → I = 1. p = 1/8 → I = 3. p → 1 iken I → 0: sürpriz yok. Logaritmanın tabanı birimi değiştirir; log₂ bit, ln nat. Öğrenmede genelde ln kullanılır; ölçek sabittir.

Neden eksi log? Bağımsız olayların bilgisi toplanmalıdır: P(a,b) = P(a)P(b) ise I(a,b) = I(a) + I(b). Log, çarpımı toplama çevirir. Eksi işaret, p < 1 iken bilgiyi pozitif tutar.

Entropi

Shannon entropisi dağılımın beklenen şaşırmasıdır:

H(P) = − Σᵢ P(i) log P(i)

Adil para: H = −0.5 log₂ 0.5 − 0.5 log₂ 0.5 = 1 bit. P = (0.9, 0.1):

H = −0.9 log₂ 0.9 − 0.1 log₂ 0.1 ≈ 0.469 bit.

Dağılım sivrileştikçe entropi düşer. Düzgün dağılım (1/n her sınıfa) aynı n için en yüksek entropidir: her sonuç eşit şaşırtır. Kesin dağılım (P(k) = 1) H = 0’dır. 0 log 0 limiti 0 kabul edilir.

Koşullu entropi H(Y | X), X’i bildikten sonra Y’de kalan belirsizliktir. H(Y | X) = 0 ise X, Y’yi belirler. Sınıflandırıcının işi, özellikler verildiğinde etiket entropisini düşürmektir.

Çapraz entropi

Gerçek dağılım P, model Q. Çapraz entropi:

H(P, Q) = − Σᵢ P(i) log Q(i)

P’nin şaşırmasını Q’nun dilinde ölçer. Q gerçekte sık olana düşük olasılık verirse −log Q patlar: model “olmaz” dediği şeyi görünce kayıp büyür.

Sınıflandırmada P tek bir doğru sınıfta 1, gerisinde 0’dır (one-hot). O zaman H(P, Q) = − log Q(doğru sınıf). “Doğru token’ın eksi log-olasılığı” dil modeli kaybının ta kendisidir.

Q P’ye eşitse çapraz entropi, entropiye düşer: H(P, P) = H(P). Model, P’den daha iyi bir çapraz entropiye inemez. Bu taban irreducible errordır: verinin kendisi gürültülüyse sıfır kayıp imkânsızdır.

KL sapması

KL(P ‖ Q) = H(P, Q) − H(P) = Σ P(i) log(P(i)/Q(i))

P’yi Q ile kodlamanın fazladan bitidir. KL ≥ 0, eşitlik yalnızca P = Q. Simetrik değildir: KL(P ‖ Q) ≠ KL(Q ‖ P). Öğrenme çoğu zaman H(P, Q)’yu düşürür; H(P) veri sabiti olduğu için bu, KL’yi düşürmekle aynıdır.

Neden kayıp bu?

Maksimum olabilirlik: örnekler P’den gelmiş gibi, Qθ altında Π Qθ(xᵢ)’yi ençokla. Log alıp eksi işaret: ortalama −log Qθ(x) yani çapraz entropi. Gradyan inişi bu skaleri küçültür. “Doğruluk yüzdesi” türevi kırık bir eşiktir; −log q her olasılıkta pürüzsüzdür, bu yüzden eğitim onu kullanır.

Alıştırma

P = (0.5, 0.5), Q = (0.9, 0.1) için H(P), H(P, Q) ve KL(P ‖ Q) hesaplayın. Q’yu ters çevirip (0.1, 0.9) yapın. KL neden değişir, entropi neden değişmez?