Dil Modelleri — Onur Er

Sohbet kutusu yeni bir sanal makine açmaz. Önceki yazılardaki çıkarım döngüsüdür: metin → sayılar → çarpma → skor listesi → bir parça seç → tekrar. Bu yazı o döngünün metin için nasıl yazıldığını anlatır. Model cümleyi anlamaz; “şu parçadan sonra şu parça sık geliyordu” dosyasını koşturur.

Zincir kuralı

P(x₁…xₙ) = P(x₁) P(x₂ | x₁) P(x₃ | x₁,x₂) … P(xₙ | x₁…xₙ₋₁)

Her terim, bir sonraki token’ın bağlam altındaki dağılımıdır. Eğitim, gerçek dizide bu koşullu olasılıkların çarpımını (olabilirlik) ençoklar. Log ve eksi işaret: konum başına −log P(x_{t+1} | x_{≤t}), yani çapraz entropi. Tüm dizi kaybı bunların ortalamasıdır.

Ön eğitim verisi kitap, kod, web, sohbet dökümü olabilir; hedef değişmez. “Yardımcı asistan” kişiliği, hangi x’lerin P’de şiştiğidir.

Sonda K logit, softmax ile q, doğru token y için L = −log q_y. Perplexity e^{ortalama L} (nat): her adımda etkili belirsizlik.

Üretim döngüsü

Bağlam token’larını göm, katmanlardan geçir.
Son konumun logit’inden q al.
Bir token seç.
Token’ı bağlama ekle, 1’e dön.

Seçim kuralları:

Argmax / sıcaklık 0: her adım max qᵢ. Deterministik, tekrar ve döngü sık.
Sıcaklık T: zᵢ / T sonra softmax. T < 1 sivri, T > 1 yayvan.
Top-k: yalnızca en olası k token, yeniden normalize.
Nucleus (top-p): olasılık toplamı p’yi geçen en küçük küme (ör. 0.9). Kuyruk kesilir.

Aynı q farklı kuralda farklı dil üretir. “Model böyle dedi” aslında q + örnekleme + T + (varsa) yasak listesidir.

Teacher forcing: eğitimde bağlama gerçek önceki token konur, modelin kendi örneği değil. Çıkarımda hata birikir (exposure bias): erken yanlış token, sonraki q’yu kaydırır.

Bağlam penceresi

Yalnızca son n token vardır. n dolunca erken dönüşler düşer. Sistem prompt, araç çıktısı, kullanıcı metni aynı dizidir; ontoloji farkı yok, konum farkı var. “Hatırlamıyor” çoğu zaman kesilmedir.

Ön eğitim ve uyum

Ön eğitim: web ölçeğinde sonraki token. Bilgi, sık ve tutarlı desenlerin sıkışmasıdır; nadir olgu ve dünün fiyatı orada olmak zorunda değildir.

SFT: istenen (prompt, cevap) çiftlerinde aynı kayıp. Biçim ve üslup kayar.

Tercih / RLHF: iki cevaptan insan (veya jüri model) birini seçer; politika, seçileni daha olası kılar. Reddetme, kısalık, araç çağrısı buradan gelir. Tabanın olgu tavanını yükseltmez. Uydurma kibarlaşabilir.

Bir modelin “bilmesi”, kesitte o desenin sık görünmesidir. Tıp cümlesi sık diye doğru değildir.

Alıştırma

q = (0.6, 0.3, 0.1) için T → 0 hangi indeksi seçer? T → ∞ limit dağılımı nedir? Top-2, üçüncü token’ı neden hiç üretmez ve bu, kuyruktaki doğru nadir kelimeyi nasıl yok eder?