Halüsinasyon, Araçlar ve Ölçüm

Dil modeli akıcı uydurur. Bu ayrı bir organın arızası değil: çıkarım, olası sonraki parçayı seçer, gerçeği doğrulamaz. Eğitim “bu cümle dünyada doğru mu?” diye sormaz; eğitimde sık görülen devamı ödüllendirir. Gerçek, ağırlık dosyasının dışındaki kayıttadır.

Neden uydurur?

L = −log q_y doğru sonraki token’ı ister, “dünyada doğru cümle”yi değil. Kaynakça biçimi eğitimde sıkse, q o biçime yüksek olasılık verir; DOI’nin varlığını doğrulamaz. T = 0 en olası token’ı seçer; en olası token da uydurma olabilir.

İki rejim:

Kapalı kitap. Koşul yalnızca parametre + kısa prompt. Parametre, sık desenleri sıkıştırır. Nadir tarih, özel şema, dünün fiyatı orada olmak zorunda değildir. Model boşluğu, aynı biçimdeki başka desenle doldurur.

Açık kitap. Parça prompt’a yapıştırılır. Model yine yok sayabilir, iki parçayı yanlış birleştirebilir, parçada olmayan cümleyi “devam” diye üretebilir. Getirme isabeti 0 ise üretim isabeti 0’dır; getirme 1 olsa bile üretim 1 değildir.

Yasak kelime listesi biçimi düzeltir, olguyu değil.

RAG

Sorgu → gömme → yakın parça → prompt’a ekle → üret. Zincir:

1. Sorgu temsili yanlışsa komşu yanlış parçadır.
2. Parça boyu (chunk) iddiayı bölerse kanıt yarım kalır.
3. k küçükse doğru parça listede yoktur; büyükse gürültü n’i şişirir, dikkat seyrelir.
4. Üretim adımı alıntıyı uydurabilir. Alıntı isteği, span’in gerçekten parçada olup olmadığının doğrulanmasını gerektirmezse tiyatrodur.

RAG, P(token | soru, parçalar) koşullamasını zenginleştirir. Garantisi yoktur. Getirme isabeti (recall@k, MRR) ile cevap doğruluğu ayrı ölçülür.

Araç ve ajan

Model metin yerine bir çağrı üretir: {"tool": "sql", "q": "..."}. Sistem çalıştırır, sonucu token olarak bağlar, model devam eder. Döngü: gözlem → (isteğe düşünce) → çağrı veya final.

Sınır:

• SQL’i model yazıyorsa injection ve yetki sizin katmanınızdır.
• Döngü sonsuz olabilir; adım ve süre kesilir.
• Araç çıktısı pencerede yer kaplar; uzun JSON prefill’i şişirir.
• “Ajan” özerklik değildir. Plan + araç + sizin sandığınızdır.

Finansal emir, sağlık, hukuk: çıktı kaynaktan bağımsız doğrulanır. Model “emin” görünmesi q’nun sivri olmasıdır, kalibrasyon değil.

Metrikler ayrıdır

| Soru | Ölçü | | Akıcı mı? | insan / jüri | | Olgu doğru mu? | iddia iddia, kaynaklı kıyas | | Kod işe yarıyor mu? | test | | Getirme tuttu mu? | recall@k | | Pahalı mı? | token, ms, GPU | | Zararsız mı? | red oranı, politika seti |

Tek “IQ” bu vektörü taşımaz. Kayıp düşük, kullanıcı memnun, olgu yanlış olabilir. A/B yalnızca tıklama ölçer.

Serinin başı burada kapanır. Arama gerçeği gezmez; sezgiseli gezdirir. Öğrenme R̂’yi düşürür, R’yi değil. Üretim q’dan örnekler. Gerçek, sistemin dışındaki kayıt, kural ve ölçümdedir.

Kontrol listesi

• İddia, bağlanan parçada span olarak var mı?
• Getirme ve cevap ayrı skorlanıyor mu?
• Araç girdileri yetki ve şema doğrulamasından geçiyor mu?
• T, top-p, pencere kesimi kayda giriyor mu?
• Model “bilmiyorum” diyebiliyor mu, yoksa her boşluğu dolduruyor mu?
• Yüksek riskte ikinci bir kontrol (kural, insan, ikinci kaynak) var mı?