Bağlam-Kör Hakem (Reaper) ve Düşer Testi Kapısı: 360/394 Atıf Denetimi ve Halüsinasyon Önleme Mimarisi
Bir dil modelinin kendi ürettiği hipotezi, kodu veya akademik atfı neden kendisinin denetleyemeyeceğinin; üreticiden yalıtılmış Reaper hakeminin ve Popper'cı düşer testinin 394 atıf ve 58 yöntem üzerindeki nicel kanıtı.
Yönetici Özeti (TL;DR)
- Üretici = Hakem Çıkmazı: Bir dil modeli kendi ürettiği metni aynı sohbet bağlamında denetlediğinde, önceki akıl yürütmesini haklı çıkarma eğilimi (onay yanlılığı ve dalkavukluk) gösterir. Bu nedenle Atlas mimarisinde üretici ajan kendi çıktısında hakemlikten otomatik olarak çekilir.
1. Öz-Denetim Yanılsaması: Üretici Ajan Neden Hakem Olamaz?
Büyük dil modelleriyle kurulan otonom iş akışlarında yaygın bir tasarım hatası, çıktıyı üreten ajana “şimdi yazdığını kontrol et ve hata varsa düzelt” talimatı vermektir. İçsel öz-düzeltme sınırları (arXiv:2310.01798) ve dil modellerinde onay yanlılığı / dalkavukluk (arXiv:2310.13548) araştırmalarının gösterdiği üzere, aynı bağlam penceresini ve aynı niyet geçmişini paylaşan öz-denetim iki yapısal nedenden ötürü güvenilmezdir:
- Bağlam İçi Onay Yanlılığı (In-Context Confirmation Bias): Modelin dikkat mekanizması, bir önceki adımda ürettiği gerekçeleri yüksek ağırlıklı öncül olarak görür. Model bir kod parçasında sınır durumunu gözden kaçırmışsa veya gerçek bir makaleye sentetik bir PMID/DOI eklemişse, aynı bağlamda yapılan ikinci okumada da bu kurguyu “tutarlı” bulur.
- Niyet Sızıntısı ve Mazeret Üretimi: Üretici ajan görevin ne kadar zor olduğunu, hangi kısıtlar altında acele ettiğini veya kullanıcının hangi cevabı duymak istediğini bilir. Bu niyet bilgisi, denetim eşiğini sessizce düşürür.
Atlas sistem anayasasında bu sorun kesin kuvvetler ayrılığı ile çözülür: “Bir ajan kendi ürettiği hipotez, kod veya raporda hakemlik koltuğuna oturamaz.” Denetim görevi, üreticinin sohbet geçmişini, içsel düşünce zincirini ve niyetini görmeyen çok ajanlı çapraz denetim ve bağımsız hakem (arXiv:2306.05685) katmanına devredilir.
2. Bağlam-Kör Hakem (Reaper) Mimarisi: Yerel Yöntem Denetçisi ve 5 Doğrulama Sınıfı
Reaper mimarisi iki ayrı katmandan oluşur ve bu iki katmanın birbirine karıştırılmaması gerekir: birincisi yerel sistem yöntemlerini ölçen kosucu/reaper_denetci.py betiği, ikincisi ise araştırma çıktılarındaki literatür atıflarını denetleyen bağlam-kör hakem koşularıdır (rapor/kivilcim/SEKTOR_MAKALESI_1018/reaper_kaynak.md ve data/reaper_karne.json).
Yerel sistem denetçisi kosucu/reaper_denetci.py, ~/Library/LaunchAgents/com.ustakil.reaper_denetci.plist tanımı uyarınca 6 saatte bir (günde 4 periyodik tur: 03:15, 09:15, 15:15 ve 21:15) ve panodan açık emir verildiğinde çalışır. Şeffaflık Notu: Sistemde “her büyük yayın öncesinde otomatik tetiklenen” mekanik bir yayın ön-kapısı henüz yoktur; nitekim bu üç kanıt notunun ilk sürümü (commit 2ce9cc4, 19 Ekim 2026 11:46) Reaper denetiminden geçmeden yayına alınmış, ardından koşulan Reaper 1. tur denetiminde (rapor/denetci/kanit_yazilari_denetim_1019.md) 5 yanlış iddia yakalanması üzerine yayından çekilerek (commit cf672cf) bu düzeltme turuna alınmıştır.
kosucu/reaper_denetci.py (satır 1–35) dış API sorgulamaz; yalnızca yerel diskteki betikleri, kütükleri ve öz-sınama çıktılarını ölçerek her sistem yöntemini şu beş yerel doğrulama sınıfından birine atar:
CANLI: Yöntem diskte mevcuttur, zamanında çalışmıştır ve beklenen kanıt kütüğünü üretmiştir.AKSAK: Yöntem tanımlıdır ve çalışmaktadır ancak son koşuda zaman aşımı, kısmi veri veya eşik altı kapsama göstermiştir.ÖLÜ: Dosya veya kural dokümantasyonda yazmaktadır ancak diskte veya çalışma zamanında karşılığı kalmamıştır.İDDİA: Metinde geçtiği belirtilen özellik henüz mekanik bir kapıya veya hedef eşiğe ulaşmamıştır (örneğinsite-beyan-olcu = İDDİA, canlı oran%72,3 < %80).ÖLÇÜLEMEDİ: Yöntem için henüz otomatik bir ölçüm kancası tanımlanmamıştır (hedef:0 ÖLÇÜLEMEDİ).
Reaper'ın kendi körleşmesini önlemek için kosucu/reaper_denetci.py --selftest içinde kasıtlı bozma (fault injection) sınavı uygulanır: denetlenen girdilere kasıtlı olarak 3 bozuk kayıt enjekte edilir ve betik 3/3 kasıtlı bozmayı yakalayarak 8/8 öz-sınama (REAPER_DENETCI_OK 8/8) kapısından geçer. Gün-1'de (18 Ekim 21:54) 57 yöntemde 44 CANLI · 10 AKSAK · 1 ÖLÜ · 2 İDDİA · 0 ÖLÇÜLEMEDİ ölçen Reaper, Gün-2 sabah turunda (19 Ekim 11:13) 58 yöntemde 47 CANLI · 7 AKSAK · 1 ÖLÜ · 3 İDDİA · 0 ÖLÇÜLEMEDİ (15:15 turunda 47/6/2/3/0) düzeyini kaydetmiştir.
3. 10 Dış Seste 394 Atıf Denetimi: 25 Uydurma Künyenin Yakalanması
Yerel yöntem denetçisinden ayrı olarak, 24 soruluk sektör makalesi araştırmasında 10 farklı dış model sesinden (S1–S10) toplanan akademik ve teknik literatür atıfları bağlam-kör kaynak denetiminden (rapor/kivilcim/SEKTOR_MAKALESI_1018/reaper_kaynak.md ve data/reaper_karne.json:85-135) geçirilmiştir. (Not: Bu denetim ayrı bir atıf betiğiyle değil —diskte yalnızca kosucu/reaper_denetci.py vardır—, doğrudan Crossref REST API, PubMed/NCBI E-utilities, arXiv ve resmi mevzuat kayıtlarına karşı koşulan bağlam-kör denetim turuyla yürütülmüştür.) Atıf denetiminde sınıflar DOĞRULANDI · DOĞRULANAMADI · UYDURMA (Ağır / Hafif) · EZBER olarak tanımlanmıştır.
data/reaper_karne.json:113-135): 10 dış seste taranan 394 atıftan 360'ı (%91,4) DOĞRULANDI, 9'u (%2,3) DOĞRULANAMADI ve 25'i (%6,3) UYDURMA olarak yakalandı. Bu 25 uydurmanın 18'i tamamen sentetik DOI veya var olmayan makaleden oluşan ağır uydurma, 7'si ise S10 sesinde gerçek makale başlığına uydurulmuş 5 sahte PMID ve 2 sahte DOI'den oluşan hafif uydurma (data/reaper_karne.json:132) olarak tespit edildi. Yazarın kendi birincil kanıt havuzu (S0: 26/26 doğrulandı) eklendiğinde konsolide karne 420 atıfta 386 DOĞRULANDI olarak mühürlendi.
Reaper denetimi sonucunda, 10 dış sesten 5'i (S1, S2, S3 Astra 38/38, S4 133/133 ve S5 Sonnet 77/77) sıfır uydurma ile sınavı geçerken; kalan 5 seste uydurma künye barındıran toplam 20 soru-tez yanıtı (S6:3 · S7:6 · S8:3 · S9:3 · S10:5) otomatik olarak elenmiş ve nihai sentez havuzuna sokulmamıştır.
4. Düşer Testi Kapısı, Kıvılcım 67 Tur Karnesi ve Gölge Koşu Reddi (O-002)
Atıf doğrulaması geçmişin denetimidir; Düşer Testi (Falsifiability Gate) ise geleceğe dönük hükümlerin denetimidir. Bilimsel yanlışlanabilirlik ölçütünün mühendislik uyarlaması olan bu kapıda, hiçbir ajan “bu mimari daha iyidir” şeklinde ucu açık bir iddia yazamaz. Her hüküm; TEZ · KURAM · KAYNAK · KARŞI TEZ · DÜŞER alanlarını taşımak zorundadır.
Bu çarpışma ve eleme disiplini üç somut kayıtla izlenir:
- Kıvılcım (Çok Sesli Çarpışma) Karnesi (
data/kivilcim_karnesi.jsonl:1-73): Farklı model ailelerinin birbirinin tezini çürütmek üzere çarpıştığı 67 Kıvılcım turunda (kütükte 73 satır), başlangıçtaki ham fikirlerin yalnızca 13'ü doğrudan EVET (ham 14) alırken, 44'ü karşı-tezlerle KESKİNLEŞTİ ve 3'ü HAYIR alarak elendi (kalan 7 tur: 2 çekildi/değersiz, 1 koşmadı, 1 bilinmiyor, 3 açık). (Not: Önceki özet metinlerde geçen0,30 → 0,48 → 0,683-tur yakınsama serisi içindata/veyarapor/altında ham hesaplama kütüğü bulunmadığından bu seri Reaper tarafındanÖLÇÜLEMEDİ (ham seri kütüğü yok)olarak sınıflanmıştır.) - Gölge Koşu (Shadow Run) Sınavı ve İcra Reddi (
bot/olgular.json:O-002): Düşer testinin en kritik işlevi, deterministik çalışan ama baz çizgiyi geçemeyen modelleri canlı icraya sokmamaktır. n = 168 kilitli pencerelik gölge koşuda yerel model kolu%100determinizm göstermiş olsa da, canlı kol ile uyuşması%2'de kalmış, kopya-taban (copy-baseline,%98,8) karşısındaK5′hedefinde-80,5puan farkla kaybetmiştir (“iyi çıkmadı”). Düşer kapısı devreye girerek gölge kolun icra yetkisini AÇMAMIŞTIR. - Düşmüş Fikir Belleği (Anti-Amnesia ·
bot/olgular.json:O-004): Çürütülen hipotezler silinmez; sistemin aynı çıkmaz sokağa tekrar girmemesi için 9 düşmüş fikir kaydı (6'sı ampirik veriyle, 3'ü insan/mimar reddiyle elenen hipotez) kalıcı bellekte tutulur.
5. Canlı Ölçüm ve Kanıt Kartı (Dosya ve Satır Kaynaklı)
Reaper bağlam-kör hakem ve düşer testi kapısına ait tüm sayısal verilerin canlı kütük adresleri ve data-kaynak öznitelikleri:
| Denetim Katmanı / Ölçüt | Canlı Ölçüm Değeri | Eleme / Kapı Etkisi | Kaynak (Dosya:Alan · Tarih) |
|---|---|---|---|
| 10 Dış Ses Atıf Denetimi (S1–S10) | 394 atıf → 360 DOĞRULANDI (%91,4) · 9 DOĞRULANAMADI · 25 UYDURMA (%6,3) | 18 ağır sentetik + 7 hafif uydurma (S10'da gerçek makaleye 5 sahte PMID + 2 sahte DOI) | data/reaper_karne.json:113-135 · 2026-10-19 |
| Konsolide Atıf Karnesi ve Sıfır Uydurmalı Sesler | 420 atıf → 386 DOĞRULANDI (S0: 26/26 + 5 dış ses sıfır uydurma) | 5 dış ses (S1, S2, S3 38/38, S4 133/133, S5 77/77) 0 uydurma; 5 seste 20 yanıt elendi |
data/reaper_karne.json:85-125 · 2026-10-19 |
Reaper Yerel Sistem Yöntem Karnesi (reaper_denetci.py) |
58 yöntem: 47 CANLI · 7 AKSAK · 1 ÖLÜ · 3 İDDİA · 0 ÖLÇÜLEMEDİ | launchd 6 saatte bir (günde 4 tur: 03:15, 09:15, 15:15, 21:15) · 3/3 bozma · selftest 8/8 |
kosucu/reaper_denetci.py:1-35 · com.ustakil.reaper_denetci.plist · 2026-10-19 |
| Kıvılcım Çarpışma ve Karar Karnesi | 67 tur (73 satır): 44 KESKİNLEŞTİ · 13 EVET (ham 14) · 3 HAYIR | Yakınsama serisi (0,30→0,48→0,68): ÖLÇÜLEMEDİ (ham hesap kütüğü yok, yalnız metin kaydı) |
data/kivilcim_karnesi.jsonl:1-73 · 2026-10-19 |
| Gölge Koşu Reddi (O-002) ve Düşmüş Fikir Belleği (O-004) | n = 168 gölge koşu (%100 determinizm, uyuşma %2, fark -80,5 → RED) · 9 düşmüş fikir | Gölge kol kopya tabana (%98,8) kaybetti, icra yetkisi AÇILMADI; 6 veri + 3 insan reddi (O-004) |
bot/olgular.json:30-50,69-85 · 2026-10-18 |
6. Sık Sorulan Sorular (SSS)
Bağlam-kör hakem (Context-Blind Auditor) normal bir denetçi ajandan nasıl ayrılır?
Normal öz-denetimde model kendi sohbet geçmişini ve niyetini görür; bu da onay yanlılığına yol açar. Bağlam-kör hakem (Reaper) üretici ajanın iç konuşmasını görmez; yerel sistem yöntemlerini kosucu/reaper_denetci.py (günde 4 tur, 6 saatte bir launchd; 5 sınıf: CANLI, AKSAK, ÖLÜ, İDDİA, ÖLÇÜLEMEDİ) ile, literatür atıflarını ise birincil indeks kayıtlarıyla (PubMed, Crossref, DOI; data/reaper_karne.json) denetler.
Reaper 394 akademik atıf denetiminde ne buldu?
10 dış model sesinden gelen 394 atıfın 360'ı (%91,4) birincil indekslerden doğrulandı, 9'u doğrulanamadı ve 25'i (%6,3: 18 ağır sentetik uydurma, S10 sesinde gerçek makaleye uydurma 5 PMID + 2 DOI olmak üzere 7 hafif uydurma) yakalandı. 5 dış ses (S1, S2, S3 38/38, S4 133/133, S5 77/77) sıfır uydurma ile geçti; kalan 5 sesteki 20 soru-tez yanıtı sentezden elendi.
Düşer testi (Falsifiability Gate) ve gölge koşu (O-002) yapay zekâ kararlarında nasıl çalışır?
Sistemde üretilen her hipotez veya model adayı kendi 'düşer' şartını içermek zorundadır. Örneğin bot/olgular.json:O-002 kaydındaki n = 168 pencerelik gölge koşuda yerel model %100 determinizm göstermiş olsa da, kopya-taban (%98,8) karşısında %2 uyuşma ve -80,5 puan farkla kaybettiği için düşer kapısı çalışmış ve icra yetkisi açılmamıştır.
Denetçi ajanın kendisinin bozulmadığı nasıl doğrulanır?
kosucu/reaper_denetci.py --selftest her koşuda 3 kasıtlı bozma (fault injection) vakasıyla sınanır. Kasıtlı olarak bozulmuş 3 kaydın tamamını (3/3) yakalayamazsa veya 8/8 öz-sınama adımından biri düşerse, denetçi kendi karnesini geçersiz ilan eder.
Kaynaklar
Bu sayfadaki bağlam-kör denetim, öz-düzeltme sınırları ve yanlışlanabilirlik kapısının dayandığı birincil kaynaklar:
- Large Language Models Cannot Self-Correct Reasoning Yet (arXiv:2310.01798)
- Towards Understanding Sycophancy in Language Models (arXiv:2310.13548)
- Improving Factuality and Reasoning in Language Models through Multiagent Debate (arXiv:2305.14325)
- Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv:2306.05685)
- Scientific Method and Empirical Falsifiability Criterion (Stanford Encyclopedia of Philosophy)
- REST API - Crossref Bibliographic Metadata Verification Documentation
İlgili Teknik İncelemeler: Bağlam-kör denetimin birlikte çalıştığı Reaper canlı ölçüm sayfasına, otonomi mimarisine, olay güdümlü task_bus.jsonl panosuna, Kıvılcım çok-sesli kırmızı takım turuna ve QAJAN ön-kayıt kapılarına; ayrıca denetlenen görsel boru hattı için sefalometrik gülüş tasarımı deneyine bakabilirsiniz.