Koşullu Teknoloji & Ölçüm 28 Eki 2026
Ancak kendi testi varsa anlaşılır: 339 aracımızın 224'ü öz-sınamasını geçti, 19'u düştü, 95'inin hiç testi yok.
Kanıt (2) Öz-sınaması olmayan alet otomatik koşuya alınmaz; her ajan ve alet beyan, düşer testi ve öz-sınama kapısından geçer. kaynak 28 Eki 2026 07:43 toplu tur: 339 araç, 3.732 sınama, 116,6 saniye; testsiz 95 araca 'çalışıyor' denmez. (kendi ölçümümüz) Bizim ölçümümüz: Toplu öz-sınama karnesi, 28 Eki 2026 07:43: 224 geçti · 19 düştü · 95 testsiz. (selftest_karne.jsonl)
Hükmü ne değiştirir: Testsiz araç sayısı sıfıra inerse ya da geçen araçlardan biri canlıda bozuk yakalanırsa hüküm yeniden yazılır.
öz-sınama selftest yapay zekâ kodu
Koşullu Yapay Zekâ 28 Eki 2026
Çoğu gerçek ama hepsi değil: turlarımızda sınanan 394 atıfın 360'ı doğrulandı, 25'i uydurma çıktı; künye tek tek sınanmadan kullanılmamalı.
Kanıt (2) 10 dış seste 394 atıf Crossref, PubMed ve doi.org kayıtlarıyla tek tek sınandı: 360 doğrulandı (%91,4), 9 doğrulanamadı, 25 uydurma. kaynak Uydurma künye, o sesin o sorudaki tezini mekanik olarak geçersiz kılar; tez sentezine girmez. kaynak Bizim ölçümümüz: Reaper kaynak karnesi (19 Eki 2026): 394 atıf, 360 doğrulandı. (reaper_karne.json)
Hükmü ne değiştirir: Yeni turlarda doğrulanma oranı %91,4'ün belirgin altına iner ya da karnede sayım hatası çıkarsa kart düzeltilir.
kaynak doğrulama uydurma künye Reaper
Koşullu Yapay Zekâ 28 Eki 2026
Ölçülen modellerde kullanmadı: ilgili bilgi bağlamın başında ya da sonundayken başarı en yüksekti, ortadayken belirgin düştü; bu, yayın anındaki modellerin ölçümüdür.
Kanıt (2) Liu ve ark. (TACL, 2024) çok belgeli soru-cevap ve anahtar-değer bulma görevlerinde ilgili bilginin konumunu değiştirerek ölçtü. kaynak Konuma bağlı düşüş, uzun bağlam için özel olarak tasarlanmış modellerde de görüldü. kaynak Hükmü ne değiştirir: Yeni nesil modellerde aynı protokolle yapılan ölçüm konuma bağlı düşüşün kaybolduğunu gösterirse hüküm yeniden yazılır.
uzun bağlam dil modeli hakemli çalışma
Doğrulandı Teknoloji & Ölçüm 28 Eki 2026
Evet, hakemli bir ölçümde yedi dedektör, ana dili İngilizce olmayanların 91 TOEFL denemesinde ortalama %61,3 yanlış pozitif verdi.
Kanıt (3) Liang ve ark. (Patterns, 2023): aynı dedektörler ABD'li 8. sınıf öğrencilerinin 88 denemesini neredeyse hatasız insan diye ayırdı. kaynak TOEFL denemelerinin %97,8'ini en az bir dedektör, %19,8'ini yedi dedektörün hepsi yapay zekâ saydı. kaynak Denemelerin sözcük seçimi zenginleştirilince ortalama yanlış pozitif %61,3'ten %11,6'ya indi. kaynak Hükmü ne değiştirir: Güncel dedektör sürümleriyle yapılan bağımsız bir ölçüm bu grupta yanlış pozitifin belirgin düştüğünü gösterirse kart düzeltilir.
yapay zekâ dedektörü yanlış pozitif hakemli çalışma
Koşullu Yapay Zekâ 28 Eki 2026
2021 ölçümünde Copilot'un ürettiği programların yaklaşık %40'ı güvenlik açığı taşıyordu; çalışan kod güvenli kod demek değil.
Kanıt (2) 89 senaryo, 1.689 program; yaklaşık %40'ında MITRE CWE Top 25 ile ilişkili açık. kaynak Araçlar 2021'den beri gelişti, oran bugüne doğrudan taşınmamalı; üretilen kod statik analiz ve insan incelemesinden geçmeli. kaynak Hükmü ne değiştirir: Güncel kod asistanlarında aynı senaryolarla tekrarlanan ölçümde açık oranının insan yazdığı kod düzeyine ya da altına inmesi.
yapay zekâ kodu güvenlik açığı CWE kod incelemesi
Koşullu Yapay Zekâ 28 Eki 2026
Evet; model okuduğu veriyle talimatı güvenilir ayıramadığı için dış içerik gizli komut taşıyabilir, bu yüzden yetkiler dar tutulmalı.
Kanıt (2) Dolaylı istem enjeksiyonu Bing Chat ve kod araçlarında gösterildi; yazarlara göre etkili genel savunma yoktu. kaynak OWASP istem enjeksiyonunu LLM uygulamaları için LLM01 (birinci) risk olarak listeliyor. kaynak Hükmü ne değiştirir: Veri ile talimatı ayıran ve bağımsız kırmızı takım testlerinde dolaylı enjeksiyonu güvenilir biçimde engelleyen bir savunma.
güvenlik istem enjeksiyonu ajan güvenliği doğrulama
Koşullu Teknoloji & Ölçüm 28 Eki 2026
Sabit bit bütçesinde 4 bit neredeyse evrensel olarak en iyi dengeyi veriyor; 3 bitte kalite belirgin düşüyor.
Kanıt (3) 35.000+ deney: sabit toplam bitte 4-bit hassasiyet neredeyse evrensel olarak optimal. kaynak 3-bit'te başarı düşüyor; küçük blok boyutu (64–128) fayda sağlıyor. kaynak Bit bütçesi sabitken büyük modeli 4 bitte çalıştırmak, küçük modeli yüksek hassasiyette çalıştırmaktan genellikle daha verimliydi. kaynak Hükmü ne değiştirir: Kendi görev setimizde 4-bit modelin, aynı bellekteki 8-bit küçük modelden tutarlı biçimde kötü çıkması.
yerel LLM kuantizasyon 4-bit verimlilik
Koşullu Teknoloji & Ölçüm 28 Eki 2026
Model hakem insanlarla %80'in üzerinde uyuşuyor ama konum ve uzunluk yanlılığı taşıdığı için tek başına nihai karar vermemeli.
Kanıt (2) GPT-4 hakem ile insan uyumu %80'in üzerinde; insan–insan uyumu düzeyinde. kaynak Sıra değişince GPT-4 kararlarının yaklaşık %65'i tutarlı kaldı (konum yanlılığı). kaynak Hükmü ne değiştirir: Sıra değiştirme ve uzunluk denetimi olmadan model hakemin insan panelleriyle %90+ tutarlılık verdiği bağımsız bir ölçüm.
LLM hakem değerlendirme yanlılık ölçüm
Koşullu Yapay Zekâ 28 Eki 2026
Çoklu ajan başarısızlıklarının büyük kısmı model zekâsından değil, rol, iletişim ve doğrulama tasarımından kaynaklanıyor.
Kanıt (3) 1.642 iz, 7 çerçeve: 14 hata modu, 3 küme (tasarım, ajanlar arası uyumsuzluk, doğrulama); κ=0,88. kaynak Açık kaynak sistemlerde başarısızlık %41–%86,7 arasında. kaynak ChatDev'e açık bir doğrulama adımı eklemek sonucu %15,6 iyileştirdi; daha güçlü model tek başına yetmedi. kaynak Hükmü ne değiştirir: Daha güçlü modele geçişin, doğrulama adımı eklemeden hata oranını belirgin düşürdüğü tekrarlanabilir bir ölçüm.
çoklu ajan orkestrasyon hata modları doğrulama