Koşullu Teknoloji & Ölçüm
Yerel modeli 4 bite sıkıştırmak kaliteyi bozar mı?
Sabit bit bütçesinde 4 bit neredeyse evrensel olarak en iyi dengeyi veriyor; 3 bitte kalite belirgin düşüyor.
Kanıt (3)
- 35.000+ deney: sabit toplam bitte 4-bit hassasiyet neredeyse evrensel olarak optimal. kaynak
- 3-bit'te başarı düşüyor; küçük blok boyutu (64–128) fayda sağlıyor. kaynak
- Bit bütçesi sabitken büyük modeli 4 bitte çalıştırmak, küçük modeli yüksek hassasiyette çalıştırmaktan genellikle daha verimliydi. kaynak
Bizim ölçümümüz: Reaper kaynak karnesi (Ekim 2026): arXiv/DOI künyesi doğrulandı. (reaper_karne.json)
Hükmü ne değiştirir: Kendi görev setimizde 4-bit modelin, aynı bellekteki 8-bit küçük modelden tutarlı biçimde kötü çıkması.
- yerel LLM
- kuantizasyon
- 4-bit
- verimlilik