Kendi Q6_K'm (Türkçe imatrix) vs Q8_0 vs ISTA IQ3_S
145K token'lık bir kalibrasyon setiyle (%40 Türkçe) bir Q6_K yaptım; Q8_0'a ISTA'nın 3-bit'inden 10 kat daha yakın kalıyor (KLD 0,056'ya karşı 0,0056). Hedefli imatrix'im daha büyük ve genel bir imatrix'i %4–7 geçti. Ama MTP açıkken Q6_K, Q8_0'dan yavaş.
- Test tarihi
- Kurulum
Radeon Pro W7800 48 GB — fiziksel iş istasyonuFiziksel makine, Linux, ROCm (Ollama) · AMD Ryzen 5 7600 (6 çekirdek / 12 iş parçacığı, AVX-512) · 64 GB DDR5-6400
- Çalışma ortamı
- Kuantizasyon için llama.cpp b11081 (ROCm derlemesi); hız için Ollama 0.34.0
- Modeller
Qwen3.8-27BQ6_K + Türkçe imatrixtest edilen
qwen3.8:27bQ8_0referans
Qwen3.8-27B GSQ-RCOISTA IQ3_Skarşılaştırma
Karar
Kendi kuantizasyonunuzu yapmak ucuz (dakikalar sürüyor) ve hedefli bir imatrix ölçülebilir biçimde işe yarıyor — ama bu kartta Q6_K'yı kullanmaya değmedi: MTP doğrulaması hesap ağırlıklı ve Q6_K'yı açmak onu Q8_0 + MTP'den yavaş yaptı.
İşe yarayan
- Q6_K'nın Q8_0'a KL sapması: 0,0056 (top-1 uyumu %95,7)
- 284 parçalık Türkçe imatrix'im ISTA'nın yayımladığı 1.000 parçalıkını geçiyor: KLD 0,0200'e karşı 0,0185
- Bütün süreç tek GPU'da ~11 dakika
Yaramayan
- Q6_K + MTP, Q8_0 + MTP'den yavaş (Türkçe şiir 26,5'e karşı 22,0; kod 46,8'e karşı 36,2 tok/s)
- Q8_0 imatrix'i tamamen yok sayıyor — yalnız Q6_K ve altında önemli
- Q8_0'a KLD, Q6_K-TR
- 0,0056
- Q8_0'a KLD, ISTA IQ3_S
- 0,056
- imatrix kazancı, hedefli / genel
- 4–7%
- imatrix hesabı
- 7dk
Q8_0'a KL sapması (Q4_K_M, iki imatrix)
düşük olan iyi- Türkçe imatrix'im (284 parça)
- ISTA'nın yayımladığı imatrix (1.000 parça)
Veri
| Türkçe imatrix'im (284 parça) | ISTA'nın yayımladığı imatrix (1.000 parça) | |
|---|---|---|
| Karışık değerlendirme seti | 0,0185 | 0,0200 |
| Yalnız Türkçe set | 0,0163 | 0,0171 |
MTP açıkken: Q6_K ve Q8_0
yüksek olan iyi- Q8_0 + MTP
- Q6_K + MTP
Veri
| Q8_0 + MTP | Q6_K + MTP | |
|---|---|---|
| Türkçe şiir | 26,5 tok/s | 22,0 tok/s |
| Kod | 46,8 tok/s | 36,2 tok/s |
Nasıl yaptım
- Kaynak:
unsloth/Qwen3.8-27B-GGUFBF16 (51 GB, hash kontrol edildi). - Araçlar: llama.cpp b11081 ROCm derlemesi. O makinede sistem ROCm’u yok, bu yüzden eksik kütüphaneleri Ollama’nın kendi paketiyle gelen çalışma ortamından ödünç aldım.
- Kalibrasyon seti (145K token): %40 Türkçe (Vikipedi + FineWeb-2), %25 yaygın kullanılan bir topluluk kalibrasyon seti, %20 kendi repolarımdan kod, %15 kendi belgelerim.
- Ne kadar sürdü: Q8 referansı 47 sn · imatrix 7 dk (GPU) · Q6_K 2 dk · Ollama’ya içe aktarma 50 sn.
Q8_0’a ne kadar yakın kalıyor
| Model | Q8_0’a KLD | Üretim | Not |
|---|---|---|---|
| Q6_K + Türkçe imatrix | 0,0056 (top-1 %95,7) | 22,7 tok/s | |
| ISTA IQ3_S | 0,056 | — | Q8_0’a 10 kat uzak |
| Q8_0 (referans) | 0 | 19,8 tok/s |
Hedefli ve genel önem matrisi (ikisi de Q4_K_M)
| Değerlendirme seti | Türkçe imatrix’im (284 parça) | ISTA’nın yayımladığı (1.000 parça) |
|---|---|---|
| Karışık | 0,0185 | 0,0200 |
| Yalnız Türkçe | 0,0163 | 0,0171 |
Az ama hedefli veri, çok ama genel veriyi %4–7 geçti.
Q8_0 imatrix’i yok sayıyor. llama.cpp’nin
quantize_q8_0’ı önem ağırlıklarını açıkça çöpe atıyor. imatrix ancak Q6_K ve altında bir şey ifade ediyor.
MTP’nin sürprizi
Spekülatif çözme olmadan Q6_K, daha küçük ağırlıklardan tam beklendiği gibi Q8_0’dan hızlı (19,8’e karşı 22,7 tok/s). MTP ile tersine dönüyor: Türkçe şiir 26,5’e karşı 22,0, kod 46,8’e karşı 36,2 tok/s. MTP doğrulaması aynı anda ~5 token işliyor; bu, işi bant genişliğinden hesaba kaydırıyor — orada da K-quant’ları açmak baskın çıkıyor. Q8_0 ve Q4_K_M prefill’inde gördüğüm etkinin aynısı.
Q6_K’yı ölçtükten sonra sildim; varsayılan Q8_0 + MTP olarak kaldı.