HauhauCS Aggressive Q8 vs 3-bit @CVE triyajı
Aynı ince ayarı 48 GB'lık W7800'ümde Q8 olarak çalıştırmak CVE puanını 0,92'den 0,97'ye çıkarıyor — zayıflığının çoğu 3-bit sıkıştırmadan geliyormuş. Ama yine de ISTA'nın 3-bit'ini geçmiyor; 2,4 kat süreye ve token başına 2,5 kat enerjiye mal oluyor.
- Test tarihi
- Kurulum
Radeon Pro W7800 48 GB — fiziksel iş istasyonuFiziksel makine, Linux, ROCm (Ollama) · AMD Ryzen 5 7600 (6 çekirdek / 12 iş parçacığı, AVX-512) · 64 GB DDR5-6400
GeForce RTX 4070 Ti SUPER 16 GB — Proxmox sanal makinesi (GPU passthrough)PCIe passthrough ile Proxmox VE konuğu, Ubuntu 24.04, NVIDIA 595 açık sürücü · Intel Core i5-13400 sunucu; konukta 8 vCPU · Konukta 32 GB; sunucuda 64 GB DDR5
- Çalışma ortamı
- Ollama 0.34.0 (W7800, 262K) / 0.34.1 (4070 Ti SUPER, 65K); CVE MCP sunucusu 0.5.2
- Modeller
Qwen3.8-27B AggressiveQ8_K_Ptest edilen
Qwen3.8-27B AggressiveIQ3_XSkarşılaştırma
Qwen3.8-27B GSQ-RCOISTA IQ3_Sreferans
Karar
HauhauCS'in sorununun çoğu sıkıştırmaydı, ama Q8'de bile ISTA IQ3_S'e ancak yaklaşıyor (0,98'e karşı 0,97) ve cevap başına 60 yerine 145 sn harcıyor. Bu iş için 16 GB'lık karttaki ISTA'da kalıyorum.
İşe yarayan
- Q8: 0,92 → 0,97, araştırma derinliği arttı (cevap başına 4,2 araç çağrısı), sıfır hafızadan CVE
- Spring4Shell ve Jackson yükseltmeleri 3/3 doğru
Yaramayan
- Dil kayması 3-bit'tekinden kötü: 45 cevabın 3'ü tamamen İngilizce
- 18 tok/s üretim, cevap başına 145 sn, ~20 J/token
- Bir kez var olmayan bir aracı çağırdı
- Genel, Q8 / IQ3_XS
- 0,97 / 0,92
- Cevap başına saniye
- 145sn
- Üretim
- 18,0tok/s
- Token başına enerji
- ~20,3J
CVE puanı
yüksek olan iyiVeri
| Genel puan | |
|---|---|
| ISTA IQ3_S · 4070 Ti SUPER | 0,98 |
| HauhauCS IQ3_XS · 4070 Ti SUPER | 0,92 |
| HauhauCS Q8_K_P · W7800 | 0,97 |
Cevap başına saniye
düşük olan iyiVeri
| Süre | |
|---|---|
| ISTA IQ3_S · 4070 Ti SUPER | 60 sn |
| HauhauCS IQ3_XS · 4070 Ti SUPER | 64 sn |
| HauhauCS Q8_K_P · W7800 | 145 sn |
Soru
HauhauCS IQ3_XS prompt v2’de ISTA IQ3_S’in gerisinde kaldı. Sorun model mi, yoksa 3-bit sıkıştırma mı? Bunu anlamak için aynı ailenin Q8_K_P’sini (31,46 GB, SHA-256 kontrol edildi) aynı prompt, örnekleme, MCP sunucusu 0.5.2 ve soru setiyle W7800’de (48 GB, 262K bağlam, %100 GPU) çalıştırdım. Doğru cevapları koşudan hemen önce yeniden ürettim. 15 × 3, sıfır hata.
Sonuçlar
| ISTA IQ3_S (4070, v2) | HauhauCS IQ3_XS (4070, v2) | HauhauCS Q8_K_P (W7800) | |
|---|---|---|---|
| Genel | 0,98 | 0,92 | 0,97 |
| Yükseltme: en yeni temiz / açıklı | 23 / 0 | 22 / 2 | 22 / 1 |
| Sürüm aracı kullanıldı | 24/24 | 22/24 | 23/24 |
| Düzeltme sürümü doğru / yanlış / yok | 40/0/2 | 38/1/3 | 40/0/2 |
| Hafızadan / uydurma CVE | 0 / 0 | 1 / 0 | 0 / 0 |
| Türkçe olmayan cevap (gerçek) | 0 | 1 | 3 |
| Özet bloğu | 43/45 | 45/45 | 44/45 |
| Cevap başına araç çağrısı / saniye | 3,2 / 60 sn | 3,6 / 64 sn | 4,2 / 145 sn |
| Üretim | ~43,5 tok/s | ~43,5 tok/s | 18,0 tok/s |
| Üretirken priz gücü | 360–370 W | 360–370 W | 366 W |
| Token başına enerji | ~8,3 J | ~8,3 J | ~20,3 J |
(Dil puanlayıcısı tablosu bol bir Türkçe cevabı İngilizce saydı; elle düzelttim.)
Benim çıkardığım
- Sıkıştırma farkı gerçek. Q8’de ana zayıflık ortadan kalkıyor: daha derin araştırıyor (cevap başına 4,2 araç çağrısı), Spring4Shell ve Jackson’ı 3/3 doğru yapıyor, hafızadan hiç CVE yazmıyor. Puan ISTA’nın hemen altına oturuyor.
- Geriye kalanlar: Django 3. koşu 3.2.25’i hedefledi (desteği bitmiş bir hattın son sürümü, hâlâ açıklı). Dil
kayması 3-bit’tekinden aslında daha kötü — üç cevap tamamen İngilizce — yani bu sıkıştırmadan değil, modelden
geliyor. Bir cevap da var olmayan bir
get_epSSaracını çağırdı. - Maliyet: aynı iş için 2,4 kat süre ve token başına ~2,5 kat enerji; üstelik 48 GB’lık kartı tek başına dolduruyor.
Kısacası: Bu iş için en iyi seçim hâlâ 16 GB’daki ISTA IQ3_S — aynı ya da daha iyi isabet, dil kayması yok, 2,4 kat hızlı ve token başına 2,5 kat daha az enerji.