ISTA IQ3_S vs HauhauCS IQ3_XS @16 GB: özellikler
İki 3-bit Qwen3.8-27B derlemesi de RTX 4070 Ti SUPER'ımda görseli, araç çağırmayı (düşünmeli ve düşünmesiz), araç sonucunu kullanmayı ve düşünme kontrolünü geçiyor; ~43–44 tok/s ve 64K tamamen GPU'da.
- Test tarihi
- Kurulum
GeForce RTX 4070 Ti SUPER 16 GB — Proxmox sanal makinesi (GPU passthrough)PCIe passthrough ile Proxmox VE konuğu, Ubuntu 24.04, NVIDIA 595 açık sürücü · Intel Core i5-13400 sunucu; konukta 8 vCPU · Konukta 32 GB; sunucuda 64 GB DDR5
- Çalışma ortamı
- Ollama 0.34.1, q8_0 KV önbelleği
- Modeller
Qwen3.8-27B GSQ-RCOISTA IQ3_Stest edilen
Qwen3.8-27B Aggressive MTPIQ3_XStest edilen
Karar
Özelliklerde berabere: her işlev kontrolü ikisinde de geçiyor, hız farkı %1,5 içinde. Aralarında seçim yapmak gerçek işteki cevap kalitesine kalıyor — ardından gelen CVE değerlendirmesine bakın.
İşe yarayan
- İkisinde de 6/6 işlev kontrolü geçiyor: görsel, araç çağrısı, araç sonucu, düşünme açık/kapalı, araç + düşünme
- q8_0 KV ile 65.536 token %100 GPU'da
- Isınmış görsel cevaplar 0,2–0,7 sn
Yaramayan
- ISTA'nın ilk (soğuk) görsel isteği projektör yüklenirken 76,6 sn sürdü
- 64K'nın üstünde ikisi de işlemciye taşıyor (81.920 → ~%91 GPU)
- Üretim, ISTA / HauhauCS
- 43,8 / 43,3tok/s
- İşlev kontrolleri
- 6/6 · 6/6
- Tamamen GPU'da en büyük bağlam
- 65.536token
Bağlama göre VRAM (q8_0 KV)
ollama ps'in gösterdiği model boyutu
- ISTA IQ3_S
- HauhauCS IQ3_XS
Veri
| ISTA IQ3_S | HauhauCS IQ3_XS | |
|---|---|---|
| 16.384 | 11,65 GiB | 11,70 GiB |
| 32.768 | 12,26 GiB | 12,31 GiB |
| 49.152 | 12,87 GiB | 12,92 GiB |
| 65.536 | 13,48 GiB | 13,53 GiB |
| 81.920 (kısmi taşma) | 14,77 GiB | 14,97 GiB |
| 98.304 (kısmi taşma) | 15,53 GiB | 15,63 GiB |
Neden
Qwen3.8-27B’nin iki 3-bit derlemesi 16 GB’lık karta sığıyor: ISTA-DASLab’in GSQ-RCO IQ3_S’i (bir kuantizasyon araştırma grubundan, ölçülmüş perplexity üstünlüğüyle) ve HauhauCS “Aggressive” IQ3_XS (içinde MTP kafası olan, sansürsüz bir ince ayar). Kaliteyi hiç test etmeden önce şunu bilmek istedim: kullandığım her şey Ollama üzerinden gerçekten çalışıyor mu?
İşlev kontrolleri
Her kontrol sabit bir beklentiye karşı düz bir geçti/kaldı; prompt’ları Türkçe yazdım.
| Kontrol | Ne soruyor | ISTA IQ3_S | HauhauCS IQ3_XS |
|---|---|---|---|
| Görsel | Üretilmiş bir görseldeki yazıyı ve şekilleri oku (“KAPI KODU: 4821”, solda kırmızı daire, sağda mavi kare) | ✓ | ✓ |
| Araç çağrısı | İzmir için Celsius’ta get_weather(city, unit) çağır, içeriğe metin sızmasın |
✓ | ✓ |
| Araç sonucunu kullanma | Dönen araç sonucundan cevap ver (27,4 °C, açık) | ✓ | ✓ |
| Düşünme açık | Ayrı bir düşünme alanıyla 231 cevabını ver | ✓ (189 karakter) | ✓ (219 karakter) |
| Düşünme kapalı | Düşünmeden 231 cevabını ver | ✓ (4 token) | ✓ (4 token) |
| Düşünmeli araç çağrısı | Düşünme açıkken aynı araç çağrısı | ✓ | ✓ |
Düşünme seviyeleri: low → 188 / 196, high → 307 / 238 düşünme karakteri — basit bir prompt’ta küçük ve tutarsız
bir etki.
Hız
| ISTA IQ3_S | HauhauCS IQ3_XS | |
|---|---|---|
| Üretim (3 koşu) | 43,9 / 43,8 / 43,7 tok/s | 43,4 / 43,3 / 43,3 tok/s |
| Görsel, soğuk (projektör yükleme) | 76,6 sn | 4,8 sn |
| Görsel, ısınmış | 0,6 sn, 0,2 sn | 0,7 sn, 0,2 sn |
Bağlama sığma (q8_0 KV)
| num_ctx | ISTA boyutu | GPU | HauhauCS boyutu | GPU |
|---|---|---|---|---|
| 16.384 | 11,65 GiB | %100 | 11,70 GiB | %100 |
| 32.768 | 12,26 GiB | %100 | 12,31 GiB | %100 |
| 49.152 | 12,87 GiB | %100 | 12,92 GiB | %100 |
| 65.536 | 13,48 GiB | %100 | 13,53 GiB | %100 |
| 81.920 | 14,77 GiB | %91,7 | 14,97 GiB | %90,4 |
| 98.304 | 15,53 GiB | %86,7 | 15,63 GiB | %85,1 |
q8_0 KV ile ikisinde de tamamen GPU’da pratik sınır 65.536 token (fp16 KV’de 49K).
Gerçek işe ilk bakış
Hızlı bir duman testi olarak iki modele de sohbet arayüzümden CVE araçlarıyla Log4Shell’i (CVE-2021-44228) triyaj ettirdim. İkisi de ~58 sn’de, ~41–42 tok/s ile doğru cevap verdi (risk 100/CRITICAL, CVSS 10.0, EPSS 0.99999, CISA KEV’de, 2.16.0 → 2.17.0 → 2.17.2 yükseltme yolu). Aralarındaki farkı görmek için fazla kolaydı — bu yüzden tam CVE değerlendirmesi.