empero 35B-A3B vs Qwen3.8-27B Q8+MTP vs ISTA IQ3_S @CVE triyajı
Damıtılmış bir 35B-A3B MoE 2,4 kat hızlı cevaplıyor ama açıklı yükseltme önerileri ve uydurma bir CVE ile 0,84'e düşüyor. W7800'ümde Q8_0+MTP, ISTA IQ3_S ile 0,96'da berabere ve 1,7 kat hızlı cevap veriyor.
- Test tarihi
- Kurulum
Radeon Pro W7800 48 GB — fiziksel iş istasyonuFiziksel makine, Linux, ROCm (Ollama) · AMD Ryzen 5 7600 (6 çekirdek / 12 iş parçacığı, AVX-512) · 64 GB DDR5-6400
- Çalışma ortamı
- Ollama 0.34.0, araçlarla sohbet arayüzüm üzerinden; CVE MCP sunucusu 0.5.2
- Modeller
Qwen3.8-35B-A3B distillQ6_K + MTP 2test edilen
qwen3.8:27b-q8_0-mtpQ8_0 + MTP 4referans
Qwen3.8-27B GSQ-RCOISTA IQ3_Skarşılaştırma
Karar
MoE hızı yine ornith düzeyinde bir isabetle geliyor (0,84). 48 GB'lık kartta Q8_0 + MTP, ISTA'nın puanını 105 yerine 63 sn'de tutturuyor ve 262K pencereyi koruyor — yani varsayılanım o kalıyor, ISTA da 16 GB'lık karta sığan model olarak kalıyor.
İşe yarayan
- empero: cevap başına 26 sn; MTP n=2 ile 92–130 tok/s
- Q8_0 + MTP: 0,96, sıfır açıklı yükseltme önerisi
Yaramayan
- empero: 24 yükseltme önerisinin 5'i açıklı, 1 gerçek uydurma CVE
- Bu GGUF'ta ISTA'nın MTP kafası yok: W7800'de cevap başına 105 sn
- Genel, empero / Q8+MTP / ISTA
- 0,84 / 0,96 / 0,96
- Cevap başına saniye
- 26 / 63 / 105
- Açıklı yükseltme (empero)
- 5/ 24
Genel CVE puanı
yüksek olan iyiVeri
| Puan | |
|---|---|
| empero 35B-A3B Q6_K + MTP2 | 0,84 |
| Qwen3.8-27B Q8_0 + MTP4 | 0,96 |
| ISTA IQ3_S (MTP yok) | 0,96 |
Cevap başına saniye
düşük olan iyiVeri
| Süre | |
|---|---|
| empero 35B-A3B Q6_K + MTP2 | 26,2 sn |
| Qwen3.8-27B Q8_0 + MTP4 | 63,1 sn |
| ISTA IQ3_S (MTP yok) | 104,7 sn |
Kurulum
Üçü de fiziksel W7800’de (Ollama 0.34.0) koştu: ISTA ve ornith koşularıyla aynı CVE sistem prompt’u, MCP sunucusu 0.5.2, doğru cevaplar koşudan hemen önce hazırlandı. Modelleri karıştırmak yerine sırayla çalıştırdım (her biri 45 koşu) — VRAM’e birlikte sığmıyorlar ve karıştırmak her soruda ~30 GB’ı yeniden yüklemek demekti.
Sonuçlar
| empero 35B-A3B Q6_K + MTP2 | Qwen3.8-27B Q8_0 + MTP4 | ISTA IQ3_S | |
|---|---|---|---|
| Genel | 0,84 | 0,96 | 0,96 |
| Yükseltme: en yeni temiz | 19/24 | 23/24 | 23/24 |
| Yükseltme: açıklı / yok | 5/24 | 0/24 | — |
| Düzeltme sürümü doğru / yanlış / yok | 35/2/5 | 38/1/3 | 38/1/3 |
| Var olmayan CVE doğru ele alındı | 1/3 | 3/3 | 3/3 |
| Uydurma CVE kimliği | 2 | 1 (bir biçim örneği) | 0 |
| Hafızadan CVE kimliği | 2 | 1 | 1 |
| Cevap başına saniye | 26,2 | 63,1 | 104,7 |
Elle kontrol
- Django yükseltmesi (empero 0,50): 3.2.19 / 3.2.25 / 4.2.24 öneriyor. Bunlar sorduğum CVE’yi kapatıyor ama temiz değiller ve 3.2’nin desteği bitmiş. Q8 6.1.1’e gidiyor. Burada puanlayıcı haklı.
- Var olmayan CVE (empero 0,25): üç cevap da doğru biçimde “NVD’de yok” diyor, ama ikisi aracın “risk 0.0 / LOW” çıktısını bir anlamı varmış gibi aktarıyor, biri CVE sıra numaralarının dört haneli olması gerektiğini iddia ediyor (öyle değil), biri de biçim örneği olarak “CVE-2025-00001” veriyor (bunu uydurma saydım, gerçi kozmetik).
- MOVEit triyajı: empero CVE-2023-35198 yazdı — hiçbir araç sonucunda yok ve NVD’nin de haberi yok. Gerçek bir halüsinasyon.
Aynı makine, aynı doğru cevaplar
ISTA 2026-09-17’de 16 GB’lık kartta, farklı bir doğru-cevap setiyle 0,98 almıştı; burada birebir aynı koşullarda Q8 + MTP ile berabere. Soru bazındaki farklar tek tekrara dayanıyor: ISTA Spring4Shell’de (0,75), Q8 ise Django, Log4j ve var olmayan CVE’de puan kaybetti.
MoE’nin kendisi
empero distill hızlı — MTP olmadan 85 tok/s, MTP n=2 ile 92–130 tok/s (n=4 MoE’de daha yavaş: Türkçede 67–71) — ve 262K bağlamı 32,9 GiB tutuyor. Kalitesi bu iş için yetmedi, ben de sildim; ama bu kartta yüksek hızın yolunun MoE’den geçtiğini doğruladı.