ISTA IQ3_S: genel yetenek
16 GB'lık kartımda ISTA'nın 3-bit Qwen3.8-27B'si gündelik benchmark'ları neredeyse dolduruyor: HumanEval 40/41, GSM8K 49/50, uzun bağlamda hatırlama 9/9, araç çağrısı 15/15. Görebildiğim tek zayıflık Türkçe okuduğunu anlama (İngilizce 40/40'a karşı 36/40).
- Test tarihi
- Kurulum
GeForce RTX 4070 Ti SUPER 16 GB — Proxmox sanal makinesi (GPU passthrough)PCIe passthrough ile Proxmox VE konuğu, Ubuntu 24.04, NVIDIA 595 açık sürücü · Intel Core i5-13400 sunucu; konukta 8 vCPU · Konukta 32 GB; sunucuda 64 GB DDR5
- Çalışma ortamı
- Ollama 0.34.1, 65K bağlam, q8_0 KV önbelleği, modelin varsayılan örneklemesi
- Modeller
Qwen3.8-27B GSQ-RCOISTA IQ3_Stest edilen
Karar
3-bit sıkıştırma sıradan işte neredeyse hiçbir şey kaybettirmiyor — kod, matematik, uzun bağlamda bulma, görsel ve araç çağırma neredeyse kusursuz. Set modelleri sıralamak için fazla kolay; tek sinyal İngilizce ile Türkçe okuma arasındaki 10 puanlık fark.
İşe yarayan
- HumanEval 40/41, GSM8K 49/50 (kaçan soru belirsiz bir soru)
- 16K / 32K / 61K'da iğne hatırlama 9/9
- Çağırmaması gereken 4 durum dahil araç çağrısı 15/15
Yaramayan
- Aynı sorularda Belebele Türkçe 36/40, İngilizce 40/40
- Düşünme kapalıyken 9 daire yerine 8 saydı
- HumanEval (41 problem)
- 98%
- GSM8K (50)
- 98%
- Araç çağrısı (15 senaryo)
- 15/15
- Üretim, kısa / 61K
- 43,5 / 33tok/s
Alana göre isabet
yüksek olan iyiVeri
| İsabet | |
|---|---|
| Kod — HumanEval (41) | 97,6% |
| Matematik — GSM8K (50) | 98,0% |
| Okuma — Belebele İngilizce (40) | 100,0% |
| Okuma — Belebele Türkçe (40) | 90,0% |
| Uzun bağlam iğneleri (9) | 100,0% |
| Görsel — üretilmiş resimler (12) | 91,7% |
| Araç çağrısı (15) | 100,0% |
Kurulum
Doğrudan Ollama’nın /api/chat’ine karşı test ettim (arada sohbet arayüzü yok): 65K bağlam, q8_0 KV ve modelin
varsayılan örneklemesi (sıcaklık 1, top_k 20, top_p 0,95). Her cevap mekanik olarak puanlandı; örnekleri Hugging Face
datasets sunucusundan çektim.
Sonuçlar
| Alan | Test | Sonuç | Düşünme | Cevap başına |
|---|---|---|---|---|
| Kod | HumanEval, 41 problem (her 4. problem), birim testleri ağsız bir container’da | 40/41 (%98) | açık | 19,8 sn |
| Matematik | GSM8K, 50 soru | 49/50 (%98) — kaçan soru “three times more” ifadesine bağlı | açık | 7,3 sn |
| Okuma, İngilizce | Belebele eng_Latn, 40 soru |
40/40 | kapalı | 0,3 sn |
| Okuma, Türkçe | Belebele tur_Latn, aynı 40 soru |
36/40 (%90) | kapalı | 0,4 sn |
| Uzun bağlam | %10 / %50 / %90 derinlikte 3 bilgi; 16K / 32K / 61K token | 9/9 | kapalı | 12 / 24 / 54 sn |
| Görsel | Üretilmiş resimler: yazı ×4, sayma ×4, çubuk grafik ×4 | 11/12 — 9 daireye 8 dedi | kapalı | 0,6 sn |
| Araç çağrısı | 15 senaryo: Türkçe/İngilizce, argüman normalleştirme (IATA, ISO tarih, “19:00”), paralel çağrılar, çağırmaması gereken 4 durum | 15/15 | açık | 2,9 sn |
Hız: kısa bağlamda üretim ~43,5 tok/s, 61K’da 33 tok/s. Prefill 16K’da ~1.520 tok/s, 61K’da ~1.190 tok/s.
Benim çıkardığım
Günlük kullanım için bu set dolmuş durumda: 3-bit sıkıştırmaya rağmen kod, matematik, uzun bağlam ve araç çağırma neredeyse hatasız. Tutarlı tek zayıflık Türkçe okuduğunu anlama — birebir aynı sorularda İngilizce 40/40, Türkçe 36/40 aldı ve dört Türkçe hatanın hiçbiri İngilizcede yok. Titizlik isteyen bir görsel iş (sayma) düşünme kapalıyken bir kez kaydı.
Modelleri gerçekten sıralamak için daha zor setler lazım (LiveCodeBench, MATH-500, çok adımlı ajan görevleri) — ya da gerçek iş. Bu sitedeki sonraki karşılaştırmalarımın çoğunun CVE değerlendirmesini kullanmasının nedeni bu.