CVE sistem prompt'u v2: ISTA IQ3_S @0,98
Daha sıkı bir dayanak kuralı ve iki araç düzeltmesi ISTA'yı hafızadan sıfır CVE ve sıfır dil kaymasıyla 0,98'e çıkardı. HauhauCS 0,92'ye geriledi: yükseltme araştırmasından çok erken vazgeçiyor.
- Test tarihi
- Kurulum
GeForce RTX 4070 Ti SUPER 16 GB — Proxmox sanal makinesi (GPU passthrough)PCIe passthrough ile Proxmox VE konuğu, Ubuntu 24.04, NVIDIA 595 açık sürücü · Intel Core i5-13400 sunucu; konukta 8 vCPU · Konukta 32 GB; sunucuda 64 GB DDR5
- Çalışma ortamı
- Ollama 0.34.1, araçlarla sohbet arayüzüm üzerinden; CVE MCP sunucusu 0.5.2
- Modeller
Qwen3.8-27B GSQ-RCOISTA IQ3_Stest edilen
Qwen3.8-27B AggressiveIQ3_XStest edilen
Karar
ISTA IQ3_S bu setin tavanına ulaştı (0,98, hafızadan CVE yok, kayma yok) ve artık 16 GB'lık kartta güvenlik işlerinde varsayılanım. HauhauCS dilde ve uydurmada düzeldi, ama yükseltmeleri daha az derin araştırıyor.
İşe yarayan
- ISTA: 0,98; sıfır uydurma ve sıfır hafızadan CVE; 42 düzeltme sürümünün 40'ı doğru
- Pencere koşu başına (UTC) kesilince KEV listesi sorusu ikisinde de 1,00
Yaramayan
- HauhauCS: sürümleri kontrol etmeden durdu (Spring4Shell → 5.3.18, Jackson → 2.18.8)
- HauhauCS: yeni kurala rağmen bir hafızadan CVE, bir tamamen İngilizce cevap
- Genel, ISTA / HauhauCS
- 0,98 / 0,92
- Hafızadan CVE
- 0 / 1
- Doğru düzeltme sürümü
- 40 / 38/ 42
- Cevap başına saniye
- 60 / 64
Üç prompt iterasyonunda genel puan
yüksek olan iyi- ISTA IQ3_S
- HauhauCS IQ3_XS
Veri
| ISTA IQ3_S | HauhauCS IQ3_XS | |
|---|---|---|
| Başlangıç (prompt yok) | 0,96 | 0,96 |
| Prompt v1 | 0,96 | 0,94 |
| Prompt v2 | 0,98 | 0,92 |
Neyi değiştirdim (v1’e göre)
- Prompt: “araç ya da web sonucunda olmayan bir CVE kimliği yazma” kuralını ekledim.
- MCP sunucusu 0.5.1: sürüm aracı
lines’ı hata fırlatmak yerine kırpıyor. 0.5.2: son KEV aracı UTC penceresi kullanıyor vesincekabul ediyor. - Doğru cevaplar: koşudan hemen önce yeniden ürettim (yalnızca KEV listesi değişmişti); son KEV sorusunu her koşunun kendi UTC başlangıç tarihine göre puanladım.
- 90 koşu, sıfır hata ya da zaman aşımı. Puanlayıcıya “listelenmedi” ifadesini öğrettim ve üç koşuyu yeniden puanladım.
Sonuçlar
| ISTA başlangıç → v1 → v2 | HauhauCS başlangıç → v1 → v2 | |
|---|---|---|
| Genel | 0,96 → 0,96 → 0,98 | 0,96 → 0,94 → 0,92 |
| Türkçe olmayan cevap (gerçek) | 0 → 0 → 0 | 15 → 1 → 1 |
| Uydurma CVE (NVD’de yok) | 0 → 1 → 0 | 0 → 1 → 0 |
| Hafızadan CVE (gerçek ama araçta yok) | 2 → 2 → 0 | 1 → 0 → 1 |
| KEV listesi | 0,96 → 0,80* → 1,00 | 0,96 → 0,80* → 1,00 |
| Düzeltme sürümü doğru / yanlış / yok | 35/1/6 → 39/0/3 → 40/0/2 | 37/0/5 → 40/0/2 → 38/1/3 |
| Yükseltme: en yeni temiz sürüm | 24 → 24 → 23 | 23 → 22 → 22 |
| Sürüm aracı kullanıldı | 24 → 24 → 24 | 24 → 22 → 22 |
| Araç hatası | 0 → 1 → 0 | 0 → 4 → 2 |
| Cevap başına saniye | 46 → 57 → 60 | 46 → 62 → 64 |
* v1’deki 0,80 doğru cevabın kaymasıydı; koşu başına pencereyle iki model de 6/6 alıyor.
Kalan hatalar, elle okuyarak
ISTA (hepsi savunulabilir): Django 3. koşuda en yeni 6.1.1 yerine 5.2.17 LTS’yi hedefledi — bilinçli bir seçim. İki cevapta özet bloğu eksikti.
HauhauCS (gerçek zayıflıklar):
- Yükseltme araştırmasını erken bırakıyor. Spring4Shell 3. koşu: sürüm sorgulaması yok, “5.3.18’e yükseltin” — bu, bu CVE’nin ilk düzeltmesi ve sonrakilere açık. Jackson 2. koşu: 2.18.8 önerdi; en yeni temiz sürüm 2.22.2.
- Yine hafızadan bir CVE: MOVEit 3. koşu, yeni kurala rağmen CVE-2023-34548’den “doğrulanmadı” diye bahsediyor.
- Dil: xz 3. koşu tamamen İngilizce geldi (v1’deki aynı soru, aynı tekrar).
- Var olmayan CVE, 3. koşu: “NVD’de yok” diye doğru söyledi, ama sonra web’de bulduğu çelişkili “CVSS 0.0” iddialarını aktardı.
İkisi de: Express’teki CVE-2022-24999’dan (geçişli qs üzerinden) 6/6 koşunun hiçbirinde bahsetmedi —
araçlarımın kör noktası.
Bu beni nereye getiriyor
ISTA IQ3_S bu setin tepesinde. Sonraki anlamlı adım daha zor bir soru seti — geçişli bağımlılıklar, eski hat kısıtları (“Java 8’de kalmak zorundayız”), NVD ile üretici arasındaki çelişkiler — ve Express kör noktası için araca bir bağımlılık grafiği eklemek.